Quelques années après la parution des Principes FAIR par Wilkinson et al. et leur appropriation par les communautés qui travaillent avec la donnée, des outils permettant d’évaluer le niveau de conformité d’une ressource aux principes FAIR (FAIRness assessment) voient le jour. Qu’ils soient sous la forme de questionnaires d’auto-évaluation ou complètement automatiques, ils permettent d’identifier des points d’amélioration des pratiques de gestion et d’exposition des ressources.

Lors de l’Agrohackathon 2022, le projet FooSIN a proposé de tester 6 outils et méthodes que nous présentons brièvement ici. Les lecteurs trouveront plus de détails sur les sites référencés ci-dessous et pourront échanger et poser leurs questions sur le forum FAIRdata.

Les outils automatiques généralistes

Avertissement : les outils automatiques nécessitent que la ressource à évaluer soit accessible en ligne et qu’elle soit accompagnée de ses métadonnées.

FAIR-checker

Service web conçu pour évaluer la conformité aux principes de ressources numériques variées.

    • Objets évaluables : toute ressource numérique accessible sur le web (jeu de données, code logiciel, workflow, ressource sémantique…)
    • Critères basés sur FAIR Metrics et les recommandations du FAIR Cookbook
    • Extrait les métadonnées intégrées des pages Web (formats pris en charge : RDFa, JSON-LD et microdonnées)
    • S’appuie sur Bioschemas pour évaluer les métadonnées spécifiques aux communautés

Prérequis

La ressource à évaluer doit être accessible en ligne. L’utilisateur fournit une URL ou un DOI.

Résultats

    • Un résumé graphique de l’évaluation FAIR sous forme de radar
    • Un rapport d’évaluation détaillé pour chaque principe et sous-principes FAIR
    • Des recommandations techniques

Les +

    • Utilise des ressources du web (Wikidata, OpenAIRE, et OpenCitations) et des approches sémantiques pour affiner l’évaluation

Documentation

Accès

https://fair-checker.france-bioinformatique.fr/

F-UJI

Service web conçu pour évaluer la conformité aux principes de ressources numériques variées.

    • Objets évaluables : toute ressource numérique accessible sur le web (jeu de données, code logiciel, workflow, ressource sémantique…)
    • 17 critères basés sur les recommandations FAIRsFAIR Data Object Assessment Metrics
    • S’appuie sur les standards de métadonnées génériques comme Dublin Core, dcat, Datacite, Schema.org, etc. et plusieurs standards communautaires

Prérequis

La ressource à évaluer doit être accessible en ligne. L’utilisateur fournit une URL ou un DOI.

Résultats

    • Un résumé graphique de l’évaluation FAIR avec indication du degré de maturité : incomplet (0), initial (1), modéré (2) et avancé (3) sur chacun des critères testés, chaque dimension (F, A, I, R) et global
    • Analyse détaillée de l’évaluation pour chaque critère
    • Résultats de l’évaluation téléchargeables au format json

Les +

    • Possibilité d’indiquer un point d’accès (OAI-PMH, SPARQL, CSW) utilisable par F-UJI pour récupérer des métadonnées supplémentaires
    • Utilise des ressources et services tiers (Datacite, SPDX License List,
    • RDA Metadata Standards Catalog, LOV…) pour affiner l’évaluation

Documentation

Citer F-UJI : Anusuriya Devaraju, & Robert Huber. (2020). F-UJI – An Automated FAIR Data Assessment Tool (v1.0.0). Zenodo. https://doi.org/10.5281/zenodo.4063720

Accès

Les outils automatiques spécialisés pour les artefacts sémantiques

O’FAIRe

Service web conçu pour évaluer la conformité des vocabulaires ou des ontologies aux principes FAIR. Il est intégré à la solution Ontoportal et disponible sur les entrepôts de ressources sémantiques Agroportal, SIFR BioPortal and IndustryPortal.

    • Objets évaluables : Vocabulaires en OWL et SKOS
    • 61 critères basés sur les grilles SHARC et FDMM, LOD 5-star (Tim Berners-Lee), les recommandations MIRO et FAIRsFAIR ainsi que les travaux de Poveda et al. adaptés aux vocabulaires
    • S’appuie sur Metadata for Ontology Description and Publication Ontology (MOD1.4) pour les métadonnées

Prérequis

Le vocabulaire doit être déposé sur un entrepôt intégrant O’FAIRe

Résultats

    • Score global et pour chacun des principes et sous-principes FAIR sous forme de radar
    • Explication du score obtenu avec indication des données exploitées

Les +

    • Compatible avec une grande variété d’éléments de métadonnées
    • Les résultats sont accessibles en permanence aux visiteurs du portail (le score FAIR devient un critère de choix d’un vocabulaire)

Documentation

Accès

FOOPS!

Service web conçu pour évaluer la conformité des vocabulaires ou des ontologies aux principes FAIR.

    • Objets évaluables : Vocabulaires en OWL et SKOS

Prérequis

Le vocabulaire doit être accessible en ligne

Résultats

    • Moyenne des scores normalisés des critères évalués
    • Score global (pourcentage) et radar sur les 4 dimensions (F, A, I, R)
    • Analyse détaillée des résultats

Les +

    • Des explications sur les raisons de l’échec d’un critère particulier
    • Des suggestions pour surmonter les problèmes courants.

Documentation

Accès

https://foops.linkeddata.es/FAIR_validator.html

Les questionnaires d’auto-évaluation

Présentés dans un tableur, ces grilles permettent de s’interroger sur ses pratiques de gestion et de partage et d’identifier les points à améliorer. Elles peuvent nécessiter une bonne connaissance de l’environnement technique de la ressource évaluée.

SHARC, une grille généraliste

Questionnaire sous la forme d’un tableur, cette grille contient 45 critères d’évaluation FAIR ainsi que des questions relatives aux motivations ou freins des chercheurs pour ouvrir leurs jeux de données ou autres produits de recherche.

    • Objets évaluables : tous types de produits de recherche
    • 45 critères basés sur l’article de Wilkinson et al. (2016 et 2018) et le rapport Mutual Learning Exercise Open Science: Altmetrics and Rewards
    • 3 niveaux d’importance : essentiel / recommandé / souhaitable
    • 4 réponses possibles par critère : Jamais/NA ; Si obligatoire ; Parfois ; Toujours

Prérequis

Aucun prérequis technique mais certaines questions peuvent nécessiter un éclairage de la part d’une personne connaissant bien la gestion des données et les principes FAIR

Résultats

    • Un score global pour chaque niveau (essentiel / recommandé / souhaitable)
    • Score spécifique à chaque dimension (F, A, I, R)

Les +

    • Outil générique qui peut être adapté aux particularités des communautés
    • Disponible en anglais ET en français
    • Utilisable pour l’auto-évaluation. Également un bon support pour de la sensibilisation ou de la formation aux principes FAIR : les critères et le vocabulaire employés sont documentés dans le fichier

Documentation 

    • Diaporama Agrohackathon
    • Romain David, Laurence Mabile, Mohamed Yahia, Anne Cambon-Thomsen, Anne-Sophie Archambeau, et al.. How to assess FAIRness to improve crediting and rewarding processes for data sharing? A step forward towards an extensive assessment grid. RDA 13th (P13) Plenary Meeting, Apr 2019, Philadelphia, United States. 2019,  ⟨10.5281/ZENODO.2625721⟩. ⟨hal-02094678⟩
    • Echangez sur FAIRdata forum.

Accès

https://zenodo.org/record/3922069#.YwcyMXHP02x 

Télécharger également la grille en français.

Recommandations FAIRsFAIR, une grille dédiée aux artefacts sémantiques

Questionnaire sous la forme d’un tableur, cette grille contient 13 questions permettant d’évaluer (partiellement pour l’instant) le degré de conformité d’une ontologie, d’un thésaurus, etc. aux principes FAIR. Le questionnaire, produit dans la cadre du projet FAIRsFAIR, s’appuie sur les recommandations issues du même projet et qui consiste en 17 recommandations génériques et 12 bonnes pratiques.

    • Si une recommandation est respectée on marque 1, sinon on marque 0
    • Si une recommandation est représentée par plusieurs questions et si toutes ces questions sont respectées on marque 1 sinon on marque 0

Les recommandations peuvent avoir un caractère obligatoire (MUST), recommandé (SHOULD) ou facultatif (MAY).

Prérequis

Aucun prérequis technique mais certaines questions peuvent nécessiter un éclairage de la part d’une personne connaissant bien la gestion des données et les principes FAIR

Résultats

    • FAIR Score : pourcentage de recommandations obligatoires respectées
    • Global FAIR Score : pourcentage de toutes les recommandations respectées

Les +

    • outil d’autoévaluation. Il offre un support de discussion intéressant, dans le cadre de la formation ou de la sensibilisation aux principes FAIR

Documentation

    • Hugo, Wim, Le Franc, Yann, Coen, Gerard, Parland-von Essen, Jessica, & Bonino, Luiz. (2020). D2.5 FAIR Semantics Recommendations Second Iteration (1.0 DRAFT). Zenodo. https://doi.org/10.5281/zenodo.4314321
    • Yann Le Franc. (2022). OntoCommons D3.2 – Report on existing domain ontologies in. Zenodo. https://doi.org/10.5281/zenodo.6504553

Accès

Télécharger la grille d’évaluation FAIRsFAIR pour les artefacts sémantiques.