Quelques années après la parution des Principes FAIR par Wilkinson et al. et leur appropriation par les communautés qui travaillent avec la donnée, des outils permettant d’évaluer le niveau de conformité d’une ressource aux principes FAIR (FAIRness assessment) voient le jour. Qu’ils soient sous la forme de questionnaires d’auto-évaluation ou complètement automatiques, ils permettent d’identifier des points d’amélioration des pratiques de gestion et d’exposition des ressources.
Lors de l’Agrohackathon 2022, le projet FooSIN a proposé de tester 6 outils et méthodes que nous présentons brièvement ici. Les lecteurs trouveront plus de détails sur les sites référencés ci-dessous et pourront échanger et poser leurs questions sur le forum FAIRdata.
Les outils automatiques généralistes
Avertissement : les outils automatiques nécessitent que la ressource à évaluer soit accessible en ligne et qu’elle soit accompagnée de ses métadonnées.
FAIR-checker
Service web conçu pour évaluer la conformité aux principes de ressources numériques variées.
-
- Objets évaluables : toute ressource numérique accessible sur le web (jeu de données, code logiciel, workflow, ressource sémantique…)
- Critères basés sur FAIR Metrics et les recommandations du FAIR Cookbook
- Extrait les métadonnées intégrées des pages Web (formats pris en charge : RDFa, JSON-LD et microdonnées)
- S’appuie sur Bioschemas pour évaluer les métadonnées spécifiques aux communautés
Prérequis
La ressource à évaluer doit être accessible en ligne. L’utilisateur fournit une URL ou un DOI.
Résultats
-
- Un résumé graphique de l’évaluation FAIR sous forme de radar
- Un rapport d’évaluation détaillé pour chaque principe et sous-principes FAIR
- Des recommandations techniques
Les +
-
- Utilise des ressources du web (Wikidata, OpenAIRE, et OpenCitations) et des approches sémantiques pour affiner l’évaluation
Documentation
-
- Diaporama Agrohackathon
- Rosnet, Thomas, Lefort, Vincent, Devignes, Marie-Dominique, & Gaignard, Alban. (2021). FAIR-Checker, a web tool to support the findability and reusability of digital life science resources (1.0). JOBIM (JOBIM), Paris. https://doi.org/10.5281/zenodo.5914307
- Gaignard, Alban, Rosnet, Thomas, de Lamotte, Frédéric, & Devignes, Marie-Dominique. (2021, June 4). Automatic evaluation of FAIR metrics. Elixir All-Hands (Elixir All-Hands). https://doi.org/10.5281/zenodo.5914367
- Echangez sur FAIRdata forum ou le forum INRAE (membres ESR uniquement)
Accès
https://fair-checker.france-bioinformatique.fr/
F-UJI
Service web conçu pour évaluer la conformité aux principes de ressources numériques variées.
-
- Objets évaluables : toute ressource numérique accessible sur le web (jeu de données, code logiciel, workflow, ressource sémantique…)
- 17 critères basés sur les recommandations FAIRsFAIR Data Object Assessment Metrics
- S’appuie sur les standards de métadonnées génériques comme Dublin Core, dcat, Datacite, Schema.org, etc. et plusieurs standards communautaires
Prérequis
La ressource à évaluer doit être accessible en ligne. L’utilisateur fournit une URL ou un DOI.
Résultats
-
- Un résumé graphique de l’évaluation FAIR avec indication du degré de maturité : incomplet (0), initial (1), modéré (2) et avancé (3) sur chacun des critères testés, chaque dimension (F, A, I, R) et global
- Analyse détaillée de l’évaluation pour chaque critère
- Résultats de l’évaluation téléchargeables au format json
Les +
-
- Possibilité d’indiquer un point d’accès (OAI-PMH, SPARQL, CSW) utilisable par F-UJI pour récupérer des métadonnées supplémentaires
- Utilise des ressources et services tiers (Datacite, SPDX License List,
- RDA Metadata Standards Catalog, LOV…) pour affiner l’évaluation
Documentation
-
- Diaporama Agrohackathon
- Présentation générale :https://www.f-uji.net/index.php?action=about
- Métriques : https://www.f-uji.net/index.php?action=methods
- Anusuriya Devaraju, Robert Huber (2021). « An automated solution for measuring the progress toward FAIR research data » Patterns 2 (11). https://doi.org/10.1016/j.patter.2021.100370
- Autres documentations
- Echangez sur FAIRdata forum.
Citer F-UJI : Anusuriya Devaraju, & Robert Huber. (2020). F-UJI – An Automated FAIR Data Assessment Tool (v1.0.0). Zenodo. https://doi.org/10.5281/zenodo.4063720
Accès
-
- Outil en ligne : https://www.f-uji.net/index.php?action=test
- Paquetage client R : https://github.com/NFDI4Chem/rfuji
- Client web : https://github.com/MaastrichtU-IDS/fairificator
Les outils automatiques spécialisés pour les artefacts sémantiques
O’FAIRe
Service web conçu pour évaluer la conformité des vocabulaires ou des ontologies aux principes FAIR. Il est intégré à la solution Ontoportal et disponible sur les entrepôts de ressources sémantiques Agroportal, SIFR BioPortal and IndustryPortal.
-
- Objets évaluables : Vocabulaires en OWL et SKOS
- 61 critères basés sur les grilles SHARC et FDMM, LOD 5-star (Tim Berners-Lee), les recommandations MIRO et FAIRsFAIR ainsi que les travaux de Poveda et al. adaptés aux vocabulaires
- S’appuie sur Metadata for Ontology Description and Publication Ontology (MOD1.4) pour les métadonnées
Prérequis
Le vocabulaire doit être déposé sur un entrepôt intégrant O’FAIRe
Résultats
-
- Score global et pour chacun des principes et sous-principes FAIR sous forme de radar
- Explication du score obtenu avec indication des données exploitées
Les +
-
- Compatible avec une grande variété d’éléments de métadonnées
- Les résultats sont accessibles en permanence aux visiteurs du portail (le score FAIR devient un critère de choix d’un vocabulaire)
Documentation
-
- Diaporama Agrohackathon
- Emna Amdouni, Syphax Bouazzouni, Clement Jonquet. O’FAIRe: Ontology FAIRness Evaluator in the AgroPortal semantic resource repository. ESWC 2022 – 19th Extended Semantic Web Conference, Poster and demonstration., May 2022, Hersonissos, Greece. ⟨10.1007/978-3-031-11609-4_17⟩. ⟨lirmm-03630543v3⟩
- O’FAIRe makes you an offer: Metadata-based Automatic FAIRness Assessment for Ontologies and Semantic Resources (https://hal-lirmm.ccsd.cnrs.fr/lirmm-03630233) PDF=> https://github.com/agroportal/fairness/raw/master/Submission_JWS_OFAIRe_v5.pdf
- Echangez sur FAIRdata forum.
Accès
-
- Agroportal : http://agroportal.lirmm.fr/
- SIFR BioPortal : http://bioportal.lirmm.fr/
FOOPS!
Service web conçu pour évaluer la conformité des vocabulaires ou des ontologies aux principes FAIR.
-
- Objets évaluables : Vocabulaires en OWL et SKOS
-
- 24 critères vérifiés dont certains adaptés aux ressources sémantiques. Les critères sont basés sur les recommandations du groupe RDA FAIR for Research Software (FAIR4RS) et du projet FAIRsFAIR)
Prérequis
Le vocabulaire doit être accessible en ligne
Résultats
-
- Moyenne des scores normalisés des critères évalués
- Score global (pourcentage) et radar sur les 4 dimensions (F, A, I, R)
- Analyse détaillée des résultats
Les +
-
- Des explications sur les raisons de l’échec d’un critère particulier
- Des suggestions pour surmonter les problèmes courants.
Documentation
-
- Diaporama Agrohackathon
- Daniel Garijo, Óscar Corcho, María Poveda-Villalón:
FOOPS!: An Ontology Pitfall Scanner for the FAIR principles. ISWC (Posters/Demos/Industry) 2021 - Echangez sur FAIRdata forum
- Concact/Questions : foops[AT]delicias.dia.fi.upm[.]es
Accès
https://foops.linkeddata.es/FAIR_validator.html
Les questionnaires d’auto-évaluation
Présentés dans un tableur, ces grilles permettent de s’interroger sur ses pratiques de gestion et de partage et d’identifier les points à améliorer. Elles peuvent nécessiter une bonne connaissance de l’environnement technique de la ressource évaluée.
SHARC, une grille généraliste
Questionnaire sous la forme d’un tableur, cette grille contient 45 critères d’évaluation FAIR ainsi que des questions relatives aux motivations ou freins des chercheurs pour ouvrir leurs jeux de données ou autres produits de recherche.
-
- Objets évaluables : tous types de produits de recherche
- 45 critères basés sur l’article de Wilkinson et al. (2016 et 2018) et le rapport Mutual Learning Exercise Open Science: Altmetrics and Rewards
- 3 niveaux d’importance : essentiel / recommandé / souhaitable
- 4 réponses possibles par critère : Jamais/NA ; Si obligatoire ; Parfois ; Toujours
Prérequis
Aucun prérequis technique mais certaines questions peuvent nécessiter un éclairage de la part d’une personne connaissant bien la gestion des données et les principes FAIR
Résultats
-
- Un score global pour chaque niveau (essentiel / recommandé / souhaitable)
- Score spécifique à chaque dimension (F, A, I, R)
Les +
-
- Outil générique qui peut être adapté aux particularités des communautés
- Disponible en anglais ET en français
- Utilisable pour l’auto-évaluation. Également un bon support pour de la sensibilisation ou de la formation aux principes FAIR : les critères et le vocabulaire employés sont documentés dans le fichier
Documentation
-
- Diaporama Agrohackathon
- Romain David, Laurence Mabile, Mohamed Yahia, Anne Cambon-Thomsen, Anne-Sophie Archambeau, et al.. How to assess FAIRness to improve crediting and rewarding processes for data sharing? A step forward towards an extensive assessment grid. RDA 13th (P13) Plenary Meeting, Apr 2019, Philadelphia, United States. 2019, ⟨10.5281/ZENODO.2625721⟩. ⟨hal-02094678⟩
- Echangez sur FAIRdata forum.
Accès
https://zenodo.org/record/3922069#.YwcyMXHP02x
Télécharger également la grille en français.
Recommandations FAIRsFAIR, une grille dédiée aux artefacts sémantiques
Questionnaire sous la forme d’un tableur, cette grille contient 13 questions permettant d’évaluer (partiellement pour l’instant) le degré de conformité d’une ontologie, d’un thésaurus, etc. aux principes FAIR. Le questionnaire, produit dans la cadre du projet FAIRsFAIR, s’appuie sur les recommandations issues du même projet et qui consiste en 17 recommandations génériques et 12 bonnes pratiques.
-
- Si une recommandation est respectée on marque 1, sinon on marque 0
- Si une recommandation est représentée par plusieurs questions et si toutes ces questions sont respectées on marque 1 sinon on marque 0
Les recommandations peuvent avoir un caractère obligatoire (MUST), recommandé (SHOULD) ou facultatif (MAY).
Prérequis
Aucun prérequis technique mais certaines questions peuvent nécessiter un éclairage de la part d’une personne connaissant bien la gestion des données et les principes FAIR
Résultats
-
- FAIR Score : pourcentage de recommandations obligatoires respectées
- Global FAIR Score : pourcentage de toutes les recommandations respectées
Les +
-
- outil d’autoévaluation. Il offre un support de discussion intéressant, dans le cadre de la formation ou de la sensibilisation aux principes FAIR
Documentation
-
- Hugo, Wim, Le Franc, Yann, Coen, Gerard, Parland-von Essen, Jessica, & Bonino, Luiz. (2020). D2.5 FAIR Semantics Recommendations Second Iteration (1.0 DRAFT). Zenodo. https://doi.org/10.5281/zenodo.4314321
- Yann Le Franc. (2022). OntoCommons D3.2 – Report on existing domain ontologies in. Zenodo. https://doi.org/10.5281/zenodo.6504553
Accès
Télécharger la grille d’évaluation FAIRsFAIR pour les artefacts sémantiques.