GraspOS : un projet européen pour explorer de nouveaux outils et méthodes pour l’évaluation de la recherche
GraspOS est un projet financé dans le cadre d’Horizon Europe pour trois ans (2023-2025). Il fixe l'objectif ambitieux de développer une infrastructure fédérée de données et de services pour l’aide à l’évaluation de la recherche. Il contribue ainsi à la mise en œuvre de l'action phare n°9 du plan Science Ouverte. L’enjeu est d’accompagner une évaluation responsable qui s’inscrit dans le cadre de la Coalition For Advancing Research Assessment. Il faut prendre en compte de nouvelles pratiques comme la science ouverte et permettre cette évaluation à différents niveaux : des individus, des disciplines, des structures (groupes, organisations, pays). INRAE, via la DipSO est partenaire de ce projet qui vient d’achever sa première année. Outre un état de l’art des pratiques d’évaluation, nous avons commencé à explorer de nouveaux outils utiles au pilotage de la recherche dont nous avons la responsabilité.
Contexte et enjeux
Le consortium GraspOS rassemble des experts de différents domaines. Le CWTS de Leiden (Pays-Bas) promeut un usage responsable des indicateurs bibliométriques dans le « Leiden manifesto » et son Leiden Ranking est produit depuis début 2024 en utilisant des métadonnées librement accessibles alors qu’il s’appuyait jusqu’à présent sur celle du Web of Science. OpenAire et l’université d’Athènes, coordinateur du projet, développent depuis plusieurs années l’infrastructure qui intègre les métadonnées de différents entrepôts comme Zenodo, HAL ou Recherche Data Gouv et propose des services sur ces informations collectées : alimentation de CORDIS, tableaux de bord pour les institutions...
Ces expertises doivent être mises au service de neuf « études pilotes » répartis en trois groupes : pays, institutions, thématiques. Le pilote « Agricultural & veterinary sciences » est porté par la DipSO.
Résultats
Pour la première année du projet, nous avons principalement contribué à l’état de l’art sur l’évaluation de la recherche : analyse des politiques ou des initiatives connexes, indicateurs quantitatifs et données qualitatives, infrastructures logicielles. Le rapport a apporté une attention particulière à la prise en compte de la science ouverte. Nous avons également décrit les pratiques d’évaluation INRAE et ses besoins en nous appuyant sur le corpus documentaire produit par la direction de l’Évaluation de l’Institut. Nous avons décrit les services dont nous disposons actuellement via le baromètre national de la science ouverte et les besoins d’évolution. Nous avons également commencé à étudié de nouveaux outils du consortium comme Bip! qui propose de nouvelles métriques sur les articles, ou le knowledge graph d’OpenAire.
Cette première année a été avant tout une année de découverte des partenaires et du potentiel de ce projet. Nous essayons de comprendre quels outils et méthodes vont pouvoir être utiles pour enrichir les outils pour l’évaluation au sein de l’institut.
Perspectives
En 2024, nous souhaitons passer à l’implémentation de notre pilote avec quatre actions :
- tester le moniteur science ouverte sur le corpus des productions INRAE issues de HAL ou Data INRAE ;
- explorer la possibilité d’avoir de nouveaux indicateurs, par exemple, liés à l’interdisciplinarité ;
- intégrer des indicateurs issus des services GraspOS dans nos propres applications (HAL ou DATA INRAE) ;
- expérimenter la mise en œuvre de « profil d’ouverture » avec des chercheurs volontaires.
Cela nous permettra de mieux appréhender ce qui est faisable en 2025.
Valorisation
Les travaux réalisés dans le cadre de ce projet pourront enrichir les métriques proposées sur nos différentes plateformes, que ce soit HAL ou Data INRAE.
Cela nous permet aussi d’explorer des alternatives au Web of Science ou Scopus.
Il contribue à notre montée en compétences sur de nouvelles technologies et aussi à la valorisation des pratiques d’évaluation de l’Institut qui sont compatibles avec les bonnes pratiques promues par CoARA.
Références bibliographiques
Anna-Kaisa Hyrkkänen, Dragan Ivanović, Janne Pölönen, Marita Kari, & Elina Pylvänäinen. (2023). GraspOS Deliverable D2.1 "OS-aware RRA approaches landscape report" (1.0). Zenodo. https://doi.org/10.5281/zenodo.8301792
Laura Himanen. (2023). GraspOS Deliverable 5.1 "Report on pilot setup, current practices and initial requirements" (1.0). Zenodo. https://doi.org/10.5281/zenodo.8304451
Tatum, C., Anli, Z., Waltman, L., Hyrkkänen, A.-K., Pölönen, J., & Nordling, J. (2024). GraspOS Deliverable 2.2 "OSAF" (Version 2). Zenodo. https://doi.org/10.5281/zenodo.10475460
