Science ouverte et évaluation : de l'Institut à l'Europe

Action phare 9 : Science ouverte et évaluation : de l'Institut à l'Europe

En septembre 2021, la direction de l’Évaluation, la DipSO et la déléguée à l’éthique, la déontologie et l’intégrité scientifique avaient organisé avec l’appui de la direction des Ressources humaines (formation permanente) un séminaire qui a rassemblé une quarantaine de personnes sur la thématique « science ouverte et évaluation ». En 2022, les travaux sur ce sujet ont été poursuivis à différents niveaux (Institut, France, Europe) avec une convergence d’approche qui contribue à une évolution conjointe des pratiques d’évaluation. Ils ont permis de constater que ces pratiques au sein de l’Institut étaient en phase avec les recommandations européennes. Ils donnent l’opportunité de partager notre expérience et de poursuivre nos avancées avec les autres acteurs de la recherche en France et en Europe.

Date de publication : février 2023

‎De quoi s’agit-il ?

Les pratiques scientifiques s’inscrivent de plus en plus explicitement dans un cadre de science ouverte, et la plupart des institutions d’enseignement supérieur et de recherche mettent en place une politique de science ouverte en cohérence avec le plan national de la science ouverte et les recommandations européennes et internationales (UNESCO).  Dans ce cadre, nos établissements de recherche sont dans leur ensemble signataires de la déclaration de San Francisco sur l’évaluation de la recherche (DORA). Cet engagement réaffirme une position institutionnelle considérant notamment que le contenu scientifique d’un article est plus important que les indicateurs de publication ou l’image de marque de la revue dans laquelle il a été publié.

Comme mis en évidence par la loi de programmation pour la recherche, la transition vers la science ouverte implique un renforcement de l’exigence en matière d’intégrité et de déontologie, guidé par un besoin de développer la transparence et la traçabilité des processus de recherche ; elle oblige de ce fait à accorder une attention plus forte aux données de la recherche, à leur production, leur gestion, leur exploitation et, chaque fois que c’est pertinent, à leur partage. Elle conduit en outre à développer de nouvelles modalités de production de la connaissance, y compris en impliquant des non-scientifiques. Ainsi, les pratiques de science ouverte, comme toute transformation, nécessitent des repositionnements :

  • Comment s’assurer de la qualité des productions au-delà des publications ?
  • Comment s’assurer du respect de l’intégrité scientifique ?
  • Comment organiser la pérennité de l’archivage des connaissances pour en garantir l’accès dans le temps, la réutilisation, voire permettre la reproductibilité des processus qui les ont produites?
  • Quelles stratégies les institutions publiques peuvent-elles développer pour maîtriser les risques et se saisir de toutes les opportunités liées à l’ouverture ?
  • Et enfin, comment évaluer les actions et pratiques de science ouverte, aussi bien à des niveaux collectifs (laboratoires, établissements, nations…) qu’individuels (praticiens de la recherche) ?

Nous devons continuer d’avancer sur tous ces sujets en lien avec les autres établissements de recherche.

Où en est-on actuellement et qu’est-ce que cela apporte concrètement ?

Début 2022, la conférence de Paris sur la science ouverte (OSEC), organisée par le MESR dans le cadre de la présidence française de l’Union européenne, a permis d’accélérer la prise de conscience politique de la nécessité de réformer, de manière coordonnée, l’évaluation de la recherche.

L’appel de Paris lancé à cette occasion insiste sur la nécessité d’une évaluation de la recherche qui reconnaisse la qualité et les différents impacts de la recherche. Il demande notamment « la création d’une coalition d’agences de financement de la recherche, d’institutions de recherche et d’autorités d’évaluation, volontaires et engagés pour une réforme du système actuel d’évaluation de la recherche selon des objectifs et des principes communs, et portant des actions communes. »

Ce message a accéléré les travaux dans le cadre de la Commission européenne et la coalition COARA (Coalition for Advancing Research Assessessment) a été lancée à l’automne 2022, après des travaux préparatoires auxquels la DipSO et la DEV ont pu participer. Cette coalition fédère ses partenaires autour d’un accord qui engage les signataires à faire évoluer leurs pratiques d’évaluation.

Après avoir diagnostiqué ses pratiques et ses marges de progrès en regard des dix engagements, INRAE a signé l’accord en novembre 2022. Cette vision désormais largement partagée permet de mettre en valeur un engagement de longue date d’INRAE. Dès 2007, dans le cadre des travaux EREFIN (évaluation de la recherche finalisée) animés par la direction de l’évaluation de l’INRA et mobilisant d’autres organismes à l’époque dont IRSTEA, INRAE a impulsé des pratiques vertueuses compatibles dores et déjà avec les engagements COARA.

Au niveau français, un groupe de travail sous l’égide du COSO auquel la DEV participe permet les convergences d’approche entre établissements et l’HCERES et la mise en œuvre des engagements COARA.

Ce contexte est donc très favorable pour l’Institut ; les travaux de la DEV et de la DipSO en 2022 ont ainsi permis d’enrichir le livret guide de l’évaluation conseil des chercheurs sur le volet « science ouverte » et de mettre en cohérence ces préconisations avec celles des promotions internes INRAE (qui sont proposées à la direction générale par des jurys ad-hoc, « hors CSS ou CEI) . Sur un plan plus technique, les exports de HAL ont été améliorés pour faciliter la constitution des dossiers pour l’évaluation individuelle des scientifiques ou collective des unités. L’HCERES s’est appuyé sur nos travaux pour proposer son outil d’export de données de HAL.

Perspectives

En 2023, outre les collaborations avec les autres organismes dans un contexte français ou européen, nous continuerons à améliorer les outils et les formations à destination des scientifiques pour expliquer les bonnes pratiques liées à l’ouverture des productions ou à la société. Un module « Science ouverte et évaluation » de la formation OSCAR sera proposé. Un guide « Bonnes pratiques pour atteindre 100 % de publications librement accessibles à l’horizon 2023 » doit être diffusé prochainement accompagné d’un courrier de la directrice générale déléguée à la science et à l’innovation. Il insiste sur la nécessité de rendre les publications librement accessibles, notamment dans le cadre de l’évaluation.

Enfin, la DipSO est partenaire d’un projet européen GraspOS « next Generation Research Assessment to Promote Open Science ». Lancé en janvier 2023, il doit permettre de concevoir une infrastructure de données et de services pour l’évaluation des pratiques de science ouverte. Le bilan 2023 sera l’occasion d’en dire plus sur ce projet et ses avancées.