Nouveaux indicateurs en appui à la stratégie scientifique INRAE

Interdisciplinarité et sciences et recherches participatives

Le pôle Astra produit des indicateurs pour venir en appui à la stratégie scientifique d’INRAE. Il a développé deux nouveaux indicateurs relatifs à l’interdisciplinarité et aux SRP (sciences et recherches participatives), deux enjeux mentionnés dans le plan INRAE 2030. Ces nouveaux indicateurs requièrent des développements spécifiques mobilisant des méthodes qui dépassent le cadre des indicateurs descriptifs classiques (parts, indices...) calculés sur les données bibliographiques, en fouillant les textes et/ou en analysant les citations. L’interdisciplinarité est évaluée dans les citations via les thématiques des revues de publication,
tandis que la détection des publications SRP repose sur une combinaison d’approche classique, de text mining et d’intelligence artificielle. Les résultats permettent un suivi de l’évolution de l’interdisciplinarité et des SRP, montrant un progrès global positif, tout en révélant des variations selon les thématiques de recherche et les périodes.

Contexte et enjeux

La stratégie scientifique de l’Institut évolue, et son pilotage requiert de nouvelles métriques notamment pour comprendre l’impact de sa politique de science ouverte. Dans le cadre du plan INRAE 2030, l’Institut s’engage à promouvoir l’interdisciplinarité et les sciences et recherches participatives (SRP). Ces pratiques doivent être suivies spécifiquement afin d’en évaluer la portée et l’impact. Dans ce cadre, le pôle Astra développe et met en place de nouveaux indicateurs.

Avec l’ouverture de la science, il est habituel d’envisager d’étendre l’analyse bibliométrique à de nouveaux types de productions scientifiques. Pour les SRP et l’interdisciplinarité, l’enjeu consiste davantage à approfondir les analyses bibliométriques : identifier une publication SRP requiert de « fouiller » le texte, tandis que l’interdisciplinarité exige notamment d’explorer les citations. Les défis diffèrent et les méthodes retenues sont adaptées en conséquence.

Interdisciplinarité

Ces dernières années, l’interdisciplinarité est au cœur des politiques scientifiques, notamment des métaprogrammes, à la fois lors de la conception des projets et de leur évaluation, car c’est une approche incontournable pour répondre à des enjeux scientifiques et sociétaux complexes. À l’échelle d’INRAE, un indicateur d’interdisciplinarité a été développé et mis en production afin de permettre le suivi et l’analyse de cette approche, en appui au pilotage stratégique.

Sciences et recherches participatives (SRP)

S’inscrivant pleinement dans la dynamique de la science ouverte, les sciences et recherches participatives (SRP) reposent sur l’implication d’acteurs non académiques dans la production de connaissances. La stratégie SRP de l’Institut pour la période 2025-2030 vise à soutenir activement le développement de ces pratiques, qui contribuent aux liens entre sciences et société. Pour répondre à cet engagement, les pôles Astra, Num4Sci et SenS de la DipSO collaborent pour détecter les publications de l’Institut impliquant des approches participatives, réalisées en partenariat avec la société civile ou utilisant des données issues de projets participatifs.

Résultats

Interdisciplinarité 

L’indicateur d’interdisciplinarité (IND) développé par INRAE s’appuie sur des travaux de l’Observatoire des sciences et techniques (OST)¹ : il mesure l’interdisciplinarité à l’échelle de l’article scientifique, en s’appuyant sur la diversité des disciplines associées aux références citées dans sa bibliographie. La mesure obtenue peut ensuite être agrégée à des niveaux d’analyse plus larges (structures ou thématiques) afin d’éclairer les dynamiques collectives. Cet indicateur fait partie des indicateurs produits dans le cadre de l’auto-évaluation de l’Institut.

Le graphique suivant montre qu’entre 2017 et 2024, l’interdisciplinarité se renforce à INRAE pour les 41 WoS Categories  majeures (85,12 % des publications INRAE). Pour les périodes 2017-2019 et 2022-2024, les IND moyens globaux sont respectivement de 0,29 et 0,32, soit une augmentation de 9,4 %.

Le graphique suivant présente ces 41 WoS Categories par classes en fonction de l’amplitude de la variation de l’IND sur la période. Parmi ces 41 WoS Categories, 37 ont un IND en hausse (17 en forte hausse, 16 en hausse modérée et 4 en faible hausse). 

L’usage d’un tel indicateur ne vise pas à produire une évaluation normative des pratiques scientifiques ni à réduire la complexité des démarches interdisciplinaires à une mesure unique. Aucun indicateur ne peut, à lui seul, rendre compte de la pluralité des formes de collaboration entre disciplines ni se substituer à l’expertise qualitative des communautés de recherche et des parcours d’auteurs. En revanche, intégré dans une approche réflexive et contextualisée, cet outil constitue un levier pour mieux objectiver certaines évolutions, identifier des tendances émergentes et accompagner les orientations stratégiques de l’Institut. Dans un contexte de science ouverte, il contribue ainsi à renforcer la lisibilité des actions menées, à soutenir une analyse partagée des dynamiques scientifiques et à éclairer la prise de décision dans un environnement de recherche en constante transformation.

Sciences et recherches participatives (SRP)

Le fait que des travaux reposent sur des méthodes de SRP n’est généralement pas mis en avant dans les publications et est rarement identifiable via les mots-clés indiqués par les auteurs.

Pour détecter les publications concernées, une approche mixte de détection des publications décrivant des SRP a été mise en place, impliquant à la fois une recherche classique de mots-clés couplée à des méthodes de text mining et de traitement automatique par Intelligence Artificielle, suivie d’une vérification post-traitement. L’approche se base sur les titres et abstracts des publications, issues du Web of Science (WoS) et intègre un processus d’amélioration continue où chaque technique est évaluée :  

Du fait de la difficulté d’identifier les publications décrivant des SRP, le corpus conçu par mots-clés ne peut pas prétendre être exhaustif. L’utilisation de méthodes de  text mining, a ainsi permis d’apporter 20% de documents supplémentaires. Les différentes méthodes utilisées se sont donc révélées complémentaires et leur combinaison permet la mise en place d’un dispositif de détection plus proche de la réalité.

Le corpus des « publications SRP » permet de suivre l’évolution annuelle, de connaître les structures INRAE impliquées et d’obtenir un état des lieux des collaborations nationales et internationales. On peut observer que le nombre de publications SRP INRAE a globalement augmenté entre 2017 et 2021, et reste relativement stable depuis.  L’impact des travaux de SRP reste difficile à mesurer aujourd’hui, mais le corpus ainsi produit permet déjà de répondre à certains questionnements de l’Institut.

Perspectives

Interdisciplinarité 

• Évaluer l’IND pour les publications produites par les métaprogrammes, sachant qu’une des ambitions des métaprogrammes est le développement d’une recherche interdisciplinaire.
• Analyser le profil des publications les plus interdisciplinaires (impact, open access, diversité et profils des collaborations institutionnelles (en France et à l’étranger)) et comparaison avec les autres publications INRAE.
• Décliner l’IND pour des structures INRAE (départements de recherche ou unités).

SRP 

•  En priorité, poursuivre le travail en cours de constitution du corpus d’apprentissage.
• Analyser le corpus (thématiques, types d’approches...) pour une meilleure connaissance des productions académiques issues de ces travaux et de leur évolution en appui à la stratégie de SRP de l’Institut. Par exemple, évaluer l’IND pour les publications SRP afin de vérifier l’hypothèse souvent avancée que les projets SRP mobilisent plus d’interdisciplinarité que les projets de recherches classiques.
• Mesurer l’impact des SRP par l’exploration de bases bibliographiques ouvertes (ex : OpenAlex, HAL), voire de mesures alternatives ("alternative metrics").
• Améliorer la détection des publications en s’appuyant sur les citations plutôt que sur les textes.

Références bibliographiques 

Zuiderent-Jerak, T. et al. (2020). From indicators to indicating interdisciplinarity: A participatory mapping methodology for research communities in-the-making. Quantitative Science Studies, 1(3), 1041-1063.

Wang, J., & Schneider, J. W. (2020). Consistency and validity of interdisciplinarity measures. Quantitative Science Studies, 1(1), 239-263.

De Turckheim, E. et al. (2017). Analysing Institutions Interdisciplinarity by Extensive Use of the Rao–Stirling Diversity Index. PLOS ONE, 12(1), e0170296.

Rousseau, R. et al. (2017). Analysing institutions’ interdisciplinarity by extensive use of the Rao–Stirling diversity index. PLOS ONE.

Larivière, V., & Gingras, Y. (2014). Measuring interdisciplinarity. In H. F. Moed et al. (eds.), Handbook of Quantitative Science and Technology Research.

Rafols, I., & Meyer, M. (2010). Diversity and network coherence as indicators of interdisciplinarity: Case studies in bionanoscience. Scientometrics, 82(2), 263-287.

Porter, A. L., & Rafols, I. (2009). Is science becoming more interdisciplinary? Measuring and mapping six research fields over time. Scientometrics, 81(3), 719 745.

Morillo, F., Bordons, M., & Gómez, I. (2003). An approach to interdisciplinarity through bibliometric indicators. Journal of the American Society for Information Science and Technology, 54(13), 1237-1249.

De Turckheim, E., & Hubert, B. (2002). À la recherche de l’interdisciplinarité : évaluer la recherche finalisée. Revue d’Anthropologie des Connaissances.

1. De Turckheim, E. et al. (2017). Analysing Institutions Interdisciplinarity by Extensive Use of the Rao–Stirling Diversity Index. PLOS ONE, 12(1), e0170296.