Qu'est-ce qu'une recherche reproductible ?
Le concept de reproductibilité est utilisé de manière différente dans la littérature, au cours du temps et selon les disciplines. Les auteurs s’accordent sur le fait que c’est donner la possibilité de reproduire une expérience et obtenir des résultats comparables, ou similaires, mais c’est dans le détail que les objectifs diffèrent.
L'approche récente de Di Cosmo (2020), distingue la reproductibilité de notions proches, souvent confondues comme la répétabilité et la réplicabilité. Elles font également l’objet d’une terminologie bien définie à l’international (ACM, 2020).
La répétabilité est la capacité, par la même équipe, de reproduire les résultats d’une expérience, en ré-utilisant le même dispositif expérimental (y compris les codes logiciels).
La reproductibilité est la capacité, par une équipe différente, de reproduire les résultats d’une expérience, en ré-utilisant le même dispositif expérimental décrit (y compris les codes logiciels).
La réplicabilité est la capacité, par une équipe différente, de reproduire les résultats d’une expérience en utilisant leur propre dispositif expérimental, codes logiciels.
Di Cosmo définit ainsi un gradient entre ces notions puisque les exigences ne sont pas les mêmes. La répétabilité et la reproductibilité, demandent que les matériaux (méthodologie, données, codes...) soient mis à disposition et bien documentés, pour que l’expérience puisse être reproduite, dans des conditions similaires et les résultats obtenus soient identiques. La réplicabilité impose quant à elle d’obtenir les mêmes résultats que ceux obtenus à l’origine. Ceci pourra être fait avec d’autres données, ou un environnement logiciel différent.
En savoir plus
ACM, Association for Computing Machinery. (2020). Artifact Review and Badging Version 1.1 : https://www.acm.org/publications/policies/artifact-review-and-badging-current
Di Cosmo, R., Gruenpeter, M., Zacchiroli, S. (2020). Referencing Source Code Artifacts: a Separate Concern in Software Citation, Computing in Science & Engineering, doi:10.1109/MCSE.2019.2963148