Reproductibilité : de l’impasse à l’espoir

Et si la crise de la reproductibilité menait au perfectionnement de la science ?

On le répète depuis des années, la science traverse une crise de la reproductibilité. De la psychologie aux sciences biomédicales en passant par l’économie et l’informatique, des études tentent de reproduire fidèlement des résultats de recherches antérieures et n’y parviennent pas.

Mais est-ce véritablement une crise ? N’assiste-t-on pas plutôt à un exercice de lucidité qui illustre une caractéristique propre de la démarche scientifique, celle de se remettre en question perpétuellement et, ce faisant, de s’autocorriger ?

Ces réflexions ne sont pas nouvelles, mais elles ont été noyées dans un discours qui associe les problèmes de reproductibilité à tout ce qui ne fonctionne pas dans le monde scientifique : le biais de publication, c’està-dire la tendance à ne diffuser que les résultats positifs ; la pression de publier ; des interprétations statistiques laxistes ; les biais de confirmation d’hypothèse ; la manipulation des données, etc.

Tout cela n’est pas faux, mais par moments, ça frôle le misérabilisme. Et cela mine la confiance en la science. « Au lieu d’inspirer les jeunes générations à faire davantage de recherche et à en améliorer la qualité, [l’idée que la science est en crise] pourrait favoriser chez elles le cynisme et l’indifférence. […] Cela risque de discréditer la valeur des données scientifiques et d’alimenter les théories antisciences », argumente Daniele Fanelli, expert en méthodologie à la London School of Economics and Political Science, dans un article d’opinion publié en mars 2018 dans Proceedings of the National Academy of Sciences.

Depuis quelque temps, des voix émergent afin de transformer cette « crise » en occasion pour perfectionner la science. En Europe, la plateforme Curate Science tente de certifier la transparence et la reproductibilité de la recherche empirique. Elle réunit des standards sous la forme d’une fiche semblable au tableau de la valeur nutritive des produits alimentaires. Parmi les critères, on exige que les données et la méthodologie soient publiques. Les protocoles de recherche doivent également être préenregistrés et soumis à un comité de pairs en amont. Si le tout est approuvé, les chercheurs obtiennent en échange une garantie de publication − même si l’issue de l’étude s’avère négative. Jusqu’à présent, 158 revues savantes ont recours à cette méthode qui réduirait le biais de publication. En octobre 2018, un papier prépublié sur PsyArXiv a analysé 113 protocoles préenregistrés dans les domaines de la psychologie et des sciences biomédicales. On y trouvait 296 hypothèses. Parmi elles, 61 % n’ont pas été étayées par les résultats obtenus. Ces travaux sont moins excitants à publier qu’une découverte majeure, mais ils ont le mérite de montrer justement cela : la science n’est pas toujours sensationnelle. Le plus souvent, c’est même une enfilade d’échecs.

Pendant ce temps, des scientifiques affinent les méthodes de reproduction d’études, critiquées notamment en ce qui a trait aux échantillons (soi-disant trop petits ou pas assez similaires) ainsi qu’au respect des protocoles originaux. Le dernier projet en la matière s’intitule Many Labs 2. L’objectif : reproduire 28 études en psychologie. Les équipes à l’origine de ces expériences ont été consultées afin de répéter le plus scrupuleusement possible la méthode. Le nombre de participants dans les échantillons combinés était 62 fois plus élevé que dans les études de départ. Soixante laboratoires situés dans 36 pays et territoires ont refait les expériences afin de vérifier si le contexte et le lieu auraient une influence. La moitié des études ont passé le test. Et si une tentative de reproduction réussissait à un endroit sur la planète, elle réussissait aussi partout ailleurs. Idem pour les études impossibles à reproduire.

Doit-on voir le verre à moitié vide ou à moitié plein ? Je suis de nature optimiste : 14 études sur 28 se sont révélées très solides, montrant du même coup que les sciences sociales sont capables de rigueur, quoi qu’en disent les mauvaises langues. Pour citer Brian Nosek, le chercheur principal derrière Many Labs 2, « la science n’est pas une question de vérité et de fausseté ; elle a plutôt pour objectif de réduire l’incertitude. »

La crise ? Quelle crise ?