Une science impossible à reproduire

Il y a péril en la demeure. Le «système immunitaire de la science» connaît des ratés, comme le constate le psychologue Chris Chambers dans son livre, The 7 Deadly Sins of Psychology (les 7 pêchés mortels de la psychologie, Princeton University Press, non traduit). Le nom savant de cette protection est «reproductibilité», c’est-à-dire la possibilité de refaire et de confirmer une expérience.

«La reproductibilité et la réplication sont les pierres angulaires de la science. Sans elles, nous n’avons aucun moyen de savoir quelles découvertes sont vraies et lesquelles sont causées par le jeu du hasard, de l’erreur ou de la fraude, précise Chris Chambers, de l’Université de Cardiff. On ne vole pas dans un avion qui n’a pas été rigoureusement testé, encore et encore. Il en va de même pour toutes les branches de la science.»

La majorité du temps, cela fonctionne. Ainsi en 2014, devant l’impossibilité de plusieurs laboratoires à répéter aisément un protocole prétendant obtenir des cellules souches pluripotentes, l’équipe japonaise qui avait clamé la découverte dans Nature est contrainte d’avouer qu’elle a fraudé. La fautive, Haruko Obokata, a démissionné et l’un de ses coauteurs, Yoshiki Sasai, pourtant innocenté, se suicidera. Idem pour une technique d’édition du génome, qui promettait de faire mieux que la technique Crispr-cas9, très en vogue. L’article publié par Nature Biotechnology en 2016 a été retiré en août, après l’échec de plusieurs équipes à reproduire le résultat.

Défaillance du système

A l’inverse de ces «réussites», en 2005, John Ioannidis, de l’Université de Stanford, ébranlait la communauté par un article dans Plos Medicine suggérant que «la plupart des résultats scientifiques sont faux», car impossibles à reproduire. De nombreuses expériences de réplication ont depuis été conduites, montrant l’ampleur de la défaillance du système. En 2012, une équipe de la société de biotechnologie Amgen explique qu’en oncologie elle n’a retrouvé les résultats publiés que dans 6 cas sur 53.

En 2015, la première initiative du Centre pour la science ouverte aux Etats-Unis, tente de reproduire 100 expériences de psychologie et n’y parvient que dans 39 cas. Deux ans plus tard, un programme identique de réplication en cancérologie publie ses premiers résultats. Sur 7 études, 4 ont été reproduites, 1 non et 2 restent impossibles à interpréter. Reste encore 29 études à vérifier dans ce projet. Souvent, c’est la mauvaise interprétation de tests statistiques qui les rend difficiles à répliquer.

Preuve supplémentaire du malaise, en mai 2016, Nature publiait un sondage dévastateur: 70% des 1576 répondants déclarent avoir échoué à reproduire un résultat et même 50% à refaire leur propre expérience… L’heure est si grave qu’en janvier 2017 dix auteurs signent un «manifeste pour la science reproductible» dans Nature Human Behaviour appelant à plus de rigueur dans les méthodes, les comptes rendus et l’évaluation de la recherche.

La «crise», comme elle a été baptisée, ne touche pas seulement la psychologie ou l’oncologie. En imagerie cérébrale par IRM fonctionnelle, plusieurs études ont montré que des activations de pixels jugées significatives sont en réalité des faux positifs. L’une de ces études montre qu’il existe tellement de manières d’analyser les images qu’il est possible d’«allumer» 90% des pixels d’un scanner en appliquant l’une ou l’autre. «Dans mon équipe, nous testons les méthodes sur plusieurs jeux de données afin d’éviter ces pièges», explique Bertrand Thirion, de l’Inria, l’Institut national français de recherche en informatique et en automatique.

En chimie, Raphaël Lévy de l’Université de Liverpool cite dans la revue Médecine/Sciences du 18 septembre trois cas de résultats probablement faux dans sa discipline, qui n’ont pas été rectifiés depuis plusieurs années, malgré ses contestations et celles d’autres chercheurs. «Le système n’encourage pas à la réplication des résultats. Il faut être un peu fou pour s’engager dans ces critiques, même si ça ne nuit pas à ma carrière», témoigne le chercheur. Les revues scientifiques ne sont en effet pas toujours promptes à corriger les erreurs publiées, qui entament leur réputation.

«Le public a le droit de fonder sa confiance en la science sur la réalité et non sur la fiction. Même avec ces défauts, la science est sans aucun doute le meilleur moyen de découvrir la vérité sur le monde et de prendre des décisions rationnelles. Mais cela ne veut pas dire qu’elle ne peut pas ou ne devrait pas être améliorée. Nous devons trouver des solutions pratiques face à ces problèmes», estime Chris Chambers.

Accès aux données

La liste qu’il propose dans son livre ou qui est reprise par le manifeste qu’il a cosigné fourmille d’idées. Comme relever les exigences en matière de rigueur statistique. Ou favoriser la transparence dans les procédures, en donnant accès aux données brutes, images, chiffres, méthodes utilisées… «Il y a encore des freins face à cette ouverture. Pour certains, les données, c’est le pouvoir. Pour d’autres, c’est la peur qu’on trouve des défauts dans leur travail, regrette Bertrand Thirion. Mais justement, c’est bien de trouver des erreurs, pour pouvoir les corriger!» Chris Chambers et d’autres ont d’ailleurs lancé en 2016 une charte pour les relecteurs d’articles qui s’engagent à n’évaluer des manuscrits que si les auteurs transmettent leurs données.

Une autre solution consiste dans les pré-enregistrements d’expérience, comme pratiqué depuis plusieurs années pour les essais cliniques. Les chercheurs doivent détailler leur protocole et les méthodes qu’ils utiliseront pour leur expérience, afin d’éviter la tentation d’adapter la méthode ou les tests aux observations. Des sites comme l’Open Science Framework, lancé par le Centre pour la science ouverte, permettent désormais de remplir facilement ce genre de recommandations. Autre idée, défendue par provocation par John Ioannidis en 2014: renverser les «incitations» habituelles des chercheurs pour promouvoir les études de réplication, le partage des données, plutôt que la publication à outrance…

«Nous avons la lourde responsabilité publique de veiller à ce que la prochaine génération de scientifiques ne souffre pas des problèmes de ma génération. Ce n’est que lorsque la science est aussi ouverte et solide que possible qu’elle peut apporter le maximum d’avantages à l’humanité», conclut Chris Chambers.

En écologie, on anticipe le problème

En écologie, ce n’est pas encore la crise de la reproductibilité, mais on s’y prépare. Un article, disponible depuis août sur BioRxiv, relate la collaboration de 14 laboratoires en Europe pour tester la robustesse de leur domaine face à cette difficulté à valider certains résultats publiés. L’idée était de tester si la même expérience, à savoir l’effet d’une légumineuse sur la croissance d’une graminée plantée conjointement, pouvait être strictement reproduite dans différents laboratoires dans les mêmes conditions.

Parade trouvée

«On avait quelques indices que la reproductibilité est inférieure à celle attendue, explique Alexandru Milcu, de l’Ecotron à Montpellier et du Centre d’écologie fonctionnelle et évolutive (CNRS), à l’origine de cette collaboration. Il y a des conditions de laboratoires spécifiques qui nous échappent, comme la nature du micro-environnement, le rôle des expérimentateurs…». Finalement, cette variabilité a bien été constatée. Mais l’équipe a aussi trouvé une parade consistant à multiplier les expériences avec des plantes aux génotypes différents. C’est contre-intuitif, mais cette variabilité ajoutée et contrôlée «noie» en quelque sorte les spécificités du lieu et augmente ainsi la reproductibilité des expériences. «Il faudra répéter ce genre d’étude. Ce qui au départ était une question de curiosité est devenu fascinant!» note le chercheur.