Comment inventer des résultats scientifiques et en faire parler les médias

Analyse

Inventer la science et la vendre aux médias

Il y a peu, deux nouveaux scandales de fraude scientifique ont éclaté. Si le premier confine à la tromperie dans un but carriériste, le second a été échafaudé pour souligner la manière dont nombre de médias considèrent la science, entre nouvelle anecdotique et vérité forcément inattaquable car émanant d’un sérieux professeur.

La première étude porte sur les attitudes du public à l’égard du mariage homosexuel. Sa conclusion, publiée dans la prestigieuse revue Science: les gens peuvent changer d’avis après un bref échange avec des militants LGBT (lesbiennes, gays, bi ou transsexuels). Problème: les statistiques sur lesquelles se basaient ces résultats étaient bancales, sinon inventées. Et l’auteur des travaux, un étudiant probablement avide de visibilité, a refusé de produire les données originales. Science a retiré l’étude.

L’autre cas va plus loin. Un journaliste et biologiste, John Bohannon, se faisant passer pour un diététicien d’un institut factice et assisté par un médecin, a mené un «essai clinique» pour démontrer que «manger du chocolat noir accélère la perte de poids». Il est parvenu à faire accepter ses résultats par plusieurs revues en peu de temps. Mieux: avec l’aide d’une agence, il a concocté un communiqué de presse qui a été repris quasiment tel quel par une myriade de médias, souvent de boulevard, mais pas seulement.

Que révèlent ces deux histoires? Plusieurs choses, à divers niveaux. La première est que l’on peut souvent faire dire ce que l’on souhaite à des statistiques. En les fabriquant, bien sûr, comme peut-être dans l’étude de Science. Mais aussi en pratiquant le cherry picking: pourvu que l’on mesure beaucoup de valeurs, qui plus est sur un nombre restreint de sujets, il y aura bien des chiffres qui satisferont à l’hypothèse de départ. Et ce sont eux qui seront mis en avant. C’est ainsi qu’a procédé John Bohannon, en mesurant 18 paramètres (cholestérol, protéines sanguines, etc.) chez 15 patients ingurgitant plus ou moins de chocolat. Ainsi, dit-il sur le blog Io9 , «nous avions 60% de chances d’obtenir quelques résultats «statistiquement significatifs».

Second enseignement: le système de peer review (révision par les pairs), mis en place par la plupart des revues scientifiques, et qui consiste à faire analyser à des experts des résultats soumis pour publication, montre de plus en plus ses limites. D’abord parce qu’il faut en trouver, des pairs acceptant de se pencher sur les travaux de leurs collègues du domaine et qui soient objectifs par rapport à eux (donc non concurrents).

Ensuite parce qu’une vague déferle sur le monde de la publication, celle de l’open access: avant, c’est le lecteur d’une revue comme Science qui devait payer très cher pour y avoir accès, les savants y publiant gratuitement. Avec l’open access, c’est l’inverse: le chercheur paie pour publier, et la lecture est libre. Ce système a ses avantages (rendre la science accessible) et ses inconvénients: les revues open access de seconde zone acceptent parfois très peu scrupuleusement des études (donc avec un peer review léger, voire inexistant), contre paiement, pour générer du profit. C’est dans cette brèche que s’est infiltré John Bohannon – et il n’est de loin pas le seul. Enfin, les reviewers semblent de plus en plus demander aux soumissionnaires de rendre leurs conclusions plus attrayantes, selon le New York Times . Pourquoi? Les revues étant en concurrence, hameçonner les journalistes avec des résultats au résumé attirant leur permet de se faire connaître et d’augmenter leur «facteur d’impact» (indice décrivant l’importance pour un chercheur d’y publier ses résultats), donc leur attrait.

Ces résumés attrayants, au ton péremptoire (comme dans les deux études précitées), induisent une troisième observation, que relève aussi John Bohannon. Souvent, les médias reprennent ces informations sans discernement ou approfondissement. La raison: les journalistes généralistes manquent des clés pour accéder aux subtilités de fonctionnement du monde scientifique et de ses publications. Ils font alors confiance à l’étiquette «science» que portent ces nouvelles. Ceux qui ont interrogé John Bohannon, dit-il lui-même, lui ont davantage posé des questions sur ses conseils diététiques que sur le nombre de cobayes impliqués, la valeur de ses statistiques ou même l’institut factice dont il se disait issu.

Ce traitement de la science au premier degré participe à décrédibiliser la presse; faut-il rappeler ici que, lors de sondages évaluant la confiance qu’inspirent au public diverses professions, les journalistes arrivent en fin de liste (26%), juste au-dessus des politiciens (19%), mais loin derrière les pompiers (92%) ou les médecins (86%) – d’où d’ailleurs peut-être aussi une explication de ces dérives scientifico-médiatiques?

Ces cas de fraude font la une au même titre que les trains en retard: les médias en parlent parce qu’ils sortent de l’ordinaire. La recherche scientifique produit sinon jour après jour nombre d’avancées utiles, sérieuses et valables. Et le peer review, comme la démocratie chère à Churchill, reste peut-être le pire des régimes à l’exception de tous les autres. Il est donc perfectible. Or les journalistes peuvent justement y participer, en appliquant un scepticisme sain aussi devant des annonces alléchantes à l’impact médiatique assuré issues d’une science sacralisée, en induisant une sélection vertueuse des informations diffusées, et en poussant ainsi les scientifiques à une probité et une honnêteté idéalement sans faille.

Chef de la rubrique Sciences au «Temps»

Le système de «peer review», ou révision par les pairs, montre de plus en plus ses limites