La science peut perpétuer des mythes

Par Evolution News

Article traduit de l’anglais et reproduit sur B&SD avec l’aimable autorisation du Discovery Institute.

Publié le 21 mai 2020

Dans un nouvel article paru dans Perspectives on Psychological Science¹, John P. A. Ioannidis du Stanford Prevention Research Center explique «Pourquoi la science ne se corrige pas elle-même nécessairement.» L’objet premier de son attention concerne les failles dans la recherche en psychologie, mais les principes discutés s’appliquent à tous les domaines scientifiques :

“La capacité de s’autocorriger est considérée comme un cachet de la science. Cependant, le processus d’autocorrection n’a pas toujours lieu par défaut en ce qui concerne les preuves scientifiques. La trajectoire suivie par la crédibilité scientifique peut fluctuer au fil du temps, à la fois pour des domaines scientifiques spécifiques et pour la science dans son ensemble. L’histoire suggère que des catastrophes majeures touchant à la crédibilité scientifique sont malheureusement possibles et l’argument selon lequel « il est évident qu’un progrès a lieu » est faible.” (C’est nous qui soulignons en gras.)

John P. A. Ioannidis

Le fait de s’autocorriger est un idéal qui n’est pas toujours atteint dans le monde réel de la science, et ce pour de nombreuses raisons. Considérez, par exemple, le sort que subit un article de recherche typique. Tout d’abord, il existe deux possibilités concernant les conclusions de l’article : elles pourraient être exactes ou erronées. En second lieu, l’accueil que pourrait recevoir l’article est de trois types, ce qui conduit à six résultats possibles :

• 1. Si les conclusions sont justes, les résultats de l’article pourraient être répliqués et confirmés. C’est la situation idéale.
• 2. Si les conclusions sont justes, une tentative de réplication des résultats pourrait aboutir à la conclusion incorrecte qu’ils sont faux (cas dit de « fausse non-réplication »).
• 3. Si les conclusions sont justes, il se pourrait que les résultats ne soient pas du tout répliqués, ce qui donne lieu « à une découverte authentique non confirmée ».
• 4. Si les conclusions sont fausses, une tentative de réplication pourrait montrer qu’elles sont erronées. C’est une autre situation idéale.
• 5. Si les conclusions sont fausses, une tentative de réplication pourrait ne pas montrer qu’elles le sont, ce qui mènerait à la situation d’une « erreur perpétuée ».
• 6. Si les conclusions sont fausses, il est possible que les résultats ne soient pas répliqués du tout, ce qui aboutit à « une erreur non remise en cause ».

Seuls les cas 1 et 4 sont des situations désirables, tandis que le cas 3 est tolérable. Les autres situations sont en conflit avec l’idéal d’autocorrection. Il s’agit de savoir si ces situations sont courantes. Ioannidis montre que la grande majorité des articles ne sont jamais répliqués, ce qui signifie que certaines découvertes authentiques ne sont jamais confirmées de façon indépendante, et que certaines recherches « fausses » ne sont jamais vérifiées, ce qui entretient les erreurs.

En l’absence d’efforts de réplication, ce qui reste n’est que découvertes (authentiques) non confirmées et erreurs non remises en question. Dans plusieurs domaines d’étude, y compris de nombreuses disciplines de la science de la psychologie, les erreurs perpétuées et les erreurs non remises en question pourraient constituer la masse dominante des preuves en circulation.

À tout moment, affirme-t-il, la crédibilité de la recherche fluctue. Il serait naïf de supposer une tendance vers l’autocorrection au fil du temps. De plus, la crédibilité peut varier d’une discipline scientifique à l’autre.

Même à supposer qu’une science correctement pratiquée suivra asymptotiquement la tendance vers une parfaite crédibilité, il n’y a aucune garantie que la crédibilité scientifique s’accroisse de façon continue et qu’il n’y ait pas de périodes creuses pendant lesquelles la crédibilité scientifique diminue (légèrement ou de manière radicale). La crédibilité de nouvelles découvertes et la somme totale des preuves sont dans un flux continu. Elles peuvent croître comme diminuer…

Par ailleurs, même dans le cas où un accroissement global serait observé, il est vraisemblable qu’il y ait une hétérogénéité considérable entre les disciplines scientifiques : la crédibilité peut augmenter dans certaines disciplines, mais peut diminuer dans d’autres. Si les disciplines à faible crédibilité deviennent prolifiques dans leur productivité et dominantes (ce qui se traduit, par exemple, par le fait qu’elles attirent un grand nombre de chercheurs, des financements, l’attention publique, et font l’objet de nombreuses publications), alors elles peuvent faire décroître la crédibilité globale du corpus scientifique, quand bien même des progrès importants seraient accomplis dans d’autres disciplines.

Ioannidis l’illustre avec plusieurs exemples tirés de l’histoire, dont la phrénologie et l’eugénisme, qui montrent que « d’importantes baisses de crédibilité dans de nombreuses disciplines ou même à travers tout le continuum scientifique sont possibles ».

Face à ces considérations, comment la science actuelle s’en sort-elle ? À l’évidence, de formidables accomplissements ont été réalisés dans les technologies, dans le domaine des instruments de mesure et dans la collecte des données en termes de quantité et quelquefois même de qualité. Néanmoins, l’état des lieux de la situation doit être évalué attentivement. Il est tout à fait possible que la crédibilité de certaines disciplines augmente tandis que d’autres peuvent faire face à des temps difficiles où leur crédibilité décroît. Il est impossible d’exclure l’éventualité que des fortes baisses de crédibilité puissent se produire ou se soient produites en ce moment même.

Le saccage par les flammes de la bibliothèque d’Alexandrie montre qu’une destruction massive des preuves est aussi possible. C’est bien à tort que nous faisons monter un soupir de soulagement devant l’idée qu’aujourd’hui nous ne mettons plus à feu les grandes bibliothèques. Mais considérez la question de l’auteur : « Est-il possible que nous soyons confrontés à la situation de destruction massive des preuves scientifiques ? » « À première vue, cela semblerait ubuesque, étant donné que la science actuelle est en apparence si tolérante. » Qui pourrait croire que, de nos jours, « une bibliothèque d’Alexandrie disparaisse réellement toutes les quelques minutes ? »

Aujourd’hui, des milliers de téraoctets d’informations scientifiques sont générés quotidiennement, et des millions d’articles sont publiés chaque année. Dans la plupart des disciplines scientifiques, la grande majorité des données collectées, des protocoles et des analyses ne sont pas disponibles ou disparaissent très vite après ou même avant leur publication. Si l’on essaie d’identifier les données brutes et les protocoles utilisés dans des articles publiés il y a seulement vingt ans, il est probable que l’on ne trouve que peu de choses disponibles. Même pour les articles publiés cette semaine, en règle générale, plutôt qu’exceptionnellement, il serait très difficile d’avoir accès aux données brutes, aux protocoles et aux codes d’analyse. La grande majorité des articles publiés actuellement sont des résumés synoptiques à but de valorisation des vraies recherches. Il n’est même pas possible de tenter de reproduire les résultats à partir de ce qui peut être trouvé dans le monde des publications accessibles.

Maintenant que nous sommes suffisamment prévenus de cette situation alarmante, Ioannidis hausse le ton :

“En outre, est-il possible que nous soyons confrontés à la situation de production massive d’informations fausses ou de distorsion d’informations ? Par exemple, se pourrait-il que l’apparition de champs de recherche où la motivation première et le centre d’intérêt le plus fort sont à tout prix de faire de nouvelles découvertes et d’atteindre des statistiques qui fassent sensation ait érodé la crédibilité de la science, et que la crédibilité scientifique soit en baisse au fil du temps?”

John P. A. Ioannidis

Tous ces facteurs sont effectivement des sources de préoccupation majeures, mais pour pourvoir leur attribuer une signification qui dépasse la simple rhétorique consistant à soulever la possibilité d’une éventualité de type « Et si… ? » ou pour pourvoir affirmer que le ciel scientifique est en train de tomber sur nous, Ioannidis doit fournir des preuves de ce que la chose se produit réellement. À cette fin, il commence par mentionner des études antérieures :

“Des preuves empiriques issues de diverses disciplines suggèrent que, lorsque des efforts sont mis en œuvre pour répéter ou reproduire les recherches publiées, le taux de répétabilité et de reproductibilité est déprimant (Begley & Ellis, 2012 ; Donoho, Maleki, Rahman, Shahram, & Stodden, 2009 ; Hothorn & Leisch, 2011 ; Ioannidis et al., 2009 ; Prinz, Schlange, & Asadullah, 2011.) Sans surprise, même les fonds d’investissement n’augmentent pas beaucoup la confiance dans les résultats des travaux scientifiques publiés (Osherovich, 2011).”

John P. A. Ioannidis

Ioannidis transporte le lecteur, à travers une excursion mentale, sur une planète imaginaire qu’il surnomme F345, où la science est menée par de jeunes chercheurs qui examinent sérieusement de gigantesques bases de données, à la recherche de cas ayant une signification élevée d’après des normes arbitraires. On leur a appris que ce qui importe, c’est de « faire de nouvelles découvertes et de trouver des résultats statistiquement significatifs à n’importe quel prix ». Toutes les fois qu’ils trouvent un quelconque résultat statistique « suffisamment extraordinaire », ils le montrent au responsable de la recherche qui autorise à ne retenir que les cas les plus extravagants, parce que c’est tout ce dont se préoccupent tous les journaux, les organismes de financement et les présidents d’université. Réplication ? Ennuyeux. « Les chercheurs ont une promotion s’ils font davantage d’affirmations extrêmes et extravagantes, et donc publient des résultats extravagants, ce qui permet de recevoir plus de financements, quand bien même la plupart de ces résultats seraient faux. » Les citoyens de F345 sont bombardés quotidiennement par les médias de masse d’annonces de nouvelles découvertes, et « ce en dépit du fait qu’aucune découverte sérieuse n’a été faite sur F345 depuis de nombreuses années maintenant ».

Une telle situation « effroyable » peut se produire lorsque la science perd de vue son but : la recherche de la vérité sur le monde. Rechercher la vérité requiert la liberté d’expression, la pensée critique et des institutions démocratiques. De surcroît, le prix de la bonne science, tout comme la liberté, est une éternelle vigilance :

“Je ne veux même pas penser que la Terre en 2012 après J.-C. soit une réplique de F345 en l’année 3045268. Pourtant, par certains traits, nos manières actuelles de produire, de présenter et de répliquer (ou de ne pas répliquer) les résultats scientifiques pourraient ressembler à ce cauchemar effroyable. Et ce qui est plus important encore, c’est qu’il se peut que nous évoluions vers le paradigme F345, à moins que nous ne protégions continuellement les principes scientifiques. La sauvegarde des principes scientifiques n’est pas quelque chose qui s’effectue une fois pour toutes. Il s’agit d’un défi qui a besoin d’être relevé avec succès quotidiennement tant individuellement par les scientifiques que par l’établissement scientifique. Il se peut bien que la science soit la plus noble réussite de la civilisation humaine, mais cette réussite n’est pas irréversible.“

John P. A. Ioannidis

Mais les progrès qui ont été réalisés dans les domaines des téléphones cellulaires, des avions à réaction et de l’allongement de l’espérance de vie, et qui sont si évidents n’indiquent-ils pas que la science est saine ? « Un certain progrès est accompli », acquiesce-t-il, un critique pourrait donc réagir en répliquant que la situation n’est pas si entièrement mauvaise. « Cet argument est faible », répond l’auteur. D’une part, cela ne signifie pas que la science ne pourrait pas faire beaucoup mieux. « J’imagine que certains hauts prêtres égyptiens auraient pu également clamer que leur science était parfaite et optimale, parce qu’ils avaient découvert le feu et les roues – que pouvait-on espérer découvrir de plus ? » D’autre part, même si certains résultats corrects « fonctionnent » d’une façon pratique ou d’une autre, les résultats incorrects peuvent proliférer plus vite que les corrects. En définitive, dit-il, il se peut que nous attribuions le progrès à une cause incorrectement identifiée. Par exemple, une plus longue espérance de vie dans les pays en voie de développement pourrait être due davantage aux initiatives ayant pour but la mise en place de l’eau potable et d’installations sanitaires qu’à la médecine.

À ce stade précis, Ioannidis examine les preuves empiriques réelles issues de la recherche en psychologie qui montrent que la plus grande partie de ces travaux de recherche n’est jamais répliquée. La réplication, en réalité, est « extrêmement rare », ce qui signifie que les vérités non confirmées ou les mythes non remis en cause ont tendance à se perpétuer. Les erreurs perpétuées pourraient être les plus courantes : « Les efforts de réplication, déjà rares en eux-mêmes, sont faits principalement par les mêmes chercheurs qui ont proposé les découvertes originales. » Le biais de confirmation d’hypothèse² pourrait être la règle. Ioannidis énumère une douzaine d’entraves empêchant une réplication valide, dont des comptes rendus incorrects, des biais de publication et des « corrélations de type vaudou », c’est-à-dire des relations qui pourraient avoir atteint un certain niveau normalisé de signification statistique mais qui se révèlent en fait fausses. Dans tous les cas,

«Les découvertes mises en avant qui ne font l’objet d’aucune réplication publiée forment apparemment la vaste majorité des ressources de la science de la psychologie.»

John P. A. Ioannidis

Il serait inexact de croire que ses critiques visent uniquement la discipline de la psychologie.

«Des baisses importantes de crédibilité dans de nombreuses disciplines, voire même dans tout le continuum scientifique sont possibles. Des baisses importantes de crédibilité peuvent se produire par une destruction massive des preuves ou par une production massive de fausses preuves ou encore par la distorsion des preuves.»

John P. A. Ioannidis

Qui connaît la quantité de données qui se cachent dans les tiroirs de bureau des chercheurs, et qui sont omises ou négligées du fait de leur précipitation à publier ce qu’ils jugent intéressant ?

Pour terminer sur une note positive, Ioannidis donne des conseils pour améliorer la crédibilité scientifique. Dans sa conclusion, intitulée « Encouragements à la réplication et à la correction des résultats incorrects », il énumère des actions pratiques telles que la mise en cause de l’objectif visant la recherche à « fort impact », l’amélioration des métriques liées à la réplication, et la séparation des tâches de recherche exploratoire et de confirmation. Cependant, bien au-dessus de ces quelques conseils, devrait se trouver un principe surplombant tout le reste, sans lequel aucune science ne peut espérer réussir :

«… la science a pour but de s’approcher aussi près que possible de la vérité, et non d’obtenir des résultats spectaculaires, mais erronés. Certaines des actions proposées pourraient même causer du tort à la crédibilité de la science à moins que la recherche de la vérité ne devienne l’objectif le plus prioritaire…»

John P. A. Ioannidis

Néanmoins, en fin de compte, peu importent les changements qui sont effectués, il se peut bien que la crédibilité scientifique ne s’améliore pas, à moins que la recherche de la vérité ne demeure notre but principal dans notre travail de scientifiques. Il s’agit là d’une mission des plus nobles qui doit être continuellement réaffirmée.

Notes :

¹ http://pps.sagepub.com/content/7/6/645.full.pdf.

² Le biais de confirmation d’hypothèse est un biais statistique décrivant la tendance d’une personne à chercher, ou à interpréter une information de manière qu’elle confirme les préconceptions de cette personne.

Source : https://evolutionnews.org/2013/01/science_can_per/. Article original publié le 2 janvier 2013 sur Evolution News & Science Today.

A propos de John P. A. Ioannidis

Professeur à la chaire C.F. Rehnborg en prévention des maladies à l’Ecole de médecine, professeur de médecine, de recherche et de politique sanitaires (épidémiologie), et (à titre gracieux) de science des données biomédicales et statistiques ; codirecteur du Meta-Research Innovation Center de Stanford (METRICS.)

Né à New York en 1965 et élevé à Athènes, en Grèce. Major de promotion (1984) au Collège d’Athènes ; prix national de la Société grecque de mathématiques (1984) ; docteur en médecine (premier rang de la classe de médecine) de l’Université nationale d’Athènes en 1990 ; a également obtenu un doctorat en biopathologie de la même institution. Formé à Harvard et à Tufts (médecine interne et maladies infectieuses), puis a occupé des postes aux National Institutes of Health (NIH), à Johns Hopkins et à Tufts. A présidé le département d’hygiène et d’épidémiologie de la Faculté de médecine de l’Université d’Ioannina de 1999 à 2010, tout en occupant des postes de professeur adjoint à Harvard, Tufts et Imperial College. Conseiller principal sur l’intégration des connaissances au NCI/NIH (2012-2016.) A été président de la Society for Research Synthesis Methodology et membre du comité de rédaction de nombreuses revues de premier plan (dont PLoS Medicine, Lancet, Annals of Internal Medicine, JNCI, entre autres) et rédacteur en chef de la revue European Journal of Clinical Investigation (2010-2019.) A donné environ 600 conférences en tant qu’orateur d’honneur ou invité. Récipiendaire de nombreux prix (par exemple, le prix européen pour l’excellence en sciences cliniques [2007], la Médaille pour Services Distingués, Teachers College de l’Université de Columbia [2015], le prix Chanchlani pour la Santé Mondiale [2017], le prix Epiphany pour le Courage Scientifique [2018], la bourse Einstein [2018].) Élu à l’Association des médecins américains (2009), à l’Académie européenne des sciences du cancer (2010), à la Société américaine d’épidémiologie (2015), à l’Académie européenne des sciences et des arts (2015), à l’Académie nationale de médecine (2018.) Titres honorifiques de FORTH (2014) et Ioannina (2015), doctorats honorifiques de Rotterdam (2015), Athènes (2017), Tilburg (2019), Edimbourg (2019, cérémonie prévue pour 2020.) Nombreux postes de conférencier honoraire/professeur invité (Caltech, Oxford, LSHTM, Yale, Université d’Utah, Université du Connecticut, Université de Californie Davis, Université de Pennsylvanie, Université de Washington Saint-Louis, NIH, entre autres.) L’article de PLoS Medicine « Why most published research findings are false » (Pourquoi la plupart des résultats de recherche publiés sont faux) a été l’article le plus consulté dans l’histoire de la bibliothèque publique des sciences (~3 millions de visites.) Auteur de 7 livres littéraires en grec, dont trois ont été sélectionnés pour le prix du meilleur livre de l’année Anagnostis. Penseur scientifique courageux pour 2010 selon Atlantic, “peut-être l’un des scientifiques les plus influents du monde”. Chercheur hautement cité selon Thomson Reuters, tant en médecine clinique qu’en sciences sociales. Indices de citation : h=197, m=7 par Google Scholar. Taux de citation actuel : > 4 400 nouvelles citations par mois (parmi les 10 scientifiques du monde entier qui sont actuellement les plus cités, peut-être aussi le médecin le plus cité actuellement.).

Il se considère privilégié d’avoir appris et de continuer à apprendre grâce aux interactions avec des étudiants et de jeunes scientifiques (de tous âges) du monde entier et il aime que l’on lui rappelle constamment qu’il ne sait presque rien.

Nominations universitaires

Professeur de médecine – Centre de recherche sur la prévention des maladies de Stanford

Professeur, Recherche et politique sanitaires

Professeur (à titre gracieux), Statistiques

Professeur (à titre gracieux), Science des données biomédicales

Membre, Bio-X

Membre de l’Institut cardiovasculaire

Membre de l’Institut du cancer de Stanford

Affilié, Institut de l’environnement de Stanford Woods

Nominations administratives

Codirecteur, Centre d’innovation de méta-recherche à Stanford (METRICS) (2013 – à ce jour)

Rédacteur en chef, European Journal of Clinical Investigation (2010 – aujourd’hui)

Membre du Stanford Cardiovascular Institute (2010 à ce jour)

Membre du Stanford Cancer Center (2010 à ce jour)

Affilié au Stanford Center on Longevity (2012 – aujourd’hui)

Faculté affiliée, Woods Institute for the Environment (2011 – présent)

Membre du Centre de recherche sur le diabète de Stanford (2018 – aujourd’hui)

Directeur, METRIC B (2018 – présent)

Professeur de statistiques (à titre gracieux), École des sciences humaines de l’Université de Stanford (2011 – aujourd’hui)

Professeur de recherche et de politique sanitaires, École de médecine de l’Université de Stanford (2011 – aujourd’hui)

Professeur de médecine, École de médecine de l’Université de Stanford (2010 – aujourd’hui)

Professeur de sciences de données biomédicales (à titre gracieux), École de médecine de l’Université de Stanford (2016 – aujourd’hui)

Directeur, Centre de recherche sur la prévention des maladies de Stanford (2010 – 2016)

Distinctions et prix

Membre élu, Académie nationale de médecine (2018-)

Boursier Einstein, Institut de la santé de Berlin, Einstein Stiftung et Stiftung Charite (2018)

Epiphany Science Courage Award, Novim (prix inaugural) (2018)

Conseiller élu, Association des médecins américains (2017-2022)

Membre élu, Association des médecins américains (2009-)

Président, Société pour la méthodologie de synthèse de la recherche (2009-2010)

Elu membre de l’Académie européenne des sciences du cancer (2010-)

Membre élu de la Société américaine d’épidémiologie (2015-)

Membre élu de l’Académie européenne des sciences et des arts (2015-)

Membre élu de l’Académie européenne des sciences et des arts (2015-)

Prix européen d’excellence en sciences cliniques, Société européenne d’investigation clinique (2007)

Médaille Albert Stuyvenberg, Société européenne de recherche clinique (2019, cérémonie de remise des prix en mai 2020)

Prix Chanchlani pour la santé mondiale, Université McMaster (2017)

David-Sackett-Preis, Deutsche Netzwerk Evidenzbasierte Medizin (2017)

Prix de la Société hellénique des sciences pharmacologiques pour l’ensemble de sa carrière (2016)

Médaille pour services distingués, Teachers College, Université de Columbia (2015)

Doctorat honorifique, Université Erasmus de Rotterdam (2015)

Doctorat honorifique (sciences de la santé), Université d’Athènes (2017)

Doctorat honorifique, Université de Tilburg (2019)

Doctorat honorifique (médecine), Université d’Édimbourg (2019, cérémonie de remise des prix en 2020)

Litchfield Lectureship, Université d’Oxford (2015)

Chaire Levine, Yale (2016)

Chaire Harris en sciences et civilisation, Caltech (2016)

Chargée de cours Snyder, Université de l’Utah (2016)

Professeur de cours d’anatomie, Université d’Amsterdam et Centre médical universitaire (2016)

Chercheur distingué annuel, École de médecine et centre de santé de l’Université du Connecticut (2017)

Professeur invité, Université de Californie Davis (2017)

Chargée de cours à la mémoire des Gonatas, Université de Pennsylvanie (2018)

Conférence David et Rosemary Adamson sur l’excellence en médecine reproductive, ASRM (2018)

Conférence sur C.R. Stephen, Université de Washington Saint-Louis (2019)

Prix Gordon, National Institutes of Health (2019)

Président honoraire de la Société médicale et chirurgicale de Corfou (2019)

Membre honoraire, FORTH (2014)

Professeur honoraire (omotimos), Université d’Ioannina (2014)

Membre du conseil exécutif et directeur du centre, Réseau d’épidémiologie du génome humain (2004-)

Conseils d’administration, comités consultatifs, organisations professionnelles

Président du conseil consultatif scientifique, Institut Usher pour les sciences de la santé des populations et l’informatique, Université d’Édimbourg (2015 – aujourd’hui)

Membre de la faculté du Stanford Center for Innovation on Global Health (2015 – aujourd’hui)

Membre du conseil consultatif scientifique, Initiative de Berkeley pour la transparence dans les sciences sociales (2014 – aujourd’hui)

Membre du conseil consultatif scientifique du Center for Open Science (2013 – aujourd’hui)

Membre du conseil consultatif scientifique, initiative sur la reproductibilité (2012 – aujourd’hui)

Membre du conseil consultatif scientifique de l’Institut international d’épidémiologie (2012 – aujourd’hui)

Conseiller principal pour l’intégration des connaissances, NCI, NIH (2012 – 2016)

Membre du Comité de méthodologie, PCORI (2011 – 2013)

Vice-président du conseil d’administration du Centre hellénique de contrôle des maladies infectieuses (2000 – 2001)

Formation professionnelle

Bourse de recherche, Centre médical de la Nouvelle-Angleterre, École de médecine de l’Université de Tufts, maladies infectieuses (1996)

Résidence (post-doctorat), New England Deaconess Hospital, Harvard Medical School, Médecine interne (1993)

Docteur en Sciences, École de médecine de l’Université d’Athènes, Athènes, Grèce, Biopathologie (1996)

Docteur en médecine, École de médecine de l’Université d’Athènes, Athènes, Grèce, Médecine (1990).

Source : Biographie provenant du site du Centre de Recherche sur la Prévention des maladies de l’Université de Stanford. https://med.stanford.edu/profiles/john-ioannidis.