Publi\u00e9 le 21 mai 2020<\/p>\n\n\n\n
Dans un nouvel article paru dans Perspectives on Psychological Science<\/em>1<\/sup>, John P. A. Ioannidis du Stanford Prevention Research Center explique \u00abPourquoi la science ne se corrige pas elle-m\u00eame n\u00e9cessairement.<\/strong>\u00bb L\u2019objet premier de son attention concerne les failles dans la recherche en psychologie, mais les principes discut\u00e9s s’appliquent \u00e0 tous les domaines scientifiques\u00a0:<\/p>\n\n\n\n \u00ab\u00a0La capacit\u00e9 de s\u2019autocorriger est consid\u00e9r\u00e9e comme un cachet de la science<\/strong>. Cependant, le processus d\u2019autocorrection n\u2019a pas toujours lieu par d\u00e9faut en ce qui concerne les preuves scientifiques.<\/strong> La trajectoire suivie par la cr\u00e9dibilit\u00e9 scientifique peut fluctuer au fil du temps, \u00e0 la fois pour des domaines scientifiques sp\u00e9cifiques et pour la science dans son ensemble.<\/strong> L’histoire sugg\u00e8re que des catastrophes majeures touchant \u00e0 la cr\u00e9dibilit\u00e9 scientifique sont malheureusement possibles et l’argument selon lequel \u00ab il est \u00e9vident qu\u2019un progr\u00e8s a lieu \u00bb est faible.<\/strong>\u00a0\u00bb (C\u2019est nous qui soulignons en gras.)<\/p>John P. A. Ioannidis<\/cite><\/blockquote>\n\n\n\n Le fait de s\u2019autocorriger est un id\u00e9al qui n\u2019est pas toujours atteint dans le monde r\u00e9el de la science, et ce pour de nombreuses raisons. Consid\u00e9rez, par exemple, le sort que subit un article de recherche typique. Tout d’abord, il existe deux possibilit\u00e9s concernant les conclusions de l\u2019article : elles pourraient \u00eatre exactes ou erron\u00e9es. En second lieu, l\u2019accueil que pourrait recevoir l\u2019article est de trois types, ce qui conduit \u00e0 six r\u00e9sultats possibles :<\/p>\n\n\n\n Seuls les cas 1 et 4 sont des situations d\u00e9sirables, tandis que le cas 3 est tol\u00e9rable. Les autres situations sont en conflit avec l\u2019id\u00e9al d\u2019autocorrection. Il s\u2019agit de savoir si ces situations sont courantes. Ioannidis montre que la grande majorit\u00e9 des articles ne sont jamais r\u00e9pliqu\u00e9s, ce qui signifie que certaines d\u00e9couvertes authentiques ne sont jamais confirm\u00e9es de fa\u00e7on ind\u00e9pendante, et que certaines recherches \u00ab fausses \u00bb ne sont jamais v\u00e9rifi\u00e9es, ce qui entretient les erreurs.<\/p>\n\n\n\n En l\u2019absence d\u2019efforts de r\u00e9plication, ce qui reste n\u2019est que d\u00e9couvertes (authentiques) non confirm\u00e9es et erreurs non remises en question. Dans plusieurs domaines d\u2019\u00e9tude<\/strong>, y compris de nombreuses disciplines de la science de la psychologie, les erreurs perp\u00e9tu\u00e9es et les erreurs non remises en question pourraient constituer la masse dominante des preuves en circulation.<\/strong><\/p>\n\n\n\n \u00c0 tout moment, affirme-t-il, la cr\u00e9dibilit\u00e9 de la recherche fluctue. Il serait na\u00eff de supposer une tendance vers l\u2019autocorrection au fil du temps. De plus, la cr\u00e9dibilit\u00e9 peut varier d\u2019une discipline scientifique \u00e0 l\u2019autre.<\/p>\n\n\n\n M\u00eame \u00e0 supposer<\/strong> qu\u2019une science correctement pratiqu\u00e9e suivra asymptotiquement la tendance vers une parfaite cr\u00e9dibilit\u00e9, il n\u2019y a aucune garantie que la cr\u00e9dibilit\u00e9 scientifique s\u2019accroisse<\/strong> de fa\u00e7on continue et qu\u2019il n\u2019y ait pas de p\u00e9riodes creuses pendant lesquelles la cr\u00e9dibilit\u00e9 scientifique diminue (l\u00e9g\u00e8rement ou de mani\u00e8re radicale). La cr\u00e9dibilit\u00e9 de nouvelles d\u00e9couvertes et la somme totale des preuves sont dans un flux continu<\/strong>. Elles peuvent cro\u00eetre comme diminuer\u2026<\/p>\n\n\n\n Par ailleurs, m\u00eame dans le cas o\u00f9 un accroissement global serait observ\u00e9, il est vraisemblable qu\u2019il y ait une h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 consid\u00e9rable entre les disciplines scientifiques<\/strong> : la cr\u00e9dibilit\u00e9 peut augmenter dans certaines disciplines, mais peut diminuer dans d\u2019autres. Si les disciplines \u00e0 faible cr\u00e9dibilit\u00e9 deviennent prolifiques dans leur productivit\u00e9 et dominantes<\/strong> (ce qui se traduit, par exemple, par le fait qu\u2019elles attirent un grand nombre de chercheurs, des financements, l\u2019attention publique, et font l\u2019objet de nombreuses publications), alors elles peuvent faire d\u00e9cro\u00eetre la cr\u00e9dibilit\u00e9 globale du corpus scientifique<\/strong>, quand bien m\u00eame des progr\u00e8s importants seraient accomplis dans d\u2019autres disciplines.<\/p>\n\n\n\n Ioannidis l\u2019illustre avec plusieurs exemples tir\u00e9s de l\u2019histoire, dont la phr\u00e9nologie et l\u2019eug\u00e9nisme, qui montrent que \u00ab d\u2019importantes baisses de cr\u00e9dibilit\u00e9 dans de nombreuses disciplines<\/strong> ou m\u00eame \u00e0 travers tout le continuum scientifique<\/strong> sont possibles \u00bb.<\/p>\n\n\n\n Face \u00e0 ces consid\u00e9rations, comment la science actuelle s\u2019en sort-elle ? \u00c0 l\u2019\u00e9vidence, de formidables accomplissements <\/strong>ont \u00e9t\u00e9 r\u00e9alis\u00e9s dans les technologies, dans le domaine des instruments de mesure et dans la collecte des donn\u00e9es en termes de quantit\u00e9 et quelquefois m\u00eame de qualit\u00e9. N\u00e9anmoins, l\u2019\u00e9tat des lieux de la situation doit \u00eatre \u00e9valu\u00e9 attentivement. <\/strong>Il est tout \u00e0 fait possible que la cr\u00e9dibilit\u00e9 de certaines disciplines augmente tandis que d\u2019autres peuvent faire face \u00e0 des temps difficiles o\u00f9 leur cr\u00e9dibilit\u00e9 d\u00e9cro\u00eet. Il est impossible d\u2019exclure l\u2019\u00e9ventualit\u00e9 que des fortes baisses de cr\u00e9dibilit\u00e9 puissent se produire ou se soient produites en ce moment m\u00eame.<\/strong><\/p>\n\n\n\n Le saccage par les flammes de la biblioth\u00e8que d\u2019Alexandrie montre qu\u2019une destruction massive des preuves est aussi possible. C\u2019est bien \u00e0 tort que nous faisons monter un soupir de soulagement devant l\u2019id\u00e9e qu\u2019aujourd\u2019hui nous ne mettons plus \u00e0 feu les grandes biblioth\u00e8ques. Mais consid\u00e9rez la question de l\u2019auteur : \u00ab Est-il possible que nous soyons confront\u00e9s \u00e0 la situation de destruction massive des preuves scientifiques ?<\/strong> \u00bb \u00ab \u00c0 premi\u00e8re vue, cela semblerait<\/strong> ubuesque<\/strong>, \u00e9tant donn\u00e9 que la science actuelle est en apparence si tol\u00e9rante.<\/strong> \u00bb Qui pourrait croire que, de nos jours, \u00ab une biblioth\u00e8que d\u2019Alexandrie disparaisse r\u00e9ellement toutes les quelques minutes ? <\/strong>\u00bb<\/p>\n\n\n\n Aujourd\u2019hui, des milliers de t\u00e9raoctets d\u2019informations scientifiques sont g\u00e9n\u00e9r\u00e9s quotidiennement,<\/strong> et des millions d\u2019articles<\/strong> sont publi\u00e9s chaque ann\u00e9e. Dans la plupart des disciplines scientifiques, la grande majorit\u00e9 des donn\u00e9es collect\u00e9es, des protocoles et des analyses ne sont pas disponibles ou disparaissent tr\u00e8s vite apr\u00e8s ou m\u00eame avant leur publication.<\/strong> Si l\u2019on essaie d\u2019identifier les donn\u00e9es brutes et les protocoles utilis\u00e9s dans des articles publi\u00e9s il y a seulement vingt ans, il est probable que l\u2019on ne trouve que peu de choses disponibles. <\/strong>M\u00eame pour les articles publi\u00e9s cette semaine, en r\u00e8gle g\u00e9n\u00e9rale, plut\u00f4t qu\u2019exceptionnellement,<\/strong> il serait tr\u00e8s difficile d\u2019avoir acc\u00e8s aux donn\u00e9es brutes, aux protocoles et aux codes d\u2019analyse. La grande majorit\u00e9 des articles publi\u00e9s actuellement sont des r\u00e9sum\u00e9s synoptiques \u00e0 but de valorisation des vraies recherches.<\/strong> Il n\u2019est m\u00eame pas possible de tenter de reproduire les r\u00e9sultats \u00e0 partir de ce qui peut \u00eatre trouv\u00e9 dans le monde des publications accessibles.<\/strong><\/p>\n\n\n\n Maintenant que nous sommes suffisamment pr\u00e9venus de cette situation alarmante, Ioannidis hausse le ton :<\/p>\n\n\n\n \u00ab\u00a0En outre, est-il possible que nous soyons confront\u00e9s \u00e0 la situation de production massive d\u2019informations fausses <\/strong>ou de distorsion d\u2019informations<\/strong>\u00a0? Par exemple, se pourrait-il que l\u2019apparition de champs de recherche o\u00f9 la motivation premi\u00e8re et le centre d\u2019int\u00e9r\u00eat le plus fort sont \u00e0 tout prix de faire de nouvelles d\u00e9couvertes et d\u2019atteindre des statistiques qui fassent sensation<\/strong> ait \u00e9rod\u00e9 la cr\u00e9dibilit\u00e9 de la science, et que la cr\u00e9dibilit\u00e9 scientifique soit en baisse au fil du temps<\/strong>?\u00a0\u00bb<\/p>John P. A. Ioannidis<\/cite><\/blockquote>\n\n\n\n Tous ces facteurs sont effectivement des sources de pr\u00e9occupation majeures, mais pour pourvoir leur attribuer une signification qui d\u00e9passe la simple rh\u00e9torique consistant \u00e0 soulever la possibilit\u00e9 d\u2019une \u00e9ventualit\u00e9 de type \u00ab Et si\u2026 ? \u00bb ou pour pourvoir affirmer que le ciel scientifique est en train de tomber sur nous, Ioannidis doit fournir des preuves de ce que la chose se produit r\u00e9ellement. \u00c0 cette fin, il commence par mentionner des \u00e9tudes ant\u00e9rieures :<\/p>\n\n\n\n \u00ab\u00a0Des preuves empiriques issues de diverses disciplines<\/strong> sugg\u00e8rent que, lorsque des efforts sont mis en \u0153uvre pour r\u00e9p\u00e9ter ou reproduire les recherches publi\u00e9es, le taux de r\u00e9p\u00e9tabilit\u00e9 et de reproductibilit\u00e9 est d\u00e9primant<\/strong> (Begley & Ellis, 2012 ; Donoho, Maleki, Rahman, Shahram, & Stodden, 2009 ; Hothorn & Leisch, 2011 ; Ioannidis et al., 2009 ; Prinz, Schlange, & Asadullah, 2011.) Sans surprise, m\u00eame les fonds d\u2019investissement n\u2019augmentent pas beaucoup la confiance dans les r\u00e9sultats des travaux scientifiques publi\u00e9s<\/strong> (Osherovich, 2011).\u00a0\u00bb<\/p>John P. A. Ioannidis<\/cite><\/blockquote>\n\n\n\n Ioannidis transporte le lecteur, \u00e0 travers une excursion mentale, sur une plan\u00e8te imaginaire qu\u2019il surnomme F345, o\u00f9 la science est men\u00e9e par de jeunes chercheurs qui examinent s\u00e9rieusement de gigantesques bases de donn\u00e9es, \u00e0 la recherche de cas ayant une signification \u00e9lev\u00e9e d\u2019apr\u00e8s des normes arbitraires. On leur a appris que ce qui importe, c\u2019est de \u00ab faire de nouvelles d\u00e9couvertes et de trouver des r\u00e9sultats statistiquement significatifs \u00e0 n\u2019importe quel prix \u00bb. Toutes les fois qu\u2019ils trouvent un quelconque r\u00e9sultat statistique \u00ab suffisamment extraordinaire \u00bb, ils le montrent au responsable de la recherche qui autorise \u00e0 ne retenir que les cas les plus extravagants, parce que c\u2019est tout ce dont se pr\u00e9occupent tous les journaux, les organismes de financement et les pr\u00e9sidents d\u2019universit\u00e9. R\u00e9plication ? Ennuyeux. \u00ab Les chercheurs ont une promotion s\u2019ils font davantage d\u2019affirmations extr\u00eames et extravagantes, et donc publient des r\u00e9sultats extravagants, ce qui permet de recevoir plus de financements, quand bien m\u00eame la plupart de ces r\u00e9sultats seraient faux. \u00bb Les citoyens de F345 sont bombard\u00e9s quotidiennement par les m\u00e9dias de masse d\u2019annonces de nouvelles d\u00e9couvertes, et \u00ab ce en d\u00e9pit du fait qu\u2019aucune d\u00e9couverte s\u00e9rieuse n\u2019a \u00e9t\u00e9 faite sur F345 depuis de nombreuses ann\u00e9es maintenant \u00bb.<\/p>\n\n\n\n Une telle situation \u00ab effroyable \u00bb peut se produire lorsque la science perd de vue son but : la recherche de la v\u00e9rit\u00e9<\/em> sur le monde. Rechercher la v\u00e9rit\u00e9 requiert la libert\u00e9 d\u2019expression, la pens\u00e9e critique et des institutions d\u00e9mocratiques. De surcro\u00eet, le prix de la bonne science, tout comme la libert\u00e9, est une \u00e9ternelle vigilance :<\/p>\n\n\n\n \u00ab\u00a0Je ne veux m\u00eame pas penser que la Terre en 2012 apr\u00e8s J.-C. soit une r\u00e9plique de F345 en l\u2019ann\u00e9e 3045268. Pourtant, par certains traits, nos mani\u00e8res actuelles<\/strong> de produire, de pr\u00e9senter et de r\u00e9pliquer (ou de ne pas r\u00e9pliquer) les r\u00e9sultats scientifiques pourraient ressembler \u00e0 ce cauchemar effroyable.<\/strong> Et ce qui est plus important encore, c\u2019est qu\u2019il se peut que nous \u00e9voluions <\/strong>vers le paradigme F345, \u00e0 moins que nous ne prot\u00e9gions continuellement les principes scientifiques. <\/strong>La sauvegarde des principes scientifiques n\u2019est pas quelque chose qui s\u2019effectue une fois pour toutes. Il s\u2019agit d\u2019un d\u00e9fi qui a besoin d\u2019\u00eatre relev\u00e9 avec succ\u00e8s quotidiennement<\/strong> tant individuellement par les scientifiques que par l\u2019\u00e9tablissement scientifique. Il se peut bien que la science soit la plus noble r\u00e9ussite de la civilisation humaine, mais cette r\u00e9ussite n\u2019est pas irr\u00e9versible.<\/strong>\u00ab\u00a0<\/p>John P. A. Ioannidis<\/cite><\/blockquote>\n\n\n\n Mais les progr\u00e8s qui ont \u00e9t\u00e9 r\u00e9alis\u00e9s dans les domaines des t\u00e9l\u00e9phones cellulaires, des avions \u00e0 r\u00e9action et de l\u2019allongement de l\u2019esp\u00e9rance de vie, et qui sont si \u00e9vidents n\u2019indiquent-ils pas que la science est saine ? \u00ab Un certain progr\u00e8s est accompli \u00bb, acquiesce-t-il, un critique pourrait donc r\u00e9agir en r\u00e9pliquant que la situation n\u2019est pas si enti\u00e8rement mauvaise. \u00ab Cet argument est faible \u00bb, r\u00e9pond l\u2019auteur. D\u2019une part, cela ne signifie pas que la science ne pourrait pas faire beaucoup mieux. \u00ab J\u2019imagine que certains hauts pr\u00eatres \u00e9gyptiens auraient pu \u00e9galement clamer que leur science \u00e9tait parfaite et optimale, parce qu\u2019ils avaient d\u00e9couvert le feu et les roues \u2013 que pouvait-on esp\u00e9rer d\u00e9couvrir de plus ? \u00bb D\u2019autre part, m\u00eame si certains r\u00e9sultats corrects \u00ab fonctionnent \u00bb d\u2019une fa\u00e7on pratique ou d\u2019une autre, les r\u00e9sultats incorrects peuvent prolif\u00e9rer plus vite que les corrects. En d\u00e9finitive, dit-il, il se peut que nous attribuions le progr\u00e8s \u00e0 une cause incorrectement identifi\u00e9e. Par exemple, une plus longue esp\u00e9rance de vie dans les pays en voie de d\u00e9veloppement pourrait \u00eatre due davantage aux initiatives ayant pour but la mise en place de l\u2019eau potable et d\u2019installations sanitaires qu\u2019\u00e0 la m\u00e9decine.<\/p>\n\n\n\n \u00c0 ce stade pr\u00e9cis, Ioannidis examine les preuves empiriques r\u00e9elles issues de la recherche en psychologie qui montrent que la plus grande partie de ces travaux de recherche n\u2019est jamais r\u00e9pliqu\u00e9e. La r\u00e9plication, en r\u00e9alit\u00e9, est \u00ab\u00a0extr\u00eamement rare<\/strong>\u00a0\u00bb, ce qui signifie que les v\u00e9rit\u00e9s non confirm\u00e9es ou les mythes non remis en cause ont tendance \u00e0 se perp\u00e9tuer. Les erreurs perp\u00e9tu\u00e9es pourraient \u00eatre les plus courantes\u00a0: \u00ab\u00a0Les efforts de r\u00e9plication, d\u00e9j\u00e0 rares en eux-m\u00eames, sont faits principalement par les m\u00eames chercheurs<\/strong> qui ont propos\u00e9 les d\u00e9couvertes originales.\u00a0\u00bb Le biais de confirmation d\u2019hypoth\u00e8se2<\/sup> pourrait \u00eatre la r\u00e8gle. Ioannidis \u00e9num\u00e8re une douzaine d\u2019entraves emp\u00eachant une r\u00e9plication valide, dont des comptes rendus incorrects, des biais de publication et des \u00ab\u00a0corr\u00e9lations de type vaudou\u00a0\u00bb, c\u2019est-\u00e0-dire des relations qui pourraient avoir atteint un certain niveau normalis\u00e9 de signification statistique mais qui se r\u00e9v\u00e8lent en fait fausses. Dans tous les cas, <\/p>\n\n\n\n \u00abLes d\u00e9couvertes mises en avant qui ne font l\u2019objet d\u2019aucune r\u00e9plication publi\u00e9e forment apparemment la vaste majorit\u00e9 des ressources de la science de la psychologie.<\/strong>\u00bb<\/p>John P. A. Ioannidis<\/cite><\/blockquote>\n\n\n\n Il serait inexact de croire que ses critiques visent uniquement la discipline de la psychologie. <\/p>\n\n\n\n \u00abDes baisses importantes de cr\u00e9dibilit\u00e9 dans de nombreuses disciplines,<\/strong> voire m\u00eame dans tout le continuum scientifique<\/strong> sont possibles. Des baisses importantes de cr\u00e9dibilit\u00e9 peuvent se produire par une destruction massive des preuves<\/strong> ou par une production massive de fausses preuves<\/strong> ou encore par la distorsion des preuves.<\/strong>\u00bb <\/p>John P. A. Ioannidis<\/cite><\/blockquote>\n\n\n\n Qui conna\u00eet la quantit\u00e9 de donn\u00e9es qui se cachent dans les tiroirs de bureau des chercheurs, et qui sont omises ou n\u00e9glig\u00e9es du fait de leur pr\u00e9cipitation \u00e0 publier ce qu\u2019ils jugent int\u00e9ressant\u00a0?<\/p>\n\n\n\n Pour terminer sur une note positive, Ioannidis donne des conseils pour am\u00e9liorer la cr\u00e9dibilit\u00e9 scientifique. Dans sa conclusion, intitul\u00e9e \u00ab Encouragements \u00e0 la r\u00e9plication et \u00e0 la correction des r\u00e9sultats incorrects \u00bb, il \u00e9num\u00e8re des actions pratiques telles que la mise en cause de l\u2019objectif visant la recherche \u00e0 \u00ab fort impact \u00bb, l\u2019am\u00e9lioration des m\u00e9triques li\u00e9es \u00e0 la r\u00e9plication, et la s\u00e9paration des t\u00e2ches de recherche exploratoire et de confirmation. Cependant, bien au-dessus de ces quelques conseils, devrait se trouver un principe surplombant tout le reste, sans lequel aucune science ne peut esp\u00e9rer r\u00e9ussir :<\/p>\n\n\n\n \u00ab\u2026 la science a pour but de s\u2019approcher aussi pr\u00e8s que possible de la v\u00e9rit\u00e9<\/strong>, et non d\u2019obtenir des r\u00e9sultats spectaculaires, mais erron\u00e9s. Certaines des actions propos\u00e9es pourraient m\u00eame causer du tort \u00e0 la cr\u00e9dibilit\u00e9 de la science \u00e0 moins que la recherche de la v\u00e9rit\u00e9 ne devienne l\u2019objectif le plus prioritaire<\/strong>\u2026\u00bb<\/p>John P. A. Ioannidis<\/cite><\/blockquote>\n\n\n\n N\u00e9anmoins, en fin de compte, peu importent les changements qui sont effectu\u00e9s, il se peut bien que la cr\u00e9dibilit\u00e9 scientifique ne s\u2019am\u00e9liore pas, \u00e0 moins que la recherche de la v\u00e9rit\u00e9 ne demeure notre but principal<\/strong> dans notre travail de scientifiques. Il s\u2019agit l\u00e0 d\u2019une mission des plus nobles qui doit \u00eatre continuellement r\u00e9affirm\u00e9e.<\/p>\n\n\n\n Notes :<\/u><\/strong><\/p>\n\n\n\n 1<\/sup> http:\/\/pps.sagepub.com\/content\/7\/6\/645.full.pdf<\/a>.<\/p>\n\n\n\n
![\"\"](\"https:\/\/bibleetsciencediffusion.org\/wp-content\/uploads\/2020\/05\/john-ioannidis_ptt.jpg\")