Tweet
Ou est-elle, comme de juste, en pleine autocorrection?
Il y a deux ans jour pour jour, la crise de la réplication faisait la une du New York Times. «La psychologie a raison d'avoir peur: après vérification, ses études ne tiennent pas la route», pouvait-on lire en accroche de son édition du 28 août 2015. Dans un projet d'envergure historique, la revue Science venait de publier les réplications de cent études peer-reviewed et seules trente-neuf d'entre elles avaient été un succès. Un résultat démoralisant qui, selon le Times, «confirmait les pires craintes des scientifiques qui redoutaient depuis longtemps la nécessité d'un bon coup de balai dans la discipline».
En quelques heures à peine, la nouvelle de ce colossal échec allait arriver aux oreilles des médias de droite. «Tant d'habitants de ce pays ont perdu la foi dans des institutions qui avaient jadis toute leur confiance» allait dégoiser Rush Limbaugh à ses 13 millions d'auditeurs, dans un monologue filandreux sur la malhonnêteté des élites et l'essor de Donald Trump. Désormais, pour l'animateur radio, les Américains avaient de quoi mépriser la science. «Vous ne risquez pas grand chose à penser que tout ce que vous entendez –si ça vient de la revue Science, de la revue [sic[1]] Psychology Today– est quasi toujours bidon», avait-il affirmé. «On vient de prouver que la science n'est pas différente de la politique. Tout y est déterminé par le fric. Les résultats scientifiques peuvent être achetés».
Ce qui allait confirmer une autre des grandes peurs des scientifiques: que toute découverte de problèmes inhérents à leur discipline puisse se retourner contre eux. Ils craignaient que des unes sur la «crise de la réplication» donnent des billes à des gars comme Limbaugh, ceux qui piaffaient de joie à l'idée de descendre les chercheurs de leur piédestal et à noyer leur patient et méticuleux travail de collecte factuelle dans un océan de politique et d'idéologie. Une crainte, là encore, visiblement justifiée. En 2015, Limbaugh concluait son speech en ces termes: «Les dés sont pipés. Tout est corrompu, y compris et surtout la science, par la politique».
La réputation de la science entamée
Le laïus de Limbaugh peut-il servir d'avertissement pour le journalisme scientifique –un exemple de ce qui peut (mal) se passer lorsqu'on s'appesantit trop sur la crise de la réplication? C'est ce qu'avance un livre, The Oxford Handbook of the Science of Science Communication, publié en juin dernier. Lorsque la presse généraliste parle de recherches problématiques, les trolls anti-science boivent du petit lait, estiment Joe Hilgard et Kathleen Hall Jamieson, respectivement professeurs à l'université d’État de l'Illinois et à l'université de Pennsylvanie, dans un perspicace chapitre intitulé «De la “science en échec” à la “science auto-correctrice”». Un risque d'autant plus élevé lorsque les journalistes laissent entendre que la science, dans son ensemble, a perdu les pédales. Lorsqu'ils emploient la rhétorique de l'échec, ils finissent par «entamer la réputation de la science» et contribuent à créer un «climat médiatique» dangereux et fallacieux, susceptible d'être «exploité par ceux qui ont un intérêt à attaquer des découvertes scientifiques qui leur sont idéologiquement inconfortables».
Selon Hilgard et Jamieson, la science n'est pas vraiment en panne et les journalistes ne devraient pas le laisser croire. Ils avancent que des scandales dans une discipline attestent au contraire du bon fonctionnement de la science: dès qu'elle a un problème, elle s'auto-corrige. C'est le champ lexical qu'ils conseillent aux journalistes et la vérité fondamentale qu'ils aimeraient voir transmise: «la science est auto-correctrice». En ce qui concerne la science, pensent-ils, une crise est un signe de force.
Qu'on me laisse maintenant formuler ma pensée le plus clairement possible: je pense qu'Hilgard et Jamieson se trompent. La science a échoué, du moins au sens propre du terme. L'autocorrection scientifique n'est pas toujours au rendez-vous et les journalistes ne devraient pas avoir peur de le dire.
J'admets que le débat a de quoi énerver, vu que je travaille sur les échecs scientifiques depuis un bon petit bout de temps maintenant. Ces dernières années, j'ai donc appris que, oui, la science ne fonctionne pas toujours comme il faut. Mais parler d'échec ne veut pas dire que la science serait dans un état de profonde et d'irréversible décrépitude –que toutes les études publiées sont des mensonges ou que toutes les disciplines sont en crise. Au contraire, ce que cela montre, c'est que nous commençons tout juste à comprendre comment les choses peuvent salement déraper, parfois. Que le moteur de notre si fameuse machine à découvertes crachote et qu'il est temps de l'amener au garage.
La science auto-correctrice
Robert Hooke a été le premier, il y a quatre siècles de cela, à décrire la méthode scientifique de la sorte, comme une machine «orientant l'esprit vers la quête des Vérités philosophiques». Vers 1700, les scientifiques feront preuve d'un peu plus de modestie et admettront que leur machine peut s'enrayer. Une nouvelle idée allait alors voir le jour: que la science est une entreprise auto-correctrice qui en vient à rejoindre, de temps en temps et maladroitement, la vérité. Un philosophe naturel comparait la recherche à une division longue: pas à pas, le reste se réduit, et la discipline s'avance naturellement vers la bonne réponse. Cette théorie de la méthode scientifique –moins une machine qu'une voiture autonome glissant vers la connaissance– a été le plus illustrement formulée par Charles Sanders Peirce en 1898: «Cette merveilleuse propriété auto-correctrice de la Raison (…) se retrouve dans toute science».
Une merveilleuse propriété qui, depuis, a tôt fait d'être assimilée à une baguette magique faisant disparaître les erreurs les plus flagrantes. Lorsqu'un scientifique se révèle être un imposteur, il y a toujours un je-sais-tout pour glorifier la mise au pilori du mécréant comme une victoire de «l'autocorrection». Et Hilgard et Jamieson ne dérogent pas à la règle lorsqu'ils citent le cas d'une spécialiste japonaise des cellules souches dont une étude fut rétractée pour cause de manipulation avérée des données: «Si la critique et l'autocorrection sont constitutives de l'entreprise scientifique, alors les cas où des scientifiques détectent des défauts et interviennent pour les amender prouvent le succès et non l'échec de la science, car ils révèlent ce faisant les mécanismes de protection inhérents à la science à l’œuvre».
Dans l'affaire des cellules souches, la science auto-correctrice a effectivement été à l’œuvre comme escompté: les problèmes dans l'étude ont été découverts par des collègues attentifs quelque temps après sa publication dans Nature. Reste que l'histoire récente de la science regorge de cas similaires qui n'ont pas été découverts aussi rapidement ni grâce à des mécanismes standards d'autocorrection –l'évaluation par les pairs ou des réplications malheureuses–, mais plutôt très longtemps après et via des moyens médiatiques plus conventionnels. C'est ainsi que Diedrik Stapel, célèbre bonimenteur aux 58 études rétractées en psychologie sociale, fut confondu en 2011. Le fait que la fraude éhontée de Stapel n'ait pas été détectée (et auto-corrigée) plus tôt en fait un des parangons de la crise de la réplication. Pourquoi personne n'avait-il remarqué, en termes strictement scientifiques, tous les faux effets qu'il avait glissés dans la littérature?
Cependant, la fraude isolée n'a jamais été au cœur de la crise. Depuis le Stapelgate, des tonnes d'études parfaitement menées d'un point de vue éthique ont été rabrouées pour cause de données branlantes. En réalité, il semblerait que les méthodes les plus basiques de conception, d'analyse et de report des expériences soient susceptibles de générer des résultats improbables –comme l'existence de la perception extra-sensorielle ou la possibilité de voyager dans le temps. À l'été 2015, quand Rush Limbaugh déblatérait sur la «science bidon», des psychologues, médecins et autres spécialistes de diverses disciplines avaient déjà capté qu'une proportion conséquente de leurs découvertes n'étaient peu ou prou que du bruit statistique.
De fait, une semaine avant la une du New York Times sur la crise de la réplication, la journaliste scientifique Christie Aschwanden publiait un article merveilleusement détaillé et interactif sur FiveThirtyEight. Son papier revenait sur les multiples biais, erreurs et insuffisances de la pratique scientifique contemporaine qui ouvrent les portes de la littérature aux faux résultats. Les chercheurs peuvent trifouiller leurs conclusions et sont incités à camoufler leurs résultats négatifs. En outre, les éditeurs des revues scientifiques ignorent les échecs de réplication et prennent souvent énormément leur temps pour corriger les erreurs.
Combien de temps pour l'autocorrection?
On pourrait voir dans l'article d'Aschwanden un minutieux argumentaire en faveur du postulat {science = tas de crotte} et de la capilotade de ses mécanismes d'autocorrection. Sauf qu'Aschwanden débouche sur la conclusion inverse: «La science n'est pas en échec et la confiance qu'elle suscite n'est pas non plus usurpée», écrit-elle. «Il s'agit tout simplement d'une entreprise bien plus difficile que ce que nous pouvons en général imaginer». Le problème, explique Aschwanden, c'est que nous en attendons trop de la science, nous faisons comme s'il s'agissait d'une machine à découvertes, alors qu'elle est juste un moyen d'avancer, cahin-caha, sur la longue et tortueuse route menant à la vérité. Si la science a l'air d'être en bordel, dit-elle dans un autre article tout aussi optimiste, c'est parce que l'entreprise est fondamentalement bordélique. C'est «un processus qui nous permet d'être de moins en moins dans le faux à mesure que le temps passe».
Dans l'équipe de «la science est auto-correctrice», je n'ai pas trouvé de meilleur candidat. Et, de fait, le premier article d'Aschwanden mérite amplement les nombreux prix qu'il a reçus. Mais la formule continue de me titiller: c'est un peu comme si on disait, en voyant notre voiture en feu, qu'elle marche parfaitement bien, car sinon nous n'aurions pas pu détecter la fumée sortant du capot. En d'autres termes, si la crise de la réplication n'est pas un signe de l'échec de la science, alors qu'est-ce qu'un «échec» peut bien vouloir dire?
Il est peut-être vrai que la science finit par s'auto-corriger au bout d'un moment. (À tout le moins, cette hypothèse est impossible à réfuter). Mais la question la plus pertinente à se poser est la suivante: au bout de combien de temps? Est-ce que des mauvaises idées et des résultats faux durent un an, deux ans? Est-ce qu'ils s'étirent sur plusieurs générations? Combien d'heures devons-nous passer dans un laboratoire à la poursuite de théories fumeuses? Combien d'argent faut-il gâcher? Quelle proportion d'une carrière scientifique est dédiée à la chasse au que-dalle?
La science doit s'amender plus vite
On peut aisément voir dans l'autocorrection une force de la nature, se dire que tous les faits bancals finiront par pourrir sur pied. Sauf que la crise de la réplication montre que nos bévues n'ont pas de demi-vie. En pratique, nous devons toujours nous démener pour corriger les erreurs –une action souvent retardée bien plus que de raison. Dire que la science est en échec, ce n'est pas signifier que la science est une arnaque, mais qu'elle ne s'amende pas assez vite.
Il y a deux ans jour pour jour, la crise de la réplication faisait la une du New York Times. «La psychologie a raison d'avoir peur: après vérification, ses études ne tiennent pas la route», pouvait-on lire en accroche de son édition du 28 août 2015. Dans un projet d'envergure historique, la revue Science venait de publier les réplications de cent études peer-reviewed et seules trente-neuf d'entre elles avaient été un succès. Un résultat démoralisant qui, selon le Times, «confirmait les pires craintes des scientifiques qui redoutaient depuis longtemps la nécessité d'un bon coup de balai dans la discipline».
En quelques heures à peine, la nouvelle de ce colossal échec allait arriver aux oreilles des médias de droite. «Tant d'habitants de ce pays ont perdu la foi dans des institutions qui avaient jadis toute leur confiance» allait dégoiser Rush Limbaugh à ses 13 millions d'auditeurs, dans un monologue filandreux sur la malhonnêteté des élites et l'essor de Donald Trump. Désormais, pour l'animateur radio, les Américains avaient de quoi mépriser la science. «Vous ne risquez pas grand chose à penser que tout ce que vous entendez –si ça vient de la revue Science, de la revue [sic[1]] Psychology Today– est quasi toujours bidon», avait-il affirmé. «On vient de prouver que la science n'est pas différente de la politique. Tout y est déterminé par le fric. Les résultats scientifiques peuvent être achetés».
Ce qui allait confirmer une autre des grandes peurs des scientifiques: que toute découverte de problèmes inhérents à leur discipline puisse se retourner contre eux. Ils craignaient que des unes sur la «crise de la réplication» donnent des billes à des gars comme Limbaugh, ceux qui piaffaient de joie à l'idée de descendre les chercheurs de leur piédestal et à noyer leur patient et méticuleux travail de collecte factuelle dans un océan de politique et d'idéologie. Une crainte, là encore, visiblement justifiée. En 2015, Limbaugh concluait son speech en ces termes: «Les dés sont pipés. Tout est corrompu, y compris et surtout la science, par la politique».
La réputation de la science entamée
Le laïus de Limbaugh peut-il servir d'avertissement pour le journalisme scientifique –un exemple de ce qui peut (mal) se passer lorsqu'on s'appesantit trop sur la crise de la réplication? C'est ce qu'avance un livre, The Oxford Handbook of the Science of Science Communication, publié en juin dernier. Lorsque la presse généraliste parle de recherches problématiques, les trolls anti-science boivent du petit lait, estiment Joe Hilgard et Kathleen Hall Jamieson, respectivement professeurs à l'université d’État de l'Illinois et à l'université de Pennsylvanie, dans un perspicace chapitre intitulé «De la “science en échec” à la “science auto-correctrice”». Un risque d'autant plus élevé lorsque les journalistes laissent entendre que la science, dans son ensemble, a perdu les pédales. Lorsqu'ils emploient la rhétorique de l'échec, ils finissent par «entamer la réputation de la science» et contribuent à créer un «climat médiatique» dangereux et fallacieux, susceptible d'être «exploité par ceux qui ont un intérêt à attaquer des découvertes scientifiques qui leur sont idéologiquement inconfortables».
Selon Hilgard et Jamieson, la science n'est pas vraiment en panne et les journalistes ne devraient pas le laisser croire. Ils avancent que des scandales dans une discipline attestent au contraire du bon fonctionnement de la science: dès qu'elle a un problème, elle s'auto-corrige. C'est le champ lexical qu'ils conseillent aux journalistes et la vérité fondamentale qu'ils aimeraient voir transmise: «la science est auto-correctrice». En ce qui concerne la science, pensent-ils, une crise est un signe de force.
Qu'on me laisse maintenant formuler ma pensée le plus clairement possible: je pense qu'Hilgard et Jamieson se trompent. La science a échoué, du moins au sens propre du terme. L'autocorrection scientifique n'est pas toujours au rendez-vous et les journalistes ne devraient pas avoir peur de le dire.
J'admets que le débat a de quoi énerver, vu que je travaille sur les échecs scientifiques depuis un bon petit bout de temps maintenant. Ces dernières années, j'ai donc appris que, oui, la science ne fonctionne pas toujours comme il faut. Mais parler d'échec ne veut pas dire que la science serait dans un état de profonde et d'irréversible décrépitude –que toutes les études publiées sont des mensonges ou que toutes les disciplines sont en crise. Au contraire, ce que cela montre, c'est que nous commençons tout juste à comprendre comment les choses peuvent salement déraper, parfois. Que le moteur de notre si fameuse machine à découvertes crachote et qu'il est temps de l'amener au garage.
La science auto-correctrice
Robert Hooke a été le premier, il y a quatre siècles de cela, à décrire la méthode scientifique de la sorte, comme une machine «orientant l'esprit vers la quête des Vérités philosophiques». Vers 1700, les scientifiques feront preuve d'un peu plus de modestie et admettront que leur machine peut s'enrayer. Une nouvelle idée allait alors voir le jour: que la science est une entreprise auto-correctrice qui en vient à rejoindre, de temps en temps et maladroitement, la vérité. Un philosophe naturel comparait la recherche à une division longue: pas à pas, le reste se réduit, et la discipline s'avance naturellement vers la bonne réponse. Cette théorie de la méthode scientifique –moins une machine qu'une voiture autonome glissant vers la connaissance– a été le plus illustrement formulée par Charles Sanders Peirce en 1898: «Cette merveilleuse propriété auto-correctrice de la Raison (…) se retrouve dans toute science».
Une merveilleuse propriété qui, depuis, a tôt fait d'être assimilée à une baguette magique faisant disparaître les erreurs les plus flagrantes. Lorsqu'un scientifique se révèle être un imposteur, il y a toujours un je-sais-tout pour glorifier la mise au pilori du mécréant comme une victoire de «l'autocorrection». Et Hilgard et Jamieson ne dérogent pas à la règle lorsqu'ils citent le cas d'une spécialiste japonaise des cellules souches dont une étude fut rétractée pour cause de manipulation avérée des données: «Si la critique et l'autocorrection sont constitutives de l'entreprise scientifique, alors les cas où des scientifiques détectent des défauts et interviennent pour les amender prouvent le succès et non l'échec de la science, car ils révèlent ce faisant les mécanismes de protection inhérents à la science à l’œuvre».
Dans l'affaire des cellules souches, la science auto-correctrice a effectivement été à l’œuvre comme escompté: les problèmes dans l'étude ont été découverts par des collègues attentifs quelque temps après sa publication dans Nature. Reste que l'histoire récente de la science regorge de cas similaires qui n'ont pas été découverts aussi rapidement ni grâce à des mécanismes standards d'autocorrection –l'évaluation par les pairs ou des réplications malheureuses–, mais plutôt très longtemps après et via des moyens médiatiques plus conventionnels. C'est ainsi que Diedrik Stapel, célèbre bonimenteur aux 58 études rétractées en psychologie sociale, fut confondu en 2011. Le fait que la fraude éhontée de Stapel n'ait pas été détectée (et auto-corrigée) plus tôt en fait un des parangons de la crise de la réplication. Pourquoi personne n'avait-il remarqué, en termes strictement scientifiques, tous les faux effets qu'il avait glissés dans la littérature?
Cependant, la fraude isolée n'a jamais été au cœur de la crise. Depuis le Stapelgate, des tonnes d'études parfaitement menées d'un point de vue éthique ont été rabrouées pour cause de données branlantes. En réalité, il semblerait que les méthodes les plus basiques de conception, d'analyse et de report des expériences soient susceptibles de générer des résultats improbables –comme l'existence de la perception extra-sensorielle ou la possibilité de voyager dans le temps. À l'été 2015, quand Rush Limbaugh déblatérait sur la «science bidon», des psychologues, médecins et autres spécialistes de diverses disciplines avaient déjà capté qu'une proportion conséquente de leurs découvertes n'étaient peu ou prou que du bruit statistique.
De fait, une semaine avant la une du New York Times sur la crise de la réplication, la journaliste scientifique Christie Aschwanden publiait un article merveilleusement détaillé et interactif sur FiveThirtyEight. Son papier revenait sur les multiples biais, erreurs et insuffisances de la pratique scientifique contemporaine qui ouvrent les portes de la littérature aux faux résultats. Les chercheurs peuvent trifouiller leurs conclusions et sont incités à camoufler leurs résultats négatifs. En outre, les éditeurs des revues scientifiques ignorent les échecs de réplication et prennent souvent énormément leur temps pour corriger les erreurs.
Combien de temps pour l'autocorrection?
On pourrait voir dans l'article d'Aschwanden un minutieux argumentaire en faveur du postulat {science = tas de crotte} et de la capilotade de ses mécanismes d'autocorrection. Sauf qu'Aschwanden débouche sur la conclusion inverse: «La science n'est pas en échec et la confiance qu'elle suscite n'est pas non plus usurpée», écrit-elle. «Il s'agit tout simplement d'une entreprise bien plus difficile que ce que nous pouvons en général imaginer». Le problème, explique Aschwanden, c'est que nous en attendons trop de la science, nous faisons comme s'il s'agissait d'une machine à découvertes, alors qu'elle est juste un moyen d'avancer, cahin-caha, sur la longue et tortueuse route menant à la vérité. Si la science a l'air d'être en bordel, dit-elle dans un autre article tout aussi optimiste, c'est parce que l'entreprise est fondamentalement bordélique. C'est «un processus qui nous permet d'être de moins en moins dans le faux à mesure que le temps passe».
Dans l'équipe de «la science est auto-correctrice», je n'ai pas trouvé de meilleur candidat. Et, de fait, le premier article d'Aschwanden mérite amplement les nombreux prix qu'il a reçus. Mais la formule continue de me titiller: c'est un peu comme si on disait, en voyant notre voiture en feu, qu'elle marche parfaitement bien, car sinon nous n'aurions pas pu détecter la fumée sortant du capot. En d'autres termes, si la crise de la réplication n'est pas un signe de l'échec de la science, alors qu'est-ce qu'un «échec» peut bien vouloir dire?
Il est peut-être vrai que la science finit par s'auto-corriger au bout d'un moment. (À tout le moins, cette hypothèse est impossible à réfuter). Mais la question la plus pertinente à se poser est la suivante: au bout de combien de temps? Est-ce que des mauvaises idées et des résultats faux durent un an, deux ans? Est-ce qu'ils s'étirent sur plusieurs générations? Combien d'heures devons-nous passer dans un laboratoire à la poursuite de théories fumeuses? Combien d'argent faut-il gâcher? Quelle proportion d'une carrière scientifique est dédiée à la chasse au que-dalle?
La science doit s'amender plus vite
On peut aisément voir dans l'autocorrection une force de la nature, se dire que tous les faits bancals finiront par pourrir sur pied. Sauf que la crise de la réplication montre que nos bévues n'ont pas de demi-vie. En pratique, nous devons toujours nous démener pour corriger les erreurs –une action souvent retardée bien plus que de raison. Dire que la science est en échec, ce n'est pas signifier que la science est une arnaque, mais qu'elle ne s'amende pas assez vite.
Commentaire