Tweet
Petits arrangements avec les statistiques, invention pure de données, plagiats, doublons… Jamais on n’avait assisté à autant de fraudes dans les recherches des sciences dures… et des sciences humaines !
Le Reproducibility Project de Brian Nosek, professeur de psychologie sociale à l’université de Virginie, a récemment jeté la suspicion sur la psychologie scientifique. Qu’a-t-il révélé ?
Il consistait à tester la possibilité de retrouver deux fois de suite les mêmes résultats des expériences en psychologie expérimentale. Résultat : sur 100 recherches parues dans les trois meilleures revues du domaine en 2008, les deux tiers donnaient des résultats qui ne peuvent pas être reproduits.
Plusieurs explications sont possibles. Peut-être que le fonctionnement de l’esprit humain est trop complexe et mal maîtrisé, avec une trop grande variabilité des individus sélectionnés dans les protocoles. Ou bien, ce qui n’est pas antagoniste, les chercheurs ont pris la mauvaise habitude de trop embellir des résultats qu’ils veulent à tout prix positifs, arrangés de telle manière qu’ils se trouvent juste au-dessus du seuil statistiquement significatif. Ce qui passe par améliorer des données, en enlever certaines qui sortent de la courbe… Il y a quarante ans, tout le traitement de données se faisait à la règle à calcul ou aux tables de probabilités. Maintenant que c’est faisable d’un clic, les tentations sont grandes… D’ailleurs on ne publie guère de résultats dits négatifs, c’est-à-dire ne montrant pas d’effet, alors que cela ferait tout de même progresser le savoir. Comment se fait-il que les chercheurs ne formulent presque toujours que des hypothèses pertinentes ? C’est qu’il faut publier, dans un monde de la recherche extrêmement concurrentiel. De premières alarmes étaient venues en particulier de la biomédecine, où l’on trouve des taux de reproductibilité extrêmement faibles, de l’ordre de 10 à 25 %. La psychologie prend conscience du problème, et on peut penser que le mouvement va s’étendre à d’autres disciplines où tous ces petits arrangements regrettables sont hélas répandus.
Beaucoup de revues sont apparues avec Internet pour contourner les publications académiques plus verrouillées. Vous expliquez que les recherches ont gagné en liberté mais aussi en médiocrité, pourquoi ?
Ces publications en ligne reposent sur une inversion du fonctionnement du système éditorial. Jusque-là, les revues étaient vendues sur abonnement : le lecteur, au travers de sa bibliothèque universitaire, payait leur fonctionnement. Avec les revues dites en open access sur Internet, la lecture est gratuite mais les chercheurs payent pour être publiés. Le système open access en soi est une bonne chose, qui produit des revues du même niveau et de la même qualité que le système antérieur, et il est bon que l’information scientifique soit accessible à tous. 90 % des recherches européennes en physique sont d’ailleurs publiées dans de telles revues. Mais des éditeurs prédateurs ont senti la bonne affaire pour faire payer jusqu’à 1 000 dollars des chercheurs désireux de publier n’importe quoi. Des centaines et des centaines de journaux sont purement frauduleux, n’ont aucune notoriété scientifique, pas de comité éditorial, ou alors avec des scientifiques qui n’ont jamais publié dans ce domaine ou qui n’ont pas donné leur accord… De nombreux chercheurs reçoivent plusieurs dizaines de courriers électroniques par jour leur demandant d’intégrer les comités éditoriaux de telles revues.
Vous rappelez qu’en 2013 un journaliste de Science a rédigé un faux article de pharmacologie truffé d’erreurs, qu’il a proposé à 304 revues en ligne, et que 157 ont accepté…
Ce qu’on peut lui reprocher, c’est de n’avoir justement ciblé que des revues en open access. Il aurait été plus intéressant d’envoyer également son canular à des revues traditionnelles. Avec le logiciel Science Generator mis au point au MIT, il est même possible de générer aléatoirement des textes grammaticalement et syntaxiquement corrects, assez drôles, mais qui ne signifient strictement rien… Et qui sont acceptés par des revues prédatrices et certains colloques internationaux. Les canulars sont toujours un bon moyen de mettre en évidence les failles d’un système. Quand ils marchent à plusieurs reprises, c’est bien que le problème est sérieux !
Le 21e siècle voit une explosion des causes de rétractation d’articles scientifiques, notamment dans la littérature biomédicale. Vous identifiez quatre causes de rétractation : les erreurs de bonne foi, la fraude, mais aussi les doublons…
Il s’agit d’une pratique tout à fait malhonnête qui consiste à envoyer deux fois un article à deux revues différentes, de manière à avoir deux publications, en changeant juste le titre. En soi, ce n’est pas gênant pour la qualité de la science.
… et enfin le plagiat.
C’est une forme de vol qui consiste à reproduire les données de quelqu’un d’autre en changeant le titre, à modifier d’autres détails, et faire comme si on avait produit un article authentique.
Ces rétractations se multiplient aussi dans les revues les plus prestigieuses ?
Surtout celles-là ! Quitte à prendre le risque de frauder, autant gagner gros ! Science et Nature ont les taux de rétractation les plus élevés. Mais comme ces revues sont très influentes, dès qu’un résultat est annoncé, des dizaines d’équipes de par le monde essaient de le reproduire. En cas d’échec, la suspicion arrive et des enquêtes sont diligentées. Le psychologue hollandais Diederik Staple a, par exemple, rétracté 55 de ses 130 articles publiés notamment dans Science et portant sur le déterminisme des stéréotypes sociaux. Il prétendait envoyer des étudiants sur le terrain, mais en réalité, il remplissait tout seul ses questionnaires ! Son cas illustre un problème plus général : quand un chercheur rétracte une partie de ses publications, que penser des autres, qui figurent toujours dans la littérature scientifique et qui peuvent être citées par des auteurs non avertis ?
Au 21e siècle, 400 000 personnes auraient été impliquées dans des recherches complètement bidons, selon vous ?
Oui, à un titre ou un autre, en particulier dans des essais cliniques. Toutes n’ont pas été en danger, mais voilà qui reflète encore ce problème de l’incertitude autour de certains articles. Un anesthésiste allemand a rétracté 90 articles pour fraude, mais il en reste une trentaine. Selon qu’on les considère comme pertinents ou non, on utilisera ou non une certaine substance dans les procédés de réanimation. Quel choix un clinicien doit-il adopter ? De même qu’on parle de créances toxiques dans le système financier, il existe beaucoup d’articles toxiques dans la littérature scientifique. Car, à côté des affaires retentissantes, ce qui met le plus en péril la solidité de l’édifice scientifique, c’est quand ça ne se voit pas. Ou très peu. Tout le monde vous dira dans le milieu qu’on arrange un petit peu les résultats. C’est un continuum, il n’y a pas un critère clair disant : « Ici s’arrête l’embellissement des résultats, ici commence la fraude. » L’idéal serait une rigueur totale, avec zéro embellissement. Mais dans la pratique, cela n’existe pas ! Personne n’a intérêt à être le seul vertueux dans un monde très concurrentiel…
Vous pouvez écouter une version longue de cet entretien sur le site de Jean-François Marmion, www.jfmarmion.com, à la rubrique Podcast Psychonoclaste, épisode 6.
Nicolas Chevassus-au-Louis
Docteur en biologie, historien et journaliste scientifique, Nicolas Chevassus-au-Louis a publié Malscience. De la fraude dans les labos (Seuil, 2016).
SH
Le Reproducibility Project de Brian Nosek, professeur de psychologie sociale à l’université de Virginie, a récemment jeté la suspicion sur la psychologie scientifique. Qu’a-t-il révélé ?
Il consistait à tester la possibilité de retrouver deux fois de suite les mêmes résultats des expériences en psychologie expérimentale. Résultat : sur 100 recherches parues dans les trois meilleures revues du domaine en 2008, les deux tiers donnaient des résultats qui ne peuvent pas être reproduits.
Plusieurs explications sont possibles. Peut-être que le fonctionnement de l’esprit humain est trop complexe et mal maîtrisé, avec une trop grande variabilité des individus sélectionnés dans les protocoles. Ou bien, ce qui n’est pas antagoniste, les chercheurs ont pris la mauvaise habitude de trop embellir des résultats qu’ils veulent à tout prix positifs, arrangés de telle manière qu’ils se trouvent juste au-dessus du seuil statistiquement significatif. Ce qui passe par améliorer des données, en enlever certaines qui sortent de la courbe… Il y a quarante ans, tout le traitement de données se faisait à la règle à calcul ou aux tables de probabilités. Maintenant que c’est faisable d’un clic, les tentations sont grandes… D’ailleurs on ne publie guère de résultats dits négatifs, c’est-à-dire ne montrant pas d’effet, alors que cela ferait tout de même progresser le savoir. Comment se fait-il que les chercheurs ne formulent presque toujours que des hypothèses pertinentes ? C’est qu’il faut publier, dans un monde de la recherche extrêmement concurrentiel. De premières alarmes étaient venues en particulier de la biomédecine, où l’on trouve des taux de reproductibilité extrêmement faibles, de l’ordre de 10 à 25 %. La psychologie prend conscience du problème, et on peut penser que le mouvement va s’étendre à d’autres disciplines où tous ces petits arrangements regrettables sont hélas répandus.
Beaucoup de revues sont apparues avec Internet pour contourner les publications académiques plus verrouillées. Vous expliquez que les recherches ont gagné en liberté mais aussi en médiocrité, pourquoi ?
Ces publications en ligne reposent sur une inversion du fonctionnement du système éditorial. Jusque-là, les revues étaient vendues sur abonnement : le lecteur, au travers de sa bibliothèque universitaire, payait leur fonctionnement. Avec les revues dites en open access sur Internet, la lecture est gratuite mais les chercheurs payent pour être publiés. Le système open access en soi est une bonne chose, qui produit des revues du même niveau et de la même qualité que le système antérieur, et il est bon que l’information scientifique soit accessible à tous. 90 % des recherches européennes en physique sont d’ailleurs publiées dans de telles revues. Mais des éditeurs prédateurs ont senti la bonne affaire pour faire payer jusqu’à 1 000 dollars des chercheurs désireux de publier n’importe quoi. Des centaines et des centaines de journaux sont purement frauduleux, n’ont aucune notoriété scientifique, pas de comité éditorial, ou alors avec des scientifiques qui n’ont jamais publié dans ce domaine ou qui n’ont pas donné leur accord… De nombreux chercheurs reçoivent plusieurs dizaines de courriers électroniques par jour leur demandant d’intégrer les comités éditoriaux de telles revues.
Vous rappelez qu’en 2013 un journaliste de Science a rédigé un faux article de pharmacologie truffé d’erreurs, qu’il a proposé à 304 revues en ligne, et que 157 ont accepté…
Ce qu’on peut lui reprocher, c’est de n’avoir justement ciblé que des revues en open access. Il aurait été plus intéressant d’envoyer également son canular à des revues traditionnelles. Avec le logiciel Science Generator mis au point au MIT, il est même possible de générer aléatoirement des textes grammaticalement et syntaxiquement corrects, assez drôles, mais qui ne signifient strictement rien… Et qui sont acceptés par des revues prédatrices et certains colloques internationaux. Les canulars sont toujours un bon moyen de mettre en évidence les failles d’un système. Quand ils marchent à plusieurs reprises, c’est bien que le problème est sérieux !
Le 21e siècle voit une explosion des causes de rétractation d’articles scientifiques, notamment dans la littérature biomédicale. Vous identifiez quatre causes de rétractation : les erreurs de bonne foi, la fraude, mais aussi les doublons…
Il s’agit d’une pratique tout à fait malhonnête qui consiste à envoyer deux fois un article à deux revues différentes, de manière à avoir deux publications, en changeant juste le titre. En soi, ce n’est pas gênant pour la qualité de la science.
… et enfin le plagiat.
C’est une forme de vol qui consiste à reproduire les données de quelqu’un d’autre en changeant le titre, à modifier d’autres détails, et faire comme si on avait produit un article authentique.
Ces rétractations se multiplient aussi dans les revues les plus prestigieuses ?
Surtout celles-là ! Quitte à prendre le risque de frauder, autant gagner gros ! Science et Nature ont les taux de rétractation les plus élevés. Mais comme ces revues sont très influentes, dès qu’un résultat est annoncé, des dizaines d’équipes de par le monde essaient de le reproduire. En cas d’échec, la suspicion arrive et des enquêtes sont diligentées. Le psychologue hollandais Diederik Staple a, par exemple, rétracté 55 de ses 130 articles publiés notamment dans Science et portant sur le déterminisme des stéréotypes sociaux. Il prétendait envoyer des étudiants sur le terrain, mais en réalité, il remplissait tout seul ses questionnaires ! Son cas illustre un problème plus général : quand un chercheur rétracte une partie de ses publications, que penser des autres, qui figurent toujours dans la littérature scientifique et qui peuvent être citées par des auteurs non avertis ?
Au 21e siècle, 400 000 personnes auraient été impliquées dans des recherches complètement bidons, selon vous ?
Oui, à un titre ou un autre, en particulier dans des essais cliniques. Toutes n’ont pas été en danger, mais voilà qui reflète encore ce problème de l’incertitude autour de certains articles. Un anesthésiste allemand a rétracté 90 articles pour fraude, mais il en reste une trentaine. Selon qu’on les considère comme pertinents ou non, on utilisera ou non une certaine substance dans les procédés de réanimation. Quel choix un clinicien doit-il adopter ? De même qu’on parle de créances toxiques dans le système financier, il existe beaucoup d’articles toxiques dans la littérature scientifique. Car, à côté des affaires retentissantes, ce qui met le plus en péril la solidité de l’édifice scientifique, c’est quand ça ne se voit pas. Ou très peu. Tout le monde vous dira dans le milieu qu’on arrange un petit peu les résultats. C’est un continuum, il n’y a pas un critère clair disant : « Ici s’arrête l’embellissement des résultats, ici commence la fraude. » L’idéal serait une rigueur totale, avec zéro embellissement. Mais dans la pratique, cela n’existe pas ! Personne n’a intérêt à être le seul vertueux dans un monde très concurrentiel…
Vous pouvez écouter une version longue de cet entretien sur le site de Jean-François Marmion, www.jfmarmion.com, à la rubrique Podcast Psychonoclaste, épisode 6.
Nicolas Chevassus-au-Louis
Docteur en biologie, historien et journaliste scientifique, Nicolas Chevassus-au-Louis a publié Malscience. De la fraude dans les labos (Seuil, 2016).
SH