Tweet
Le psychologue Philip Tetlock a consacré sa carrière à l’étude des prévisions, et selon lui, les experts et les spécialistes ont encore beaucoup à faire pour améliorer leur jugement. L’actualité l’a rencontré.
Que donneriez-vous pour savoir ce qui se produira demain? Philip Tetlock peut vous y aider, et pas besoin de le payer. Ce Canado-Américain de 62 ans n’est pas devin, mais psychologue, et il a consacré sa carrière à l’étude des prévisions en politique, en économie et même… au poker.
Son plus récent ouvrage, Superforecasting: The Art and Science of Prediction (Signal, 2015), coécrit avec l’auteur canadien Dan Gardner, raconte l’expérience la plus ambitieuse qu’il a menée à ce jour et au cours de laquelle des milliers de gens ordinaires ont effectué des prévisions qui se sont révélées plus justes que celles des analystes du renseignement américain!
Surtout, le chercheur y révèle l’existence de personnes exceptionnellement douées dans l’art de la prédiction. Si nous nous inspirons de leurs méthodes de travail, affirme l’expert, nous effectuerons de meilleures prévisions et — en théorie — nous prendrons de meilleures décisions.
L’actualité s’est entretenu avec lui de Donald Trump, de commentateurs sportifs et de météo.
Qu’est-ce qui vous a amené à vous intéresser aux prévisions?
Un paradoxe. Au milieu des années 1980, la guerre froide battait son plein. Ni les libéraux ni les conservateurs ne s’attendaient à ce que Mikhaïl Gorbatchev, membre obscur du Politburo, devienne secrétaire général du Parti communiste et libéralise l’Union soviétique. Mais après les faits, les deux camps ont affirmé ne pas être surpris, que la montée au pouvoir de Gorbatchev était inévitable, et ils expliquaient cet événement par des théories contradictoires. Je me suis dit que si on trouvait un meilleur mécanisme pour faire des prévisions — et s’assurer que personne ne les oublie —, la qualité du débat public en serait grandement améliorée.
Vous avez commencé par étudier les prévisions des experts pour conclure, après 20 ans, qu’ils peinent à faire mieux que des singes qui lancent des fléchettes! Quel est leur problème?
Les experts et les spécialistes sont souvent trop sûrs d’eux. Nous avons découvert que s’ils étaient plus ouverts, plus enclins à l’autocritique, ils amélioreraient leur jugement. Mais cela est vrai jusqu’à un certain point seulement; il y a une incertitude inhérente à la vie, et l’état du monde est extrêmement difficile à prédire.
Certains spécialistes sont tout de même rigoureux. Vous affirmez d’ailleurs que, de tous les experts, les météorologues sont parmi les meilleurs. Que font-ils de mieux que les autres?
Les météorologues font des prévisions explicites, chiffrées, et apprennent chaque jour s’ils avaient raison ou non. Depuis des décennies, ils enregistrent leurs résultats de façon objective, ce qui leur a permis d’améliorer petit à petit leurs modèles.
Pourtant, on blâme toujours le gars de la météo, mais on accepte les prédictions des analystes sportifs ou politiques sans broncher.
Oui, et c’est plutôt ironique. Les commentateurs utilisent souvent un vocabulaire vague qui leur permet de dire une chose et son contraire. «Poutine pourrait intervenir en Ukraine» est une déclaration qui vous protège. Si un événement survient, vous vous vantez de l’avoir prédit. Sinon, vous dites: «Rappelez-vous, j’ai dit “pourrait”.» Lorsque le météorologue annonce 70 % de probabilité de chutes de neige à Québec et que rien ne tombe, on pense qu’il a tort. Or, pour juger de sa performance, il faut regarder l’ensemble de ses prévisions. S’il neige 70 % des fois où le météorologue prévoit des flocons, son modèle est excellent. En fait, les 30 % du temps où il ne neige pas démontrent qu’il a raison! C’est un concept difficile à comprendre.
En 2010, une agence de recherche liée au renseignement américain a lancé un tournoi sur quatre ans entre chercheurs pour élaborer de meilleures techniques de prévisions. Vous y avez inscrit votre groupe, le Good Judgement Project (GJP), auquel n’importe qui pouvait participer afin d’émettre des prévisions. C’est une approche étonnante!
C’était un bon pari scientifique. Beaucoup d’études démontrent que la moyenne des prévisions faites par les membres d’un groupe est plus précise que les prévisions effectuées par la plupart des individus qui composent ce groupe. Au total, 25 000 personnes se sont inscrites au GJP. Elles devaient répondre à des questions variées, mais pointues, qui intéressent le secteur du renseignement. Bachar al-Assad demeurera-t-il au pouvoir en Syrie d’ici la fin de 2021? Quel sera le prix du baril de pétrole l’an prochain? Y aura-t-il un accrochage violent entre les forces japonaises et chinoises dans la mer de Chine orientale au cours des six prochains mois? En quatre ans, elles ont émis plus d’un million de prévisions.
Et comment votre groupe s’en est-il tiré?
Mieux que les autres! Nos modèles mathématiques qui analysaient les prévisions des participants ont dépassé de façon continue nos compétiteurs [des groupes de recherche universitaire qui avaient adopté des approches différentes], ainsi que les analystes du milieu du renseignement.
Pour être clair: les participants du GJP étaient des bénévoles qui effectuaient des prévisions dans leur temps libre, sans accès à des informations classifiées?
C’est exact.
Au sein du GJP, vous avez découvert des personnes qui réussissaient exceptionnellement bien dans leurs prévisions, et ce, de manière constante. Vous les qualifiez de «superprévisionnistes». Qui sont-ils exactement?
Ce ne sont ni des surhumains ni des génies, mais des personnes intelligentes, travaillantes et curieuses qui voient une différence entre une probabilité de 45 % et une autre de 48 %. La plupart des gens croient ou ne croient pas à quelque chose. Ils croient aux changements climatiques ou ils n’y croient pas. Ils croient que Justin Trudeau sera réélu ou qu’il ne le sera pas. Dans les faits, nos opinions sont construites à partir d’une masse de détails, et les superprévisionnistes sont exceptionnellement doués pour distinguer ces détails et mesurer leur importance. Et ils sont capables de changer d’idée lorsque les faits changent.
Malgré tout leur talent, les superprévisionnistes n’ont pas vu venir le Brexit…
En effet. Même eux sont loin d’être infaillibles. C’est inévitable qu’ils aient tort, jusqu’à une certaine fréquence. Il faut regarder leurs résultats à long terme, et non leurs prévisions une à une.
N’est-ce pas plutôt parce qu’il est impossible de prévoir des événements uniques qui passeront à l’histoire, comme le printemps arabe ou la montée de Donald Trump?
Certaines choses sont évidemment plus difficiles à prévoir que d’autres. Mais une prévision ne doit pas être fixe; un superprévisionniste l’adapte au fil du temps. Au début de 2015, peu de prévisionnistes croyaient que Trump serait le candidat républicain à la présidence. Fin 2015, leur probabilité aurait dû être plus élevée. Et si, en mai 2016, ils n’étaient pas près de 90 %, c’est qu’ils ne faisaient pas leurs devoirs. Pour le printemps arabe, les probabilités d’assister à une série de changements de régime au Moyen-Orient étaient faibles avant cet événement tragique en Tunisie [où un vendeur ambulant s’est immolé en protestation contre la saisie de ses marchandises]. Mais lorsque les premiers signes de propagation de l’instabilité sont apparus, les probabilités ont grimpé de manière importante.
Vous avez démontré que les experts sont de piètres prévisionnistes, élaboré une meilleure méthode pour effectuer des prévisions et découvert les superprévisionnistes. Où en êtes-vous dans votre objectif d’améliorer la qualité du débat public?
La dernière campagne électorale présidentielle vous donne une idée d’où j’en suis… Cela dit, il s’agit d’une approche nouvelle. Il y a de la résistance, mais je crois que nous nous dirigeons peu à peu dans la bonne direction. Reparlez-moi dans 32 ans pour voir ce qu’il en est.
L'Actualité
Que donneriez-vous pour savoir ce qui se produira demain? Philip Tetlock peut vous y aider, et pas besoin de le payer. Ce Canado-Américain de 62 ans n’est pas devin, mais psychologue, et il a consacré sa carrière à l’étude des prévisions en politique, en économie et même… au poker.
Son plus récent ouvrage, Superforecasting: The Art and Science of Prediction (Signal, 2015), coécrit avec l’auteur canadien Dan Gardner, raconte l’expérience la plus ambitieuse qu’il a menée à ce jour et au cours de laquelle des milliers de gens ordinaires ont effectué des prévisions qui se sont révélées plus justes que celles des analystes du renseignement américain!
Surtout, le chercheur y révèle l’existence de personnes exceptionnellement douées dans l’art de la prédiction. Si nous nous inspirons de leurs méthodes de travail, affirme l’expert, nous effectuerons de meilleures prévisions et — en théorie — nous prendrons de meilleures décisions.
L’actualité s’est entretenu avec lui de Donald Trump, de commentateurs sportifs et de météo.
Qu’est-ce qui vous a amené à vous intéresser aux prévisions?
Un paradoxe. Au milieu des années 1980, la guerre froide battait son plein. Ni les libéraux ni les conservateurs ne s’attendaient à ce que Mikhaïl Gorbatchev, membre obscur du Politburo, devienne secrétaire général du Parti communiste et libéralise l’Union soviétique. Mais après les faits, les deux camps ont affirmé ne pas être surpris, que la montée au pouvoir de Gorbatchev était inévitable, et ils expliquaient cet événement par des théories contradictoires. Je me suis dit que si on trouvait un meilleur mécanisme pour faire des prévisions — et s’assurer que personne ne les oublie —, la qualité du débat public en serait grandement améliorée.
Vous avez commencé par étudier les prévisions des experts pour conclure, après 20 ans, qu’ils peinent à faire mieux que des singes qui lancent des fléchettes! Quel est leur problème?
Les experts et les spécialistes sont souvent trop sûrs d’eux. Nous avons découvert que s’ils étaient plus ouverts, plus enclins à l’autocritique, ils amélioreraient leur jugement. Mais cela est vrai jusqu’à un certain point seulement; il y a une incertitude inhérente à la vie, et l’état du monde est extrêmement difficile à prédire.
Certains spécialistes sont tout de même rigoureux. Vous affirmez d’ailleurs que, de tous les experts, les météorologues sont parmi les meilleurs. Que font-ils de mieux que les autres?
Les météorologues font des prévisions explicites, chiffrées, et apprennent chaque jour s’ils avaient raison ou non. Depuis des décennies, ils enregistrent leurs résultats de façon objective, ce qui leur a permis d’améliorer petit à petit leurs modèles.
Pourtant, on blâme toujours le gars de la météo, mais on accepte les prédictions des analystes sportifs ou politiques sans broncher.
Oui, et c’est plutôt ironique. Les commentateurs utilisent souvent un vocabulaire vague qui leur permet de dire une chose et son contraire. «Poutine pourrait intervenir en Ukraine» est une déclaration qui vous protège. Si un événement survient, vous vous vantez de l’avoir prédit. Sinon, vous dites: «Rappelez-vous, j’ai dit “pourrait”.» Lorsque le météorologue annonce 70 % de probabilité de chutes de neige à Québec et que rien ne tombe, on pense qu’il a tort. Or, pour juger de sa performance, il faut regarder l’ensemble de ses prévisions. S’il neige 70 % des fois où le météorologue prévoit des flocons, son modèle est excellent. En fait, les 30 % du temps où il ne neige pas démontrent qu’il a raison! C’est un concept difficile à comprendre.
En 2010, une agence de recherche liée au renseignement américain a lancé un tournoi sur quatre ans entre chercheurs pour élaborer de meilleures techniques de prévisions. Vous y avez inscrit votre groupe, le Good Judgement Project (GJP), auquel n’importe qui pouvait participer afin d’émettre des prévisions. C’est une approche étonnante!
C’était un bon pari scientifique. Beaucoup d’études démontrent que la moyenne des prévisions faites par les membres d’un groupe est plus précise que les prévisions effectuées par la plupart des individus qui composent ce groupe. Au total, 25 000 personnes se sont inscrites au GJP. Elles devaient répondre à des questions variées, mais pointues, qui intéressent le secteur du renseignement. Bachar al-Assad demeurera-t-il au pouvoir en Syrie d’ici la fin de 2021? Quel sera le prix du baril de pétrole l’an prochain? Y aura-t-il un accrochage violent entre les forces japonaises et chinoises dans la mer de Chine orientale au cours des six prochains mois? En quatre ans, elles ont émis plus d’un million de prévisions.
Et comment votre groupe s’en est-il tiré?
Mieux que les autres! Nos modèles mathématiques qui analysaient les prévisions des participants ont dépassé de façon continue nos compétiteurs [des groupes de recherche universitaire qui avaient adopté des approches différentes], ainsi que les analystes du milieu du renseignement.
Pour être clair: les participants du GJP étaient des bénévoles qui effectuaient des prévisions dans leur temps libre, sans accès à des informations classifiées?
C’est exact.
Au sein du GJP, vous avez découvert des personnes qui réussissaient exceptionnellement bien dans leurs prévisions, et ce, de manière constante. Vous les qualifiez de «superprévisionnistes». Qui sont-ils exactement?
Ce ne sont ni des surhumains ni des génies, mais des personnes intelligentes, travaillantes et curieuses qui voient une différence entre une probabilité de 45 % et une autre de 48 %. La plupart des gens croient ou ne croient pas à quelque chose. Ils croient aux changements climatiques ou ils n’y croient pas. Ils croient que Justin Trudeau sera réélu ou qu’il ne le sera pas. Dans les faits, nos opinions sont construites à partir d’une masse de détails, et les superprévisionnistes sont exceptionnellement doués pour distinguer ces détails et mesurer leur importance. Et ils sont capables de changer d’idée lorsque les faits changent.
Malgré tout leur talent, les superprévisionnistes n’ont pas vu venir le Brexit…
En effet. Même eux sont loin d’être infaillibles. C’est inévitable qu’ils aient tort, jusqu’à une certaine fréquence. Il faut regarder leurs résultats à long terme, et non leurs prévisions une à une.
N’est-ce pas plutôt parce qu’il est impossible de prévoir des événements uniques qui passeront à l’histoire, comme le printemps arabe ou la montée de Donald Trump?
Certaines choses sont évidemment plus difficiles à prévoir que d’autres. Mais une prévision ne doit pas être fixe; un superprévisionniste l’adapte au fil du temps. Au début de 2015, peu de prévisionnistes croyaient que Trump serait le candidat républicain à la présidence. Fin 2015, leur probabilité aurait dû être plus élevée. Et si, en mai 2016, ils n’étaient pas près de 90 %, c’est qu’ils ne faisaient pas leurs devoirs. Pour le printemps arabe, les probabilités d’assister à une série de changements de régime au Moyen-Orient étaient faibles avant cet événement tragique en Tunisie [où un vendeur ambulant s’est immolé en protestation contre la saisie de ses marchandises]. Mais lorsque les premiers signes de propagation de l’instabilité sont apparus, les probabilités ont grimpé de manière importante.
Vous avez démontré que les experts sont de piètres prévisionnistes, élaboré une meilleure méthode pour effectuer des prévisions et découvert les superprévisionnistes. Où en êtes-vous dans votre objectif d’améliorer la qualité du débat public?
La dernière campagne électorale présidentielle vous donne une idée d’où j’en suis… Cela dit, il s’agit d’une approche nouvelle. Il y a de la résistance, mais je crois que nous nous dirigeons peu à peu dans la bonne direction. Reparlez-moi dans 32 ans pour voir ce qu’il en est.
L'Actualité