Par Philippe Silberzahn.
J’évoquais dans l’article précédent les travaux du chercheur Philip Tetlock montrant qu’en matière de prédiction, les experts sont moins bons que les généralistes, et même que les chimpanzés. Malgré ses résultats un peu déprimants, Tetlock persiste à penser qu’avec de meilleures méthodes, on peut améliorer sa capacité à prédire. Je n’y crois pas un instant et penser qu’on puisse mieux prédire nous expose seulement à de plus fortes déconvenues.
Les super-prévisionnistes
Un résultat inattendu de la recherche de Tetlock sur les experts a été de mettre en lumière une catégorie qu’il appelle les superforecasters (super-prévisionnistes), qui semble se distinguer des experts normaux par la qualité de leurs prédictions. Selon lui, ces superforecasters ont les caractéristiques suivantes : ils sont intelligents (mais pas plus que la moyenne) et développent toujours une connaissance du domaine étudié.
Ils pratiquent l’exercice de prédiction régulièrement pour apprendre de leurs erreurs. Ils travaillent en équipe. Ils ont une ouverture d’esprit plus grande (les fameux renards) et une bonne maîtrise des probabilités qui leur permet d’éviter les biais habituels. Ils travaillent lentement et n’hésitent pas à réviser leurs prédictions passées. Mouais… au final, rien là de bien extraordinaire…
Les travaux de Tetlock peuvent donc donner l’espoir que nous pouvons améliorer nos performances en matière de prévision. Dans cette vision, la prédiction est une matière comme une autre : avec de bons outils et une bonne pratique, chacun peut s’améliorer. Derrière on retrouve l’hypothèse, assez naturelle en effet, selon laquelle mieux on connaît le domaine, plus on a de chances de faire une bonne prédiction.
Prédiction dans le renseignement
C’est également le propos, dans un tout autre domaine, celui du renseignement, de Thomas Fingar, dans son ouvrage Reducing Uncertainty. Responsable du département d’analyse de la CIA au début des années 2000, il est conduit à en réformer le fonctionnement après le fiasco des armes de destruction massives en Irak.
La prédiction de la CIA selon laquelle l’Irak avait un arsenal d’armes de destruction massives prêt à être utilisé avait été l’un des arguments-clés de son invasion par les États-Unis en 2003.
Après l’invasion, cette prévision s’est révélée fausse, et aucune arme n’a jamais été trouvée malgré des recherches intensives. L’approche de Fingar a consisté à améliorer les processus d’analyse : en travaillant mieux, et en utilisant mieux nos informations, nous nous tromperons moins.
Le courtier de Wall Street
Or il n’est pas évident du tout qu’un surplus d’information amène à de meilleures prédictions. Nassim Taleb est même de l’avis contraire. L’auteur du Cygne Noir cite l’exemple d’un courtier légendaire de Wall Street des années 80. Il était spécialisé dans le Franc Suisse dont il était un expert reconnu.
Il avait correctement anticipé la forte baisse du dollar dans les années 80 par rapport à la monnaie Suisse. Or, Taleb raconte qu’une brève conversation avec lui avait montré… qu’il était incapable de placer correctement la Suisse sur une carte. Il n’y était jamais allé et ne connaissait strictement rien au pays.
On aurait pu penser que son expertise était basée sur une fine connaissance du moindre canton, et sur une capacité à anticiper, par exemple, l’impact sur le cours du Franc Suisse du vote de l’un d’entre eux sur le travail des étrangers, mais il n’en était rien.
Le spécialiste en bois vert
Taleb cite également un autre courtier, spécialisé lui en bois vert. Pendant des années, il pensait que le nom provenait de la couleur du bois, alors qu’en fait il désigne le fait que le bois vient d’être coupé. Malgré cette méconnaissance de base sur l’objet-même de son commerce, il avait fort bien réussi dans son métier.
Il n’y a donc pas nécessairement de relation de cause à effet entre une accumulation de connaissance technique sur un sujet et la capacité de prédire correctement. Cela peut être étonnant, mais cela s’explique facilement : si l’on reconnaît simplement que la prédiction est impossible, on comprend aisément que la connaissance, ou pas, n’y change rien.
La grande limite de Tetlock, en fait, est de travailler avec une hypothèse de continuité de l’environnement. Aucun des superforecasters, tout talentueux qu’ils soient, ne réussit face à une discontinuité. Où étaient-ils lors de l’élection américaine de 2016 ? Où étaient-ils le 11 septembre 2001 ? Lors de la crise de 2008 ? Lors l’appréciation brutale du Franc Suisse en 2015 ? Lors du Printemps Arabe ? Nulle part.
L’illusion d’échapper aux cygnes noirs
Tant que l’environnement ne change pas fondamentalement, ils peuvent effectivement améliorer leurs prédictions. Un pouillème par ci, un pouillème par là. Peut-être. Mais face à la discontinuité, ils échouent comme les autres parce que comme les autres, ils font face à une remise en question des règles empiriques qui ont régi le passé.
Au final, la croyance en l’existence de superforecasters s’avère même contre-productive car elle donne l’illusion qu’on pourra échapper aux cygnes noirs. Or il n’en est rien.
C’est une vérité difficile à admettre – nous voudrions tellement croire que notre intelligence, les quantités massives de données dont nous disposons et notre arsenal conceptuel et technologique – intelligence artificielle ! machine learning ! big data !- nous permettront enfin de contrer la nature de notre environnement, mais il n’en est rien.
Perpétuer cette croyance peut être dans l’intérêt des chercheurs et de tous ceux qui ont quelque chose à vous vendre, mais ce ne sont pas eux qui paient le prix lorsque l’accident survient. Une fois encore, et n’en déplaise à Tetlock, un monde complexe est sujet aux cygnes noirs, et ceux-ci ne sont pas prédictibles. La prédiction à la Tetlock fonctionne bien entre deux catastrophes. Ne soyez pas le dindon des superforecasters.
—
Je travaille dans la prévision. Jamais je ne prétend gérer les discontinuités ! C’est même un devoir que de mettre en garde les clients contre les événements qui viennent renversés les belles quilles soigneusement ordonnées.
Les résultats sont donc strictement statistiques et présentés comme tels. La connaissances du domaine intervient essentiellement dans la normalisation des paramètres qui améliore les banques de données et la capitalisation de l’information. Les méthodes sont éprouvées et très performantes dans un environnement stable.
Une étude de risques – les discontinuités – peut venir compléter les prévisions.
Une connaissance plus approfondie – surtout plus générale – des métiers concernés, et en particulier de l’environnement conjoncturel du projet, permet éventuellement de colorer le résultat, d’y apporter des ajustements personnels qui ne dépendent plus de la méthode mais du « génie » en propre du prévisionniste… A ses risques mais surtout aux risques de son client. Car là, ça se joue en effet à la roulette.
« Les experts sont les plus mauvais en prévisions. »
Non, pas les plus mauvais. Les meilleurs! le problème, c’est qu’on ne peut prévoir l’imprévisible. C’est pour cela que les prévisions en sciences humaines sont si souvent éloignées de la réalité, plus ou moins. Mais ne vaut-il pas mieux être borgne qu’aveugle?
Il y a plus de chances qu’un expert ayant eu raison 2 fois de suite se trompe la 3ème.
Si les experts étant autant experts, ils seraient investisseurs pour profiter de leur talent.
« …c’est qu’on ne peut prévoir l’imprévisible. »
Dit plus clairement et simplement, on ne peut pas prévoir le futur, juste faire des probabilités.
Pouvait-on prévoir que Google ou Apple allaient être les premières capitalisations mondiales. Oui certains ont misé dessus, mais ils ont aussi misé sur des canards boiteux dont on n’entend pas parlé : ils ont eu plus raison que tort.
Google etait à vendre la première année: même ses fondateurs n’y croyaient pas.
Toute boite est à vendre la première année, la 2ème, la 3ème,…., la 10ème etc…
Si l’affaire ne s’est pas faite c’est que le montant de l’offre n’a pas rencontré la demande.
L’échec des experts ne signifie pas qu’ils soient mauvais, il signifie simplement que celui qui aurait une stratégie pour tirer profit des cygnes noirs a) ne pourra pas financer sa stratégie pendant la longue période où il attend le cygne noir et sera éjecté du marché faute de gains pendant cette longue période, et b) — paraphrase moins matérialiste du a) — ne sera pas considéré comme un expert puisqu’il se trompe tout le temps quand c’est sans grand enjeu.
Les enchaînements et causalités en situation exceptionnelle n’ont rien de commun avec ce qu’ils étaient en situation de fonctionnement normal, on ne peut pas appliquer les mêmes règles, mais cela ne signifie pas qu’on ne puisse pas en appliquer d’autres (lois de probabilités à queues lourdes, par exemple). Il faut juste switcher de modèle au bon moment, ce qui n’est pas compatible avec l’exercice de prédiction tel qu’il est conçu par ceux qui interrogent l’expert.
L’article est assez flou. Il généralise tous les domaines de prédiction, et ses experts avec.
Certains problèmes sont parfaitement prédictibles et les experts y arrivent très bien avec leurs connaissances sur le sujet.
D’autre domaines pressentent parfois des événements hors norme et peuvent donc être assez difficiles a prévoir.
Enfin d’autres domaines sont juste imprévisibles.
Pour juger d’un pouvoir de prédiction il faut le tester sur l’ensemble des événements, pas seulement discontinus. De plus, si les événements sont jugés « discontinus » a posteriori, l’étude ne montre plus grand chose. Si l’expert sait détecter les événements qu’il ne sait pas prédire a priori, c’est encore mieux.
Les commentaires sont fermés.