Par Philippe Silberzahn.
Le domaine de la prédiction est le bûcher des vanités, mais cela semble particulièrement le cas pour les experts. C’est en tout cas ce que montrent les travaux très originaux d’un chercheur américain, Philip Tetlock. Il montre que les experts se trompent plus que les généralistes, et plus encore que… des chimpanzés lançant des fléchettes au hasard ! Regardons pourquoi.
Face à une discontinuité, les experts ont tendance à se tromper plus que les non-experts. Le chercheur Philip Tetlock a, à ce sujet, mené des expériences tout à fait intrigantes.
Il a notamment mené un gros projet durant lequel il a demandé à un groupe d’experts de faire des prévisions sur plusieurs indicateurs (PIB, inflation, etc.) pendant plusieurs années. Au total un projet massif recensant 150.000 prédictions faites par 743 experts portant sur 199 événements mondiaux.
Des flèches et des chimpanzés
Il a parallèlement demandé à un groupe de chimpanzés de lancer des flèches sur les réponses possibles. Au final, les chimpanzés ont obtenu de meilleurs résultats que les experts ! Même des algorithmes relativement simples ont obtenu de meilleurs résultats que les experts.
Pourquoi les experts se trompent-ils plus que les généralistes face à une discontinuité ? Il y a plusieurs raisons. Premièrement parce que leur expertise, par définition, repose sur les connaissances du passé, de ce qui a marché précédemment. Le prospectiviste Bertrand de Jouvenel notait ainsi : « Le technicien est souvent l’homme du passé, et une méthode éprouvée est souvent une méthode révolue ou sur le point de l’être ». Par définition, une discontinuité remet en question ce qui a fonctionné jusque-là, et donc de facto le savoir de l’expert.
Les limites de l’expertise
Deuxièmement parce que la discontinuité surgit par définition en dehors du cadre d’expertise. L’expert ne la voit donc pas, du moins initialement, et lorsqu’il la voit, peut avoir tendance à ne pas la prendre au sérieux.
Ainsi en 1876, un spécialiste du télégraphe regardera les balbutiements du téléphone, qui au début était de très mauvaise qualité et n’allait pas au-delà de quelques centaines de mètres, avec une bonne dose de scepticisme.
C’est ce qui explique que Western Union, grand opérateur du télégraphe aux États-Unis au siècle dernier ait déclaré à cette époque, à son propos : « Ce ‘téléphone’ a trop de limitations pour être sérieusement considéré comme un moyen de communication. »
Le domaine restreint de l’expert
Troisièmement parce que l’expert est compétent sur un domaine forcément restreint. C’est la condition de sa compétence. Plus il est expert, plus son domaine est restreint, et plus il s’expose à une discontinuité. La compréhension d’une discontinuité nécessite au contraire non seulement une ouverture, c’est-à-dire penser au-delà du cadre actuel, mais aussi une compétence plus générale permettant de relier entre eux des domaines a priori séparés. Tetlock oppose ainsi les hérissons et les renards, reprenant une distinction faite par l’écrivain Isaiah Berlin. Un hérisson ne connaît qu’une seule grande chose tandis qu’un renard connaît plein de petites choses.
Selon Tetlock, les hérissons intellectuellement agressifs connaissent une grande chose et cherchent, sous la bannière de la parcimonie, à étendre le pouvoir explicatif de cette grande chose et à ‘couvrir’ les nouveaux cas ; ils se trompent plus souvent. Au contraire, les renards sont plus éclectiques.
Ils connaissaient beaucoup de petites choses et se contentent d’improviser des solutions ad hoc pour suivre le rythme d’un monde en évolution rapide. Ils réussissent mieux à prédire.
Nécessité d’une connaissance généraliste
Les recherches de Tetlock sont donc une incitation à développer une connaissance généraliste horizontale, mieux à même de connecter des domaines inattendus, plutôt qu’une expertise verticale qui s’enferme rapidement et s’applique de manière forcée à des domaines où elle n’est pas pertinente.
Quatrièmement, parce que les experts ont plus confiance en eux que les non-experts. Les recherches en psychologie ont montré qu’un surcroît d’information ne modifie pas un jugement initial, mais renforce la confiance que l’on a dans ce jugement. Ceci est valable même si l’information est contradictoire avec ce jugement. Ainsi, les médecins ayant plus confiance en eux tendent à se tromper davantage.
Cinquièmement, parce que les experts ont beaucoup à perdre d’une discontinuité qui rendra obsolète leur savoir. Elle est donc difficile à envisager intellectuellement mais aussi émotionnellement. Dit autrement, les dindes votent rarement pour Noël.
Au final, Tetlock explique bien pourquoi les experts se trompent plus que les généralistes. Il reste que son hypothèse implicite, qui est que la qualité de la prédiction est une question de personnalité et de méthode, et qu’elle est donc améliorable, reste largement contestable. J’explorerai cette question dans un prochain article.
—
Il y a eu la même étude sur la prédiction de cours d’action. La conclusion n’est pas que les acteurs de marché sont moins compétents qu’un singe, mais plutôt que le marché est mur et tend vers l’efficience. Et un marché efficient n’est pas prédictible.
Dans cet article il y a aussi un biais de construction car il faut définir précisément ce qu’est la « discontinuité » afin de sélectionner le sous ensemble des événements sélectionnés.
Ca se mord la queue. C’est de l’analyse backward. Car si on s’intéresse juste aux « discontinuités », et que l’on regarde a posteriori les prévisions qui ont été faites, on ne prouve pas grand chose.. car on se focus seulement sur la toute petite proportion des événements « discontinus », en ignorant tous les événements « continus » prédis par les experts.
Le fait que les singes (ou tirage aléatoire de dés) réussissent mieux n’implique pas réussissent et qu’ils arrivent a le prédire, loin de la.
En gros, on prouve que les experts se trompent dans leurs prédictions lorsqu’il y a des événements imprédictibles 🙂
La discontinuité, telle qu’abordée par l’auteur, concerne généralement l’innovation de rupture , celle où un modèle d’affaire prend la place d’un autre : Amazon vs La Redoute, la photo numérique vs l’argentique, Uber vs les taxis.
Oui, de deux choses l’une : celui qui est à l’origine de la rupture, si on en parle c’est qu’il a réussi, sinon on n’en entendra jamais parler, ni avant, ni après et il y a donc un biais de perception.
S’il a réussi, c’est contre l’opérateur ou le leader du marché et donc contre celui qu’on considère comme l’expert.
Et ce dont on entendra parler c’est surtout de celui qui, étant dans la place, a foiré : cf Kodak, celui qui était pourtant l’expert.
Le PDG de France Telecom dans les années 90’s avait dit haut et fort qu’Internet resterait une console de jeu et de divertissement et n’aurait jamais aucun avenir dans le domaine commercial car pas assez robuste : seule sa position monopolistique l’a sauvé, car dans un marché ouvert il aurait sauté comme Kodak.
Stiglitz, prix Nobel d’économie, avait assuré en 2002 que « on the basis of historical experience, the risk to the government from a potential default on GSE debt is effectively zero. »
(GSE = Government Sponsored Entreprises = Fannie Mae et Freddie Mac qui sont à l’origine de la crise des subprimes)
Personne ne doutera que le blocage des prix a de tout temps été certes une décision politique, mais soutenue par des experts en économie : pourtant tous les blocages des prix ont toujours foiré.
Les experts ont trop souvent une position dogmatique assise sur le ou leur savoir du moment, sans même pouvoir envisager que le problème auquel ils font face puisse être résolu par des solutions en dehors de leur domaine de compétence.
En 1995 il était impensable de pouvoir faire circuler sur une paire de cuivre des informations à une vitesse supérieure à celle d’un minitel (1.2kb/s en réception) ou d’un fax (9.6kb/s)… et pourtant, sur cette même paire de cuivre ces infos circulent chez moi à 12Mb/s soit près de 10,000 fois plus rapidement qu’avec le Minitel. La solution n’est pas venue que des électroniciens mais des informaticiens avec les systèmes de correction d’erreurs. Un pur électronicien, un expert, aurait dit que c’était impossible.
De fait je pense plutôt que les experts se trompent, pas parce que les événement sont imprédictibles (je reprends le terme de l’auteur mais je préfère imprévisible), mais parce qu’ils se regardent un peu trop le nombril et lisent leurs propres bouquins.
Dire que les événements sont imprédictibles, c’est nier que celui qui travaille sur un nouveau modèle puisse avoir raison : s’il a une chance de réussir, ce n’est pas imprédictible.
Ceux qui ont parié sur le foirage des subprimes prouvent que l’événement était prédictible, idem pour ceux qui ont parié sur la photo numérique.
C’est d’ailleurs le rôle des assurances de prévoir s’il y a ou non un risque qu’une prédiction (une prévision) se réalise ou pas : s’il y a une probabilité de même 0.001 c’était prévisible.
La discontinuité, telle qu’abordée par l’auteur, concerne généralement l’innovation de rupture , celle où un modèle d’affaire prend la place d’un autre : Amazon vs La Redoute, la photo numérique vs l’argentique, Uber vs les taxis.
@ Melissa H
Non, la comparaison avec les chimpanzés signifie que les prévisions des experts, ici économistes, ne doivent pas être crus: ils expliquent sans doute bien le passé sans pouvoir, pour autant, prédire l’avenir.
D’autres experts, à force de chercher et de sélectionner des éléments intervenant dans la « prévision » y arrivent mieux qu’il y a quelques années: c’est le cas, semble-t-il, de la météorologie.
@ Melissa H
Je ne parle évidemment pas de la climatologie!
Merci pour cet article fort intéressant.
et pourtant on ne peut que penser aux prédictions climatiques qui se sont toutes avérées fausse car basées sur des modèles construits sur les connaissances du passé.
suite
alors que la discontinuité des évènements climatiques. est totale et permanente.
Les commentaires sont fermés.