Nate Silver, prévisionniste extraordinaire et inutile

Pourquoi autant de prédictions échouent-elles ? Parce que les experts ne reconnaissent pas l’étendue de leur ignorance. Exemple avec Nate Silver

Par Philippe Silberzahn.

Dans un article précédent j’évoquais les travaux du chercheur Philip Tetlock sur les capacités prédictives des experts, et en particulier sur ce qu’il nomme les superforecasters, une catégorie de personnes dont les capacités en matière de prédiction sont supérieures à celles des autres. J’indiquais mon scepticisme en la matière. Regardons le cas de l’un d’entre eux, le célèbre prévisionniste américain Nate Silver.

Qui est Nate Silver ?

Nate Silver est un bon exemple de superforecaster professionnel. Silver est un statisticien américain spécialisé dans les sports et les élections. Il est connu pour avoir prédit les résultats des élections de 2008 (présidentielles et sénatoriales) avec une grande précision. Il a instantanément atteint le statut de gourou. Il est l’apôtre de l’utilisation des mégadonnées (Big Data). Il a écrit un ouvrage passionnant, très riche et pourtant très facile à lire, sur son travail de prédiction : The Signal and the Noise. Silver y décortique nombre d’exemples dans les domaines sportifs et politiques, mais aussi en économie, et explique son approche.

Malgré son statut de gourou, on y découvre un auteur relativement modeste sur son travail. Il admet qu’en tant que statisticien, notamment après la crise de 2008, il connaît bien moins le monde qu’il ne le pensait. Il reconnaît que de nombreuses prédictions ont échoué et cherche à comprendre comment on peut les améliorer. Ce faisant, il rejoint Tetlock en restant fermement dans un paradigme prédictif qu’il cherche à améliorer.

En substance, son ouvrage se résume de la façon suivante : « On a foiré plein de prédictions, désolé pour ça, mais on va améliorer notre technique, ne quittez pas. » Ou, pour paraphraser la ferme des animaux, « Nous allons travailler plus dur ». La foi en la technique reste la plus forte, le marteau continue de s’abattre avec acharnement sur la vis. Finalement, après 420 pages passionnantes, c’est le cri du cœur. Silver écrit, après avoir été invité à une conférence sur le terrorisme en 2008 :

Franchement, les méthodes que j’ai présentées à la conférence n’étaient probablement pas très utiles pour l’analyse de la sécurité nationale. Le baseball et la politique sont des champs riches en données qui fournissent des réponses satisfaisantes. Des milliers de jeux de baseball sont joués chaque année. Les élections ont lieu moins souvent-et elles nécessitent un peu plus de prudence à prédire- mais il y a des centaines de sondages publiés durant chaque campagne présidentielle. Toutes ces données sont disponibles publiquement, gratuitement ou à prix modique. Le terrorisme, semble-t-il, n’est pas du tout comme cela. 

Cette citation est intéressante à plus d’un titre. D’une part il reconnaît que sorti d’un domaine relativement linéaire et ouvert, sa technique ne s’applique plus. Dit autrement, dès qu’il y a de l’incertitude, il n’a plus grand chose à proposer et son approche ne fonctionne donc que tant qu’il n’y a pas de cygne noir, c’est-à-dire de surprise. Va pour les matches de Baseball, mais pour le terrorisme ou l’économie, passez votre chemin. L’aveu de Silver, qui est tout à son honneur, est évidemment essentiel. Un statisticien fameux reconnaît que la prédiction est impossible en situation d’incertitude.

Prévoir l’imprévisible ?

D’ailleurs, il sous-titre ainsi son ouvrage, dans un aveu involontaire des risques de son métier : « Pourquoi autant de prédictions échouent mais pas toutes. » Réponse : le hasard, peut-être ? Après tout, en multipliant les prédictions, on doit bien finir par en avoir une ou deux de bonnes… L’économiste Bernard Cazes évoque à ce sujet le principe important de « non-compensation » selon lequel les succès d’un prévisionniste ne sauraient compenser ses échecs, car en supposant qu’une même méthode ait servi plusieurs fois, elle devrait engendrer des résultats d’une qualité comparable, tandis que la présence d’erreurs amène à se demander si les réussites ne sont pas fortuites.

D’autre part, Silver écrit sans hésiter que pour lui, la politique entre dans le champ des phénomènes prévisibles. C’est stupéfiant. Ça l’était déjà en 2008 mais quand on sait ce qui s’est passé en 2016, où avec sa belle technique il est passé totalement à côté du phénomène Trump, c’est proprement affligeant.

On est exactement dans le cas d’un expert qui n’arrive pas à définir correctement le domaine de validité de son expertise. Il se trompe sur l’ontologie de son domaine et sur l’épistémologie de son art. Il ne suffit pas de reconnaître que la prévision ne fonctionne pas en incertitude ; il faut aussi reconnaître que l’incertitude s’applique à un domaine bien plus vaste de l’action humaine qu’on aimerait le croire, et admettre que le sien en fait bien partie.

On voit bien que même pour des experts aussi avertis que Silver, l’exercice reste difficile. Attendez-vous encore à de nombreux cygnes noirs à l’avenir.

Sur le web