Nate Silver, prévisionniste extraordinaire et inutile

Pourquoi autant de prédictions échouent-elles ? Parce que les experts ne reconnaissent pas l’étendue de leur ignorance. Exemple avec Nate Silver

Partager sur:
Sauvegarder cet article
Aimer cet article 0

Promouvoir la liberté n’est pas gratuit

Mais cela peut aider à réduire vos impôts de 66%

Faites un don dès maintenant

Faire un don

Nate Silver, prévisionniste extraordinaire et inutile

Publié le 29 août 2017
- A +

Par Philippe Silberzahn.

Dans un article précédent j’évoquais les travaux du chercheur Philip Tetlock sur les capacités prédictives des experts, et en particulier sur ce qu’il nomme les superforecasters, une catégorie de personnes dont les capacités en matière de prédiction sont supérieures à celles des autres. J’indiquais mon scepticisme en la matière. Regardons le cas de l’un d’entre eux, le célèbre prévisionniste américain Nate Silver.

Qui est Nate Silver ?

Nate Silver est un bon exemple de superforecaster professionnel. Silver est un statisticien américain spécialisé dans les sports et les élections. Il est connu pour avoir prédit les résultats des élections de 2008 (présidentielles et sénatoriales) avec une grande précision. Il a instantanément atteint le statut de gourou. Il est l’apôtre de l’utilisation des mégadonnées (Big Data). Il a écrit un ouvrage passionnant, très riche et pourtant très facile à lire, sur son travail de prédiction : The Signal and the Noise. Silver y décortique nombre d’exemples dans les domaines sportifs et politiques, mais aussi en économie, et explique son approche.

Malgré son statut de gourou, on y découvre un auteur relativement modeste sur son travail. Il admet qu’en tant que statisticien, notamment après la crise de 2008, il connaît bien moins le monde qu’il ne le pensait. Il reconnaît que de nombreuses prédictions ont échoué et cherche à comprendre comment on peut les améliorer. Ce faisant, il rejoint Tetlock en restant fermement dans un paradigme prédictif qu’il cherche à améliorer.

En substance, son ouvrage se résume de la façon suivante : « On a foiré plein de prédictions, désolé pour ça, mais on va améliorer notre technique, ne quittez pas. » Ou, pour paraphraser la ferme des animaux, « Nous allons travailler plus dur ». La foi en la technique reste la plus forte, le marteau continue de s’abattre avec acharnement sur la vis. Finalement, après 420 pages passionnantes, c’est le cri du cœur. Silver écrit, après avoir été invité à une conférence sur le terrorisme en 2008 :

Franchement, les méthodes que j’ai présentées à la conférence n’étaient probablement pas très utiles pour l’analyse de la sécurité nationale. Le baseball et la politique sont des champs riches en données qui fournissent des réponses satisfaisantes. Des milliers de jeux de baseball sont joués chaque année. Les élections ont lieu moins souvent-et elles nécessitent un peu plus de prudence à prédire- mais il y a des centaines de sondages publiés durant chaque campagne présidentielle. Toutes ces données sont disponibles publiquement, gratuitement ou à prix modique. Le terrorisme, semble-t-il, n’est pas du tout comme cela. 

Cette citation est intéressante à plus d’un titre. D’une part il reconnaît que sorti d’un domaine relativement linéaire et ouvert, sa technique ne s’applique plus. Dit autrement, dès qu’il y a de l’incertitude, il n’a plus grand chose à proposer et son approche ne fonctionne donc que tant qu’il n’y a pas de cygne noir, c’est-à-dire de surprise. Va pour les matches de Baseball, mais pour le terrorisme ou l’économie, passez votre chemin. L’aveu de Silver, qui est tout à son honneur, est évidemment essentiel. Un statisticien fameux reconnaît que la prédiction est impossible en situation d’incertitude.

Prévoir l’imprévisible ?

D’ailleurs, il sous-titre ainsi son ouvrage, dans un aveu involontaire des risques de son métier : « Pourquoi autant de prédictions échouent mais pas toutes. » Réponse : le hasard, peut-être ? Après tout, en multipliant les prédictions, on doit bien finir par en avoir une ou deux de bonnes… L’économiste Bernard Cazes évoque à ce sujet le principe important de « non-compensation » selon lequel les succès d’un prévisionniste ne sauraient compenser ses échecs, car en supposant qu’une même méthode ait servi plusieurs fois, elle devrait engendrer des résultats d’une qualité comparable, tandis que la présence d’erreurs amène à se demander si les réussites ne sont pas fortuites.

D’autre part, Silver écrit sans hésiter que pour lui, la politique entre dans le champ des phénomènes prévisibles. C’est stupéfiant. Ça l’était déjà en 2008 mais quand on sait ce qui s’est passé en 2016, où avec sa belle technique il est passé totalement à côté du phénomène Trump, c’est proprement affligeant.

On est exactement dans le cas d’un expert qui n’arrive pas à définir correctement le domaine de validité de son expertise. Il se trompe sur l’ontologie de son domaine et sur l’épistémologie de son art. Il ne suffit pas de reconnaître que la prévision ne fonctionne pas en incertitude ; il faut aussi reconnaître que l’incertitude s’applique à un domaine bien plus vaste de l’action humaine qu’on aimerait le croire, et admettre que le sien en fait bien partie.

On voit bien que même pour des experts aussi avertis que Silver, l’exercice reste difficile. Attendez-vous encore à de nombreux cygnes noirs à l’avenir.

Sur le web

Voir les commentaires (6)

Laisser un commentaire

Créer un compte Tous les commentaires (6)
  • il y a beaucoup de prévisionnistes donc il y a presque toujours des prévisionnistes qui prévoient juste et accèdent au rang de gourou.. d’ou la nécessité d’une méthode pour détecter les bons prévisionnistes..
    un prévisionniste devrait pouvoir vous prouver que sa méthode est juste… ce qui est très différent de constater qu’elle a « marché », ça revient à dire d’a’voir trouver des « causes »..

    • Il faut donc des prévisionnistes de prévisionnistes, qui prévoient si les prévisions seront justes.

      • C’est un peu ça. C’est une loi bien connue des statistiques, mettons qu’il faut environ 30 observations pour estimer précisément la moyenne d’un phénomène, il en faut le carré, soit 1000, pour estimer la variance, donc l’incertitude sur la dite moyenne. Pour estimer le risque de cygne noir, il faut aller au moment d’ordre 4, soit au million de réalisations. Faute donc d’un million d’élections, on ne pourra pas dire si la prévision du prévisionniste de prévisionniste sera digne de confiance…

  • Nate Silver est très méthodique.
    Sans en revenir à ses méthodes, d’avoir consulté son site régulièrement durant la dernière élection présidentielle US, j’ai pu constater qu’il fini par faire des courbes avec celles des sondages publiés pour en montrer comme une dynamique logique – une sorte d’inertie – qui conduit leur évolution. Les événements, les débats, les controverses, les discours des candidats, durant la campagne amenant des accélérations ou des ralentissements, certes, mais au final jamais des points de rebroussements ou des hiatus ne sont envisagés. Il semble que les opinions se sont retournées très tardivement avec une désertion des pro-Clinton pour leur candidate. Sont-ce les dernières révélations mises en ligne par Wikileaks ? La révélation de ses tricheries lors de deux des 3 débats ? Autres ? Toujours est-il que les sondages sur lesquels était construite la prévision de Nate Silver se sont avérés bien inutiles et pour partie frappés de caducité. L’emballement des informations de dernières minutes ne cadrant plus avec le propre rythme de sondage et de leur publication ?
    Je ne crois pas avoir encore lu une véritable analyse des raisons de ce basculement en faveur de Trump. Et ce n’est pas le dernier livre de Hillary qui va y apporter un quelconque éclairage pertinent ! Il devrait plutôt faire entrevoir les raisons qui ont conduit certains de ses partisans à se détourner d’elle en raison de sa personnalité revêche et caractérielle…

    • « Je ne crois pas avoir encore lu une véritable analyse des raisons de ce basculement en faveur de Trump. »

      Peut-être avez vous lu des explications qui ne vous conviennent pas ?

  • Les meilleurs prévisionistes sont ceux qui se posent en objet de la prévision, et qui tiennent bon la rampe. Exemple récent, Donald Trump, qui a mis le paquet pour arriver au but. Mais aussi notre Président, Emmanuel Macron.

  • Les commentaires sont fermés.

Promouvoir la liberté n’est pas gratuit

Mais cela peut aider à réduire vos impôts de 66%

Faites un don dès maintenant

Faire un don

L’incertitude est anxiogène à de nombreux égards et souvent à juste titre.

Définie comme l’absence d’information au sujet d’un phénomène donné, elle signifie souvent qu’on ne sait pas à quoi s’attendre, laissant la porte ouverte aux mauvaises surprises – perte d’emploi, maladie, accident, guerre, etc. et nous laissant désemparés. Car la crainte principale liée à l’incertitude est celle de la perte de contrôle où on ne peut plus rien prévoir ni planifier. Mais cette crainte repose sur une croyance qui est que seule la prédiction permet ... Poursuivre la lecture

Le pouvoir d’achat, qui a été au cœur de la campagne présidentielle, est-il un indicateur statistique fiable ? Deux auteurs, l’un plutôt inspiré par Marx et l’autre par Bastiat, se rejoignent pour critiquer la manière dont l’Insee calcule le niveau de vie des Français. Dans son essai sur la Lutte des classes en France au XXIe siècle Emmanuel Todd reprend la critique adressée par l’économiste libéral Philippe Herlin au mode de calcul du pouvoir d’achat des Français formulé par le célèbre institut étatique[1. Philippe Herlin, Pouvoir d’achat, L... Poursuivre la lecture

La prise de décision en incertitude est un art difficile. L’une des raisons est que dans leur grande majorité, les outils et les concepts que nous utilisons sont ceux du risque, c’est-à-dire propres aux situations répétées. Ils considèrent l’incertitude comme quelque chose dont il faut se protéger. Ce modèle mental de la protection, qui semble si logique, se révèle en fait contre-productif. Et si, au contraire, il fallait se garder de (trop) se protéger de l’incertitude ?

Ce cadre d’une grande entreprise industrielle ne décolère pas. D... Poursuivre la lecture

Voir plus d'articles