Nate Silver, prévisionniste extraordinaire et inutile

Pourquoi autant de prédictions échouent-elles ? Parce que les experts ne reconnaissent pas l’étendue de leur ignorance. Exemple avec Nate Silver

Partager sur:
Sauvegarder cet article
Aimer cet article 0

La liberté d’expression n’est pas gratuite!

Mais déductible à 66% des impôts

N’oubliez pas de faire un don !

Faire un don

Nate Silver, prévisionniste extraordinaire et inutile

Publié le 29 août 2017
- A +

Par Philippe Silberzahn.

Dans un article précédent j’évoquais les travaux du chercheur Philip Tetlock sur les capacités prédictives des experts, et en particulier sur ce qu’il nomme les superforecasters, une catégorie de personnes dont les capacités en matière de prédiction sont supérieures à celles des autres. J’indiquais mon scepticisme en la matière. Regardons le cas de l’un d’entre eux, le célèbre prévisionniste américain Nate Silver.

Qui est Nate Silver ?

Nate Silver est un bon exemple de superforecaster professionnel. Silver est un statisticien américain spécialisé dans les sports et les élections. Il est connu pour avoir prédit les résultats des élections de 2008 (présidentielles et sénatoriales) avec une grande précision. Il a instantanément atteint le statut de gourou. Il est l’apôtre de l’utilisation des mégadonnées (Big Data). Il a écrit un ouvrage passionnant, très riche et pourtant très facile à lire, sur son travail de prédiction : The Signal and the Noise. Silver y décortique nombre d’exemples dans les domaines sportifs et politiques, mais aussi en économie, et explique son approche.

Malgré son statut de gourou, on y découvre un auteur relativement modeste sur son travail. Il admet qu’en tant que statisticien, notamment après la crise de 2008, il connaît bien moins le monde qu’il ne le pensait. Il reconnaît que de nombreuses prédictions ont échoué et cherche à comprendre comment on peut les améliorer. Ce faisant, il rejoint Tetlock en restant fermement dans un paradigme prédictif qu’il cherche à améliorer.

En substance, son ouvrage se résume de la façon suivante : « On a foiré plein de prédictions, désolé pour ça, mais on va améliorer notre technique, ne quittez pas. » Ou, pour paraphraser la ferme des animaux, « Nous allons travailler plus dur ». La foi en la technique reste la plus forte, le marteau continue de s’abattre avec acharnement sur la vis. Finalement, après 420 pages passionnantes, c’est le cri du cœur. Silver écrit, après avoir été invité à une conférence sur le terrorisme en 2008 :

Franchement, les méthodes que j’ai présentées à la conférence n’étaient probablement pas très utiles pour l’analyse de la sécurité nationale. Le baseball et la politique sont des champs riches en données qui fournissent des réponses satisfaisantes. Des milliers de jeux de baseball sont joués chaque année. Les élections ont lieu moins souvent-et elles nécessitent un peu plus de prudence à prédire- mais il y a des centaines de sondages publiés durant chaque campagne présidentielle. Toutes ces données sont disponibles publiquement, gratuitement ou à prix modique. Le terrorisme, semble-t-il, n’est pas du tout comme cela. 

Cette citation est intéressante à plus d’un titre. D’une part il reconnaît que sorti d’un domaine relativement linéaire et ouvert, sa technique ne s’applique plus. Dit autrement, dès qu’il y a de l’incertitude, il n’a plus grand chose à proposer et son approche ne fonctionne donc que tant qu’il n’y a pas de cygne noir, c’est-à-dire de surprise. Va pour les matches de Baseball, mais pour le terrorisme ou l’économie, passez votre chemin. L’aveu de Silver, qui est tout à son honneur, est évidemment essentiel. Un statisticien fameux reconnaît que la prédiction est impossible en situation d’incertitude.

Prévoir l’imprévisible ?

D’ailleurs, il sous-titre ainsi son ouvrage, dans un aveu involontaire des risques de son métier : « Pourquoi autant de prédictions échouent mais pas toutes. » Réponse : le hasard, peut-être ? Après tout, en multipliant les prédictions, on doit bien finir par en avoir une ou deux de bonnes… L’économiste Bernard Cazes évoque à ce sujet le principe important de « non-compensation » selon lequel les succès d’un prévisionniste ne sauraient compenser ses échecs, car en supposant qu’une même méthode ait servi plusieurs fois, elle devrait engendrer des résultats d’une qualité comparable, tandis que la présence d’erreurs amène à se demander si les réussites ne sont pas fortuites.

D’autre part, Silver écrit sans hésiter que pour lui, la politique entre dans le champ des phénomènes prévisibles. C’est stupéfiant. Ça l’était déjà en 2008 mais quand on sait ce qui s’est passé en 2016, où avec sa belle technique il est passé totalement à côté du phénomène Trump, c’est proprement affligeant.

On est exactement dans le cas d’un expert qui n’arrive pas à définir correctement le domaine de validité de son expertise. Il se trompe sur l’ontologie de son domaine et sur l’épistémologie de son art. Il ne suffit pas de reconnaître que la prévision ne fonctionne pas en incertitude ; il faut aussi reconnaître que l’incertitude s’applique à un domaine bien plus vaste de l’action humaine qu’on aimerait le croire, et admettre que le sien en fait bien partie.

On voit bien que même pour des experts aussi avertis que Silver, l’exercice reste difficile. Attendez-vous encore à de nombreux cygnes noirs à l’avenir.

Sur le web

Voir les commentaires (6)

Laisser un commentaire

Créer un compte Tous les commentaires (6)
  • il y a beaucoup de prévisionnistes donc il y a presque toujours des prévisionnistes qui prévoient juste et accèdent au rang de gourou.. d’ou la nécessité d’une méthode pour détecter les bons prévisionnistes..
    un prévisionniste devrait pouvoir vous prouver que sa méthode est juste… ce qui est très différent de constater qu’elle a « marché », ça revient à dire d’a’voir trouver des « causes »..

    • Il faut donc des prévisionnistes de prévisionnistes, qui prévoient si les prévisions seront justes.

      • C’est un peu ça. C’est une loi bien connue des statistiques, mettons qu’il faut environ 30 observations pour estimer précisément la moyenne d’un phénomène, il en faut le carré, soit 1000, pour estimer la variance, donc l’incertitude sur la dite moyenne. Pour estimer le risque de cygne noir, il faut aller au moment d’ordre 4, soit au million de réalisations. Faute donc d’un million d’élections, on ne pourra pas dire si la prévision du prévisionniste de prévisionniste sera digne de confiance…

  • Nate Silver est très méthodique.
    Sans en revenir à ses méthodes, d’avoir consulté son site régulièrement durant la dernière élection présidentielle US, j’ai pu constater qu’il fini par faire des courbes avec celles des sondages publiés pour en montrer comme une dynamique logique – une sorte d’inertie – qui conduit leur évolution. Les événements, les débats, les controverses, les discours des candidats, durant la campagne amenant des accélérations ou des ralentissements, certes, mais au final jamais des points de rebroussements ou des hiatus ne sont envisagés. Il semble que les opinions se sont retournées très tardivement avec une désertion des pro-Clinton pour leur candidate. Sont-ce les dernières révélations mises en ligne par Wikileaks ? La révélation de ses tricheries lors de deux des 3 débats ? Autres ? Toujours est-il que les sondages sur lesquels était construite la prévision de Nate Silver se sont avérés bien inutiles et pour partie frappés de caducité. L’emballement des informations de dernières minutes ne cadrant plus avec le propre rythme de sondage et de leur publication ?
    Je ne crois pas avoir encore lu une véritable analyse des raisons de ce basculement en faveur de Trump. Et ce n’est pas le dernier livre de Hillary qui va y apporter un quelconque éclairage pertinent ! Il devrait plutôt faire entrevoir les raisons qui ont conduit certains de ses partisans à se détourner d’elle en raison de sa personnalité revêche et caractérielle…

    • « Je ne crois pas avoir encore lu une véritable analyse des raisons de ce basculement en faveur de Trump. »

      Peut-être avez vous lu des explications qui ne vous conviennent pas ?

  • Les meilleurs prévisionistes sont ceux qui se posent en objet de la prévision, et qui tiennent bon la rampe. Exemple récent, Donald Trump, qui a mis le paquet pour arriver au but. Mais aussi notre Président, Emmanuel Macron.

  • Les commentaires sont fermés.

La liberté d’expression n’est pas gratuite!

Mais déductible à 66% des impôts

N’oubliez pas de faire un don !

Faire un don

Par Frank Shostak.

La statistique du PIB reflète l'idée que le facteur clé de la croissance économique n'est pas la production de richesses mais plutôt leur consommation. Il s'agit plutôt d'un calcul de la valeur des biens et services finaux produits pendant un intervalle de temps donné, généralement un trimestre ou une année. Comme les dépenses de consommation représentent la plus grande partie de la demande globale, de nombreux commentateurs estiment que les dépenses de consommation sont le principal moteur de la croissance économiqu... Poursuivre la lecture

Le fait que la rubrique "logement" figure dans l'indice harmonisé des prix à la consommation pourrait nous amener à croire que les prix de l'immobilier sont pris en compte dans les statistiques officielles de l'inflation.

Or, ce n'est pas le cas.

Au lieu de cela, seuls les loyers sont pris en compte dans l'indice. La raison en est que l'immobilier est considéré comme un bien d'investissement, ou un bien de consommation à long terme. Seule une partie de... Poursuivre la lecture

Outre les effets de substitution dans le comportement des consommateurs, l'une des principales sources de distorsion dans la mesure de l'inflation est le changement de qualité des biens et des services.

 

Au-delà du prix, l'importance de la qualité

Les changements de qualité sont subjectifs.

Pour l'un, par exemple, le passage au self-service et aux caisses automatiques est une bénédiction. On gagne du temps, du moins si l'on sait comment utiliser les automates, et il n'est plus indispensable de communiquer avec d'aut... Poursuivre la lecture

Voir plus d'articles