Carton rouge et statistiques

Une mise en garde contre le jeu dur en sciences.

Partager sur:
Sauvegarder cet article
Aimer cet article 0
Wheaty FC vs Prescot Sun Reserves FC credits via Flickr ( (CC BY-NC-ND 2.0)

Promouvoir la liberté n’est pas gratuit

Mais cela peut aider à réduire vos impôts de 66%

Faites un don dès maintenant

Faire un don

Carton rouge et statistiques

Publié le 13 octobre 2015
- A +

Par Wackes Seppi.

Wheaty FC vs Prescot Sun Reserves FC credits via Flickr ( (CC BY-NC-ND 2.0)
Wheaty FC vs Prescot Sun Reserves FC credits via Flickr ( (CC BY-NC-ND 2.0)

Nous lisons dans Nature un article intitulé « Crowdsourced research : Many hands make tight work » (recherches aboutissant à la rédaction de contenus sur un modèle participatif : beaucoup de mains produisent des résultats rigoureux – traduction sans garantie aucune) de Raphael Silberzahn et Éric L. Uhlmann nous enjoignant de ne pas croire sur parole toutes les études qu’on nous livre.

Il s’agit certes de sociologie et d’études dans lesquelles le contrôle des données brutes est restreint par des contraintes sociales et matérielles. L’homme de laboratoire, en revanche, peut éliminer de nombreux biais et facteurs de confusion et concevoir son essai de manière à optimiser ses chances d’obtenir un résultat ayant un sens. Il peut aussi…

Les auteurs rapportent donc dans Nature qu’ils avaient publié un article en 2013 suggérant que les patronymes allemands à consonance « noble », comme König (roi) et Fürst (prince) étaient un bon passeport pour la carrière. Un psychologue de l’Université de Pennsylvanie, Uri Simonsohn, a repris la base de données et, lui appliquant sa propre méthode analytique, a conclu à l’absence d’avantage. Les auteurs initiaux ont dû admettre que l’analyse de Simonsohn était meilleure. Se montrant bons… princes (ce n’est pas donné à tous les chercheurs…), ils rédigèrent un commentaire à trois.

Et ils conçurent une expérience de crowdsourcing.

La couleur de la peau a-t-elle une influence sur le risque pour le joueur de se voir infliger un carton rouge dans un match de football ? Telle était la question.

On a donc constitué une base de données avec 2053 joueurs de la saison 2012/13 des championnats de première division allemand, anglais, espagnol et français. Et prié 29 équipes de chercheurs de l’exploiter à leur guise pour répondre à la question.

Résultats en bref : 20 équipes ont trouvé un lien – en grande majorité statistiquement significatif – entre couleur de peau et carton rouge. La plupart ont trouvé que les joueurs à peau sombre avaient une probabilité de se faire exclure 1,2 à 1,5 fois plus grande que les joueurs à peau claire (les joueurs avaient été rangés dans cinq classes de teint). Quatre n’ont pas trouvé de différence. Pour deux autres, la différence était largement supérieure à 2, mais avec un très grand intervalle de confiance.

Les adeptes des sciences et, plus particulièrement des statistiques, se délecteront à la lecture de la documentation disponible. Nous soulignerons quatre points.

1.  Est-ce étonnant ?

Non. Chaque équipe a abordé le problème avec sa propre vision, sa propre analyse des différents facteurs inclus dans la base de données, et ses propres outils statistiques.

2.  Quelle a été la réaction des chercheurs ?

Les équipes ont été priées de débattre des choix des uns et des autres, présentés sous forme anonymisée. Certains de ces choix ont été considérés comme moins défendables que les autres, mais il n’y a pas eu de consensus sur une méthode qui serait la plus appropriée.

Les auteurs de l’étude ont conclu qu’au final, le consensus du groupe a été beaucoup moins ferme que la conclusion qui serait attendue de l’analyse par une seule équipe.

Ils disent aussi que l’expérience les a convaincus que la réunion de beaucoup d’équipes de chercheurs expérimentés peut équilibrer les discussions, valider les résultats scientifiques (étonnant si l’on considère cette seule expérience… aucun choix particulier n’ayant été validé comme le meilleur) et mieux informer les décideurs politiques.

3.  Crowdsourcing (la rédaction de contenus sur un modèle participatif), une solution ?

C’est une démarche parmi d’autres. Mais si le contenu représente le consensus sans montrer la variabilité des approches et des résultats individuels, on aura perdu en informations.

L’exercice qui a été mené a tout de même produit un groupe de résultats qu’on peut qualifier de très homogène et en a mis d’autres en évidence, qui peuvent être considérés comme des valeurs aberrantes par rapport au groupe précité.

Les auteurs proposent une analyse nuancée :

« Dans le système actuel, les gros titres l’emportent sur les résultats peu clairs. Pire encore, une fois qu’un résultat a été publié dans un journal, il devient difficile de le contester. Les idées se figent trop rapidement, et les déraciner crée plus de perturbations qu’il n’est nécessaire. L’approche de crowdsourcing donne de l’espace aux opinions dissidentes. »

4.  Et alors ?

Il y a beaucoup de vœux pieux là-dedans. C’est à notre sens une illusion de croire qu’un mode de construction de savoirs impliquant plusieurs équipes ou plusieurs experts dans une démarche collective – démarche qui est aussi, d’une manière ou d’une autre, celle des méta-analyses, des expertises collectives, des examens par des organismes de régulation tels que l’ANSES et le HCB en France ou l’EFSA en Europe – mettra un frein à la science ou, pire, la pseudo-science militante.

Les producteurs de résultats tonitruants ne se laissent en effet pas perturber dans leurs démarches par la science orthodoxe, celle qui représente le courant dominant. Être dans la marginalité, avoir prétendument raison seul contre tous, être le défenseur incorruptible de la vérité, est en fait leur meilleur argument de vente. Et ils s’entendent, à la fois au sens de savoir y faire et de disposer des relais nécessaires dans les médias, pour faire les gros titres…

Pour le public et les décideurs politiques, la conclusion principale à tirer de cette très intéressante et très utile étude est qu’il faut faire preuve de discernement et ne pas se fier à une seule étude.

Nous ne pouvons qu’ajouter : surtout si elle provient d’une équipe sulfureuse. Et encore plus s’il s’agit d’un sujet qui reçoit un large écho dans l’opinion publique.

 

On – enfin, les gens rationnels – le savait déjà. Mais cette étude l’illustre magistralement. Que nous apprend le graphique ci-dessus (repris de Nature) ?

Les quatre premières études n’auraient jamais fait leur chemin dans les médias grand public : pas de discrimination raciale… aucun intérêt médiatique ! On peut même penser qu’elles auraient eu quelque mal à trouver une revue scientifique prête à les accueillir.

Imaginez en revanche les grands titres que permettent les deux dernières, artistiquement customisées pour les besoins de la médiatisation, pour cacher l’énorme incertitude, avec un odds ratio autour de trois… surtout au lendemain d’un match dans lequel l’arbitre aurait exclu du terrain, par une décision peut-être discutable, un joueur de couleur apprécié.

Et transposez cela dans d’autres domaines tels que les pesticides, les OGM, les perturbateurs endocriniens, les vertus du bio, les horreurs de la restauration rapide…

Sur le web

Voir les commentaires (3)

Laisser un commentaire

Créer un compte Tous les commentaires (3)
  • Article passionnant sur la.méthode scientifisue ,MAIS :
    – sur l’échantillon de 2053 joueurs, quelle répartition entre attaquants et défenseurs ? Y a-t-il autant de noirs sur chaque ligne de jeu ? Les sanctions sont-elles réparties.également entre chaque ligne ?
    – ben non. Du coups, ils peuvent remballer leurs conclusions.
    Recommencez à zéro, amis scientifiques…

    • Ou pas. Avec par exemple une régression logistique (méthode utilisée par certaines équipes de recherche d’après Nature), ce genre de répartitions inégales ne pose pas problème. Sauf évidemment si une valeur d’une variable catégorielle est extrêmement sous/sur-représentée. Auquel cas elle n’a pas certainement pas été retenue.

  • ce qui est rigolo est que une étude statistique sur les exclusions a bien peu de chance de répondre à la question
    La couleur de la peau a-t-elle une influence sur le risque pour le joueur de se voir infliger un carton rouge dans un match de football ? Telle était la question.

    imaginez une question inverse la couleur de peau augmente elle le risque qu’un joueur commette une faute entraînant son exclusion?

    Il me semble évident que ce genre de question exige une analyse au cas par cas voire un revisionnage des matchs et un « réarbitrage »..pour comptabiliser la seule différence qui importe soit une injustice circonstancielle dans une décision particulière.
    Je sais que ce n’est pas le cœur de la question abordée par l’article..mais bon…

  • Les commentaires sont fermés.

Promouvoir la liberté n’est pas gratuit

Mais cela peut aider à réduire vos impôts de 66%

Faites un don dès maintenant

Faire un don

Le pouvoir d’achat, qui a été au cœur de la campagne présidentielle, est-il un indicateur statistique fiable ? Deux auteurs, l’un plutôt inspiré par Marx et l’autre par Bastiat, se rejoignent pour critiquer la manière dont l’Insee calcule le niveau de vie des Français. Dans son essai sur la Lutte des classes en France au XXIe siècle Emmanuel Todd reprend la critique adressée par l’économiste libéral Philippe Herlin au mode de calcul du pouvoir d’achat des Français formulé par le célèbre institut étatique[1. Philippe Herlin, Pouvoir d’achat, L... Poursuivre la lecture

Jeudi dernier, le gouvernement annonçait triomphalement que le nombre de chômeurs (catégorie A, sans activité) avait enregistré en France une nouvelle forte baisse de 5 % au premier trimestre 2022 par rapport au trimestre précédent. 169 100 personnes en moins se sont inscrites à Pôle Emploi, ce qui porte le nombre de chômeurs en catégorie A (celle sur laquelle communique le ministère du Travail) en France à 3,193 millions.

Si on regarde de manière plus granulaire les chiffres, en incluant les catégories B et C, la baisse n’est plus que... Poursuivre la lecture

Par Thomas Renault.

[caption id="attachment_210426" align="aligncenter" width="640"] baby-foot d'extérieur credits frederic Bisson via Flickr ((CC BY 2.0)[/caption]

Il y a quelques temps, le génie John Nash, prix Nobel d'économie 1994, a perdu la vie avec sa femme Alicia dans un accident de voiture. Si vous ne connaissez pas la vie de John Nash, je ne peux que vous conseiller de regarder au plus vite le film A Beautiful Mind (Un homme d'exception en français), oscar du meilleur film en 2002. John Nash était un mathématicien bien... Poursuivre la lecture

Voir plus d'articles