Tests, masques, chloroquine, vaccins et vérité

Photo by Anton on Unsplash — Anton ,

Où l’on voit qu’il est plus facile de critiquer en rejetant les méta-analyses en bloc que d’élaborer un argumentaire.

Par Philippe Lacoude.

Ces dernières semaines, la France avait entre 20 000 et 60 000 nouveaux cas de Covid-19 par jour. Les patients sont porteurs de la maladie pendant 2 à 3 semaines. On ne détecte pas tous les cas, loin de là. Au pic du 8 novembre, environ 1 Français sur 50 était donc infecté. Peut-être plus, peut-être moins. Peu importe. Gardons cet ordre de grandeur en tête.

Brève remarque sur les tests

Un matin, Mr. Dupont se lève avec un peu de fièvre. Son médecin généraliste ordonne un test PCR et lui dit que « le test est très fiable » et qu’« il identifie correctement 99 % des patients qui sont effectivement malades et incorrectement 1 % de ceux qui ne le sont pas ».

Trois jours plus tard, le docteur rappelle Mr Dupont. « Le test est positif pour le Covid-19 ! »

Quelle est la probabilité que le patient soit effectivement malade ?

En général, les gens me répondent : « Ben, le test est fiable à 99 %, donc il y a 99 % de risque qu’il soit malade. »

Non !

C’est en fait incorrect.

Pour répondre à cette question, il faut utiliser le théorème de Thomas Bayes (1702-1761), un révérend qui a passé sa vie à faire des probabilités.

Ce théorème nous donne la probabilité P(H/E) qu’une hypothèse H – « Mr Dupont est malade » – conditionnelle à un évènement E – « Mr Dupont a été testé positif » – soit vraie.

Cette probabilité n’est pas la probabilité P(H) « Mr Dupont est malade » ! Ça, en l’absence de test, c’est 1 Français sur 50, donc 2 %.

La probabilité P(H/E) que l’on veut est celle que « Mr Dupont soit malade sachant que Mr Dupont a été testé positif une fois avec un test fiable à 99 % ».

En fait, Thomas Bayes nous a appris que c’est la probabilité P(E/H) d’« être positif si on a Covid-19 » (qui est de 99 %) multipliée par la probabilité P(H) d’ « avoir Covid-19 » (qui est de 1 sur 50, soit 2 %) divisée par la probabilité de tester positif P(E).

P(H/E) = P(E/H) * P(H) / P(E)

La probabilité P(E) est en fait la probabilité d’être malade P(H) et de correctement tester positif P(E/H) plus la probabilité de ne pas avoir COVID-19 – qui est notée P(ØH) –et d’être faussement identifié P(E/ØH).

Donc, pour résumer, la probabilité P(H/E) que « Mr Dupont soit malade sachant que Mr Dupont a été testé positif » est en fait

P(H/E) = P(E/H) * P(H) / P(E)

Soit encore

P(H/E) = P(E/H) * P(H) / ( P(H) * P(E/H) + P(ØH) * P(E/ØH) )

Et ça donne

P(H/E) = 0.99 * 0.02 / (0.02 * 0.99 + 0.98 * 0.01) = 0,66891891891……

La probabilité que « Mr Dupont soit malade sachant qu’il a testé positif (une fois) avec un test fiable à 99 % pour une maladie qui touche 1 personne sur 50 » est de 66,89 %.

Il y a une chance sur trois pour que ce résultat soit un ratage !

Pourquoi ?

En fait, si ce résultat paraît un peu étrange au premier abord, il est parfaitement évident quand on le visualise.

tests

Comme notre test « va correctement identifier 99 % des patients qui sont effectivement malades et incorrectement 1 % de ceux qui ne le sont pas », il détecte les deux malades, en rouge.

Il va aussi détecter un bien-portant, en orange, le « faux positif ».

Si Mr Dupont fait un test déclaré positif, notre patient est en fait un des deux personnages rouges ou bien le personnage orange.

Il a donc à peu près 2 risques sur 3 d’être malade.

tests
Creative Commons Attribution-Non Commercial 2.5 License

https://xkcd.com/2303/

Seconde opinion

Comme Mr Dupont a fait des mathématiques dans sa jeunesse, il connait bien les travaux de Bayes.

Il demande donc un second test, également déclaré positif.

Quelle est la probabilité que ce soit vrai ?

Eh bien ! utilisons à nouveau le théorème de Bayes.

La probabilité que Mr Dupont soit malade sachant qu’il a été testé positif une deuxième fois est en fait

P(H’/E) = P(E/H’) * P(H’) / P(E)

où H’ est la probabilité d’avoir la maladie quand on a déjà été testé positif une fois ! P(H’) est donc 0,66891891891891…

Par la même méthode que ci-dessus :

P(H’/E) = 0.99 * 0.66891… / (0.66891… * 0.99 + 0.33108… * 0.01) = 0,995025…

Cette fois, c’est « sûr » à 99,5 %.

Si un troisième test revenait positif du laboratoire, il y aurait 99,994950… % de risques que Mr Dupont ait le Covid-19.

Visions du monde itératives

Thomas Bayes n’avait pas une vision du monde. Il avait une série de visions du monde qui évoluaient dans le temps.

Il nous a montré comment enrichir nos connaissances en sciences expérimentales.

Mr Dupont part de 2,0 % de probabilité d’être malade (population générale), puis monte à 66,89 %, puis à 99,5 %, puis à 99,995 % après un premier, un second, et un troisième test positif.

Quand on obtient un nouveau résultat, on ne rejette pas les résultats précédents.

On peut parfaitement appliquer la formule de Bayes au cas où Mr Dupont obtient un premier test positif, un second négatif, et un troisième positif.

À chaque nouveau petit bout d’information, on incorpore le résultat afin de dériver une nouvelle probabilité qu’une hypothèse soit vraie sans pour autant rejeter tout le passé.

La connaissance n’est pas limitée à un test. Quand le premier test revient positif du laboratoire, pour le médecin, la probabilité n’est pas de 66,89% car il sait que Mr Dupont a aussi de la fièvre, premier symptôme.

Le médecin pourrait calculer une nouvelle probabilité à l’aide de la formule de Bayes en utilisant la fréquence de la fièvre dans la population générale à un moment donnée et sa fréquence dans la population des malades du Covid-19.

Évidemment, il n’a pas besoin de le faire grâce à l’« expérience ». Il « sait » que Mr Dupont a le Covid-19. Il en est « sûr ». Mais cette « expérience » n’est rien d’autre qu’une forme (imparfaite) d’application neurologique de la formule de Bayes.

Il est d’ailleurs notable que l’intelligence artificielle fasse un usage massif des théories bayésiennes : celles-ci sont au cœur de la connaissance. Elles apparaissent naturellement un peu partout.

Elles sont tellement « évidentes » (pour les probabilistes, et encore !) que le Révérend Bayes n’avait même pas pris la peine de publier sa formule de son vivant. Pour lui, c’était si limpide que ça ne valait pas une communication à la Royal Academy !

Croyances initiales

La probabilité de 66,89 % que « Mr Dupont soit malade sachant que Mr Dupont a été testé positif une fois » dépend du nombre estimé et imprécis de personnes malades dans la population – 1 sur 50 dans notre exemple – mais au fur et à mesure que l’on accumule des connaissances ce chiffre faux perd de son importance.

Si une personne sur 100 avait été malade au moment du test, la probabilité que le résultat soit vrai aurait été de 50,00 % au lieu de 66,89 %.

Mais cette probabilité serait montée à 99,0 % dès le second test (au lieu de 99,5 %) et à 99,989798 % avec le troisième test (au lieu de 99,994950 %).

Thomas Bayes nous a montré mathématiquement que les « croyances » initiales perdent de leur valeur épistémologique à mesure que les connaissances empiriques s’accumulent.

Épistémologie des réseaux sociaux

A contrario de Bayes, l’« épistémologie des réseaux sociaux » consiste à consulter deux ou trois sources douteuses jusqu’à obtenir l’opinion espérée.

Une fois le préconçu obtenu, on l’étaye en rejetant toute autre source de connaissance dissonante augmentant petit à petit ses biais de confirmation. Publier dix vidéos YouTube et trois mèmes – tous allant dans le même sens ! – est la marque même de la stupidité et de l’inculture scientifique !

Ce travers est aggravé par l’incapacité de hiérarchiser les sources de la connaissance chez certains individus. « J’ai fait mes recherches sur YouTube et bla bla bla… »

Tout est mis sur le même plan ! Un article scientifique, un discours d’un politicien, une vidéo YouTube, une émission de télévision, un blog, un tweet, voire un mème.

Échelle de valeur scientifique

Pourtant, à notre époque, nous avons atteint un degré de civilisation tel qu’il existe des processus de vérification de certains types de sources et, donc, une hiérarchie implicite de ces dernières.

Si je plaisante avec l’échelle toute personnelle ci-dessus, je pense sérieusement que les méta-analyses académiques – i.e. les compilations de toutes les études sur une question donnée – sont tout en haut du totem de la connaissance.

Juste en dessous, les études scientifiques elles-mêmes (lorsqu’elles sont revues par un comité de lecture) offrent une qualité raisonnable.

Ah, mais, et The Lancet ?

Inévitablement, dès que l’on avance pareille hérésie, on entend immédiatement : « The Lancet » !, le cri du chloroquiniste lorsqu’il veut paralyser sa victime.

En mai 2020, cette prestigieuse revue médicale a en effet publié un article entaché d’erreurs sur l’inefficacité supposée de l’hydroxychloroquine dans le traitement du Covid-19.

Quand il est apparu que certaines données émanant d’hôpitaux australiens étaient suspectes, les auteurs de l’étude ont été incapables de fournir les données brutes, obligeant The Lancet à rétracter la publication de l’article.

Le fait que The Lancet ait publié une étude qui utilisait des données invérifiables montre que le comité de lecture n’a pas travaillé avec diligence.

Transparence des sources

En pratique, les meilleures revues scientifiques ne devraient rien publier sans lien vers les données brutes et le logiciel pour les traiter. N’importe qui devrait pouvoir accéder à Github (ou autre), extraire les données, exécuter le code Python ou R et reproduire les résultats.

Il y a une quinzaine d’années, jusqu’à 30 % de toutes les publications dans les meilleures revues scientifiques n’étaient pas reproductibles et le milliardaire John Arnold est parti en guerre contre cet état de fait déplorable.

Vinton G. Cerf, vice-président et Chief Internet Evangelist chez Google, lauréat du prix Turing (le « Nobel de l’informatique »), a lui aussi souligné l’importance de l’accès à la recherche académique, à ses sources et à son traitement des données.

Aujourd’hui, un article sans ses données brutes – comme celui de The Lancet – est devenu rarissime dans les « bons » journaux.

Processus de correction

L’erreur du Lancet invalide-t-elle toutes les études de ce type dans les sources de cet acabit ?

Évidemment pas !

The Lancet a rapidement ôté l’article de sa collection. Les meilleures revues retirent constamment de mauvais articles après leur publication. Il s’agit, bien entendu, d’un échec du processus d’examen, mais ce n’est pas un échec de l’ensemble du système. Franchement, c’est, je pense, le contraire.

Il y a une réelle préoccupation de toutes les grandes revues à ce sujet. The Lancet a changé sa politique éditoriale après la rétractation de l’étude sur l’hydroxychloroquine.

A contrario, quand quelqu’un dit quelque chose de stupide sur Facebook ou sur YouTube, ce n’est jamais rétracté. Dans les principaux journaux avec, soi-disant, des normes d’édition élevées – je pense à vous New York Times, Washington Post, Le Monde ! – des erreurs flagrantes survivent même après un tollé public et sont rarement corrigées.

Donc, oui, les meilleures revues académiques ont des taux d’erreur élevés – même en mathématiques ! –, mais elles sont aussi la source ayant le plus faible taux de fausses informations dans ce que l’humanité produit aujourd’hui.

Sans cynisme, nous reconnaissons que les grands journaux scientifiques à comité de lecture améliorent constamment la qualité et la transparence de leurs publications sous l’amicale pression de gens comme Vinton G. Cerf et John Arnold.

Accumulation de connaissances expérimentales

Tout cela est bien joli mais peut-on en tirer des connaissances pratiques ? Oui.

Prenons l’hypothèse controversée suivante H : « les masques réduisent efficacement la transmission du Covid-19 à l’intérieur ».

Est-ce « vrai » ?

La clé de tout problème est de l’aborder avec une incertitude totale ou ce que nous appelons familièrement un « esprit ouvert ».

Pour l’hypothèse en question, nous partons de l’idée que H a une probabilité p0 de 50 % d’être correcte.

Nous lisons alors une première étude qui dit la probabilité que H soit vraie est p1. Nous lui appliquons le théorème de Bayes, ce qui signifie que nous combinons vos connaissances antérieures, soit p0, avec p1, pour arriver à une nouvelle probabilité que H soit vraie. Peut-être que c’est maintenant 30 %, car la première étude indique que les masques ne fonctionnent pas.

Nous lisons ensuite une deuxième étude. Elle indique que la probabilité que H soit vraie est p2. Nous lui appliquons alors le théorème de Bayes, ce qui signifie que nous combinons nos connaissances antérieures, soit p0 et p1, avec p2.

Nous avons maintenant une nouvelle probabilité que H soit vraie. Peut-être que c’est maintenant 55 % puisque la deuxième étude a indiqué que les masques fonctionnent.

En combinant ceci avec une troisième étude, nous obtenons maintenant une nouvelle probabilité que H soit vraie de 65 % puisque la troisième étude a aussi indiqué que les masques fonctionnent.

Et nous répétons le processus jusqu’à ce que nous ayons lu et incorporé chaque étude sur le sujet.

C’est ce qu’on appelle une « revue systématique et méta-analyse de la littérature scientifique ».

Et c’est aussi compliqué que cela en a l’air, mais l’idée derrière tout cela est étonnamment simple : au fur et à mesure que nous ajoutons des études, la probabilité change de moins en moins. Un nouveau résultat radicalement différent n’invalide pas toutes les connaissances antérieures et le présent dilue les biais initiaux.

Chaque fois que nous rencontrons de nouvelles informations empiriques – c’est une philosophie générale de la vie ! – nous réévaluons un peu nos croyances. Nous ne considérons aucune vérité expérimentale comme évidente et permanente.

Accès ultra-rapide à la connaissance

En pratique, l’humanité a accumulé beaucoup de connaissances, nous sommes tous occupés, et nous savons que la division du travail est une forme d’organisation très rationnelle depuis Adam Smith et sa fabrique d’épingles.

Il semble donc raisonnable de laisser d’autres personnes, spécialisées dans un domaine particulier, faire un tour d’horizon de la littérature scientifique pour nous.

Nous lisons donc leurs synthèses.

Reprenons notre hypothèse H : « les masques réduisent efficacement la transmission du Covid-19 à l’intérieur ».

Nous pouvons lire la méta-analyse de The Lancet.

Selon The Lancet, après avoir identifié 172 études dans 16 pays dont 44 se prêtaient à une méta-analyse bayésienne, « la transmission des virus était plus faible avec une distance physique d’un mètre ou plus par rapport à une distance de moins d’un mètre […] et la protection augmentait à mesure que la distance était allongée […] »

Sans grande surprise, « l’utilisation d’un masque facial pourrait entraîner une réduction importante du risque d’infection [d’un facteur de plus de six] et avec [un effet] plus important pour les respirateurs N95 ou similaires par rapport aux masques chirurgicaux jetables ou similaires. »

De son côté, la revue systématique de la littérature et la méta-analyse du Travel Medicine and Infectious Disease Journal (TMIDJ) conclut, à l’aide de 21 études, que « l’utilisation d’un masque a un effet protecteur significatif [… et que son] utilisation par les agents de santé (AS) et non-soignants (non-AS) peut réduire le risque d’infection respiratoire par le virus de 80 % […] et 47 % […], respectivement. »

L’étude ajoute que « l’effet protecteur du port de masques en Asie […] semble être plus élevé que celui des pays occidentaux [… et que] les masques ont un effet protecteur contre les virus de la grippe, le SARS-CoV et le SARS-CoV-2. Dans les sous-groupes basés sur différents modèles d’étude, les effets protecteurs du port d’un masque étaient significatifs dans les essais randomisés et les études observationnelles. »

De façon intéressante, cette méta-analyse révèle que pour le SARS-CoV-2, les masques réduisent le risque de transmission de près de 96 % !

Élimination des biais

Ce type de résultats n’est pas obtenu en prenant toutes les études allant dans le sens des auteurs.

Ils ont au contraire sélectionné tous les articles possibles – 2787 pour l’étude du TMIDJ – en utilisant des bases de données universelles de toutes les études médicales, en général PubMed du NIH américain, en les passant dans un crible – en général PRISMA – pour ne garder que celles qui remplissent un certain nombre de critères de qualité.

On lit ensuite ce qu’il reste pour faire la revue de la littérature sur le sujet et extraire les études qu’on peut exploiter pour nos calculs probabilistes.

À ce stade, contrairement à Mr Duchnoque sur Facebook, on se fiche pas mal de savoir si une étude est pour ou contre les masques. C’est le volume qui décide du résultat final. On inclut donc tout ce qu’on peut…

Comme certains journaux sont meilleurs, certains auteurs plus reconnus, certains textes mieux écrits, certains échantillons plus larges, certaines études sont observationnelles et d’autres randomisées, etc., on note les articles selon une grille « objective » (qui est le Newcastle-Ottawa Scale (NOS) dans le cadre de l’étude du TMIDJ).

En fait, on fait noter tous les articles par plusieurs spécialistes pour garantir que les notes ne sont pas biaisées (et on procède à une réconciliation des éventuelles différences).

Cela confère un poids statistique – une importance relative – à chaque étude utilisée pour calculer les résultats finaux. En parcourant les deux méta-analyses suscitées, nous remarquons en particulier que les ECR sont surpondérés par rapport aux études observationnelles.

Ignorance rationnelle

Il est très opportun d’aller directement à la source pour presque tous les problèmes empiriques de la vie et d’accepter (semi-aveuglément) les résultats des méta-analyses dans le sens où elles sont toujours moins biaisées qu’un texte (ou, pire, une vidéo !) isolé.

Nous ne pouvons pas faire une méta-régression bayésienne sur tout et une fois familiarisé avec un domaine, ce n’est plus intelligent de le faire. En tant que spécialiste d’un sujet, nous commençons à donner plus de crédit à certaines sources qu’à d’autres, nous fouillons dans chaque article pour voir si c’est, disons, observationnel ou ECR, etc.

J’ai pris l’exemple des masques mais j’aurais tout aussi bien pu prendre celui de l’hydroxychloroquine pour les patients atteints de Covid-19. Tous ceux qui ont posté un article par-ci, par-là, parce qu’il correspondait à leurs préjugés, auraient été plus inspirés de consulter les méta-analyses qui montrent que l’hydroxychloroquine ne sert probablement à rien (ici et ) ou, pire, pourrait causer des effets indésirables (ici).

Cette approche pourrait s’effondrer sur certains sujets très controversés et biaisés – les effets des lois sur le salaire minimum, la possession d’armes à feu, etc. – mais, sur des sujets non controversés, cela semble fonctionner assez bien.

tests
Creative Commons Attribution-Non Commercial 2.5 License

https://xkcd.com/2300/

Totalitarisme scientifique ?

Alors on lit les deux méta-analyses ci-dessus et c’est « tais-toi et mets ton masque ? »

Oui et non.

Ce genre d’exercice laisse énormément de place à la vraie discussion scientifique sur les masques. Il ne présume pas du tout que les masques soient nécessaires à l’extérieur où les études montrent qu’il y a 18,7 fois moins d’infections, ou qu’ils devraient être portés dans nos voitures, ou seul en plein air, ou par des gens qui sont immunisés contre SARS-CoV-2.

Par contre, il ferme la porte à « j’ai vu sur YouTube que les masques, ça marche pas et qu’on respire son propre CO2 » des réseaux sociaux dont on aimerait que l’énergie débordante à lutter contre la mini-nuisance des masques soit redirigée à lutter contre la méga-nuisance des impôts…

Game over ?

Pour être très clair, la science n’est pas réglée sur le sujet des masques. Elle n’est jamais réglée sur aucun sujet.

Mais cela ne changera pas parce notre cousin diplômé du secondaire a fait des « recherches » sur les masques sur YouTube et a publié trois mèmes sur Tweeter. Lorsque nous faisons de la « recherche », nous ne parlons pas de chercher des vidéos sur Google…

Pour le moment, les connaissances humaines accumulées indiquent une forte efficacité des masques contre la transmission des maladies respiratoires jusqu’à ce que de nouvelles études scientifiques arrivent et soient à leur tour incorporées dans de nouvelles méta-analyses systématiques bayésiennes.

Creative Commons Attribution-Non Commercial 2.5 License

https://xkcd.com/2367/

La science est et doit être compatible avec le libéralisme

La raison pour laquelle je soulève tout cela est que, curieusement, beaucoup de libéraux font fausse route en rejetant la science.

Avant la crise sanitaire actuelle, ça touchait surtout le réchauffement climatique. Certains « libéraux » entrent dans des discussions passionnées sur le niveau des températures et des océans alors que, fondamentalement, l’économiste s’en moque.

Quels que soient ces niveaux futurs, le meilleur moyen d’y faire face est de vivre dans une société riche dotée de la technologie la plus avancée possible (dont la fusion nucléaire) : la politique optimale si les océans montaient de 10 mètres est en fait la même que s’ils baissaient de 10. Ce n’est pas le modèle économique centralisé à la soviétique qui nous sauvera mais le marché, en identifiant les raretés relatives.

Au début du Covid-19, il y avait des discussions sans fin sur les taux de décès que nos cancres en statistiques ramenaient à ceux de la grippe même s’ils s’avèrent en définitive au moins 50 fois supérieurs.

Dans leur tête, si Covid-19 = tit’grippe, il n’y a rien à faire. Bien évidemment, c’est plus facile que de montrer que la réponse épidémiologique optimale correspond exactement à la réponse économique idéale, le libéralisme économique.

Ils font pareil avec les masques en rejetant les méta-analyses en bloc parce que c’est plus facile que d’élaborer un argumentaire où l’on doive à la fois porter un masque dans les endroits où il y a un important nombre de personnes par volume d’air (parce que c’est scientifiquement médicalement fondé) et à la fois avoir le droit de ne pas en porter un (parce que c’est une juste extension de la liberté d’expression) en plein air ou dans les lieux privés où le propriétaire devrait dicter sa loi.

Je prédis une vague future de billevesées anti-vaccinales où l’argumentaire sera que les vaccins ne marchent pas ou qu’ils sont dangereux parce qu’ils utilisent telle ou telle technologie biomédicale. Plutôt que d’utiliser un argumentaire solide où l’analyse micro-économique et les droits de propriété sont centraux, nous irons à coup sûr vers les mêmes niaiseries anti-intellectuelles.

Le problème est que nos adversaires et les foules centristes nous regardent. Toutes les fois que quelqu’un qui se réclame du libéralisme nie la réalité pour faire « passer ses idées », on finit à la fois avec moins de libéraux et une opportunité manquée de noter que plus un problème est grave, moins il a de chance d’être résolu par l’énarchisme.

Vous souhaitez nous signaler une erreur ? Contactez la rédaction.