Méta-analyses : de l’art de bien mélanger torchons et serviettes

Les méta-analyses sont des analyses d’analyses. Mais tiennent-elles leurs promesses ? Voici quelques pistes pour vous aider à les lire et les évaluer.

Partager sur:
Sauvegarder cet article
Aimer cet article 0
Think by Erik Michaels-Ober(CC BY 2.0)

La liberté d’expression n’est pas gratuite!

Mais déductible à 66% des impôts

N’oubliez pas de faire un don !

Faire un don

Méta-analyses : de l’art de bien mélanger torchons et serviettes

Publié le 20 août 2017
- A +

Par Bastien Castagneyrol1.

Et si l’on osait une comparaison entre science et magie ? Il était un temps béni où, pour peu que l’on ait quelque sous et si l’on se posait une question, on allait voir l’oracle ou le sorcier. Il avait la réponse. Aujourd’hui, on demanderait d’abord au sorcier ou à l’oracle quels sont les conflits d’intérêts qu’ils peuvent avoir avec les uns ou les autres. On leur demanderait aussi d’inclure dans leur réponse les liens internet vers d’autres pratiques magiques qui appuieraient leurs conclusions. Est-ce que cela rendra la réponse plus fiable ? Peut-être… Ou peut-être pas.

Pratique scientifique et méta-analyses

Revenons à la pratique scientifique. Aussi bien menée soit elle, une étude n’est qu’un grain dans l’immense tas de sable de nos connaissances. Et des études, il y en a de plus en plus de publiées chaque jour. Alors pour une même question, il serait très surprenant que toutes les études publiées sur un sujet obtiennent le même résultat et fournissent au chercheur la même réponse.

Le problème qui se pose est celui de la synthèse des connaissances scientifiques : comment s’y prendre de manière objective, fiable, et reproductible ? Pour cela, il y a un outil qui se développe très rapidement : les méta-analyses. Mais tiennent elles leurs promesses ? Voici quelques pistes pour vous aider à les lire et les évaluer.

Une méta-analyse est un travail statistique qui ne s’appuie ni sur des observations de terrain, ni sur des tests de laboratoires ou des tests cliniques. Comme l’indique le préfixe “méta”, elle s’appuie sur les données publiées dans la littérature scientifique après qu’elles ont été revues par les pairs, une étape sensée garantir la qualité du matériau de base. Une méta-analyse est donc une analyse d’analyses.

Un exemple : admettons que je m’interroge sur les effets de la diversité des arbres sur les dégâts causés par les insectes herbivores. En parcourant la littérature scientifique, je me rendrais compte que plusieurs travaux ont montré que les insectes causent plus de dégâts dans les monocultures que dans les forêts mélangées.

Mais je trouverais aussi plusieurs articles montrant l’exact opposé. Ce serait très stimulant : l’absence de consensus pousse à aller plus loin pour comprendre pourquoi les résultats des différentes études diffèrent. Mais ce serait en revanche fâcheux s’il s’agissait d’utiliser ces résultats pour les traduire en recommandations pour le gestionnaire. Il y a quelques années, avec mes collègues, nous avons réalisé une méta-analyse sur ce sujet.

A la recherche d’une donnée quantitative

Comment avons nous procédé ? Nous avons d’abord élaboré une stratégie de recherche dans les bases de données bibliographiques pour récupérer un maximum d’articles ayant comparé des dégâts d’insectes dans des forêts mélangées (le traitement) et dans des monocultures (le contrôle). De manière à ce que notre travail puisse être reproduit par d’autres études de recherche, nous avons pris soins de noter scrupuleusement la manière dont nous avons travaillé pour réaliser cette recherche et les critères que nous avons utilisés pour inclure, ou pas, chaque article retrouvé dans l’analyse finale.

A partir de là, pour chaque étude, nous avons calculé le rapport des dégâts entre groupe témoin et groupe contrôle. C’est cette valeur, la taille de l’effet (en anglais effect size), qui est une donnée quantitative facilement moyennable entre études. C’est donc elle qui sera utilisée dans la méta-analyse à des fins de comparaison. Elle permet de répondre à deux questions essentielles :

  • Quelle est, en moyenne, la différence entre le groupe contrôle et le groupe traitement ?
  • Quelle est la variabilité des observations autour de cette moyenne ? Si elle est grande, alors il y a des chances que la moyenne générale soit peu informative en tant que telle. Tout le travail du chercheur consistera alors à modéliser – et comprendre – les différentes sources de variabilité.

Mélange de pommes et d’oranges…

Dans le monde anglo-saxon, on préfère mélanger les pommes et les oranges plutôt que les torchons et les serviettes… Et c’est vrai : une méta-analyse peut mélanger les pommes et les oranges, c’est-à-dire « comparer des études qui ont été faites dans des buts différents avec des méthodes différentes ». C’est tout l’intérêt, mais aussi la principale critique faite aux méta-analyses.

Il peut y avoir un intérêt à comparer les pommes et les oranges si, par exemple, elles peuvent être comparées biologiquement parlant. Dans le cas de notre méta-analyse, nous voulions une réponse globale à la question de l’effet du mélange d’espèces d’arbres sur les dégâts d’insectes, quelle que soit l’espèce d’arbre ou d’insecte considérée. Ce serait la même chose en recherche biomédicale où l’on voudrait connaître l’effet de la molécule X dans le traitement de la maladie Y, en moyenne, quels que soit l’âge, le sexe, la nationalité ou l’origine sociale des patients.

… pour faire une excellente salade de fruits

C’est le quel(s) que soi(en)t qui peut poser problème. L’effet du mélange d’espèces d’arbres est-il réellement le même quel que soit l’insecte considéré ? L’effet de la molécule X est-il le même, quel que soit le sexe du patient ? C’est tout l’objet que la question de la variabilité autour de la moyenne que j’évoquais plus haut. Dans le champ des méta-analyses, on parle d’hétérogénéité.

Tout l’enjeu de la méta-analyse est de rendre compte le mieux possible de l’hétérogénéité entre les études. Par exemple, la grande hétérogénéité entre les résultats sur les pommes et les oranges peut s’expliquer non pas par la nature du fruit (pommes ou oranges) mais par une autre variable qui n’était pas prise en compte dans les études originales mais qu’il est possible d’explorer en comparant les études entre elles (par exemple, le climat, le niveau de fertilisation…). C’est d’ailleurs là que la méta-analyse prend tout son sens : elle permet de tester des hypothèses qui ne pouvaient pas être testées pour chaque étude prise individuellement.

Dans notre cas, alors que les études que nous avions rassemblées avaient rapporté des exemples ponctuels de dégâts par une espèce d’insecte, le fait de rassembler toutes les études nous a permis de montrer que la diversité des arbres réduit de manière efficace les dégâts causés par les insectes spécialistes, mais n’a pas d’effet sur les insectes généralistes.

Des pommes, des oranges, mais pas de bananes ?

Les conclusions d’une méta-analyse ne tiennent que si l’on peut garantir qu’il n’y a pas de « trous » dans les données collectées. Une méta-analyse ne s’appuie que sur les données publiées dans la littérature. Le problème est que tous les résultats obtenus dans les laboratoires ne sont pas toujours publiés. Les scientifiques peuvent renoncer à publier des « résultats négatifs » (par manque de temps, parce qu’ils ne vont pas dans le sens attendu, parce qu’aucune revue n’a voulu de leur article, …).

Une méta-analyse peut alors souffrir d’un biais de publication si trop d’études négatives manquent. Heureusement, il existe des outils statistiques qui permettent d’estimer dans quelle mesure le biais de publication est susceptible de fausser les résultats de la méta-analyse ou d’en amoindrir la portée.

Guide de lecture des méta-analyses

Au final, les méta-analyses sont comme n’importe quelles autres études. Il y a certains critères pour en évaluer la qualité. Les lister serait trop technique, et d’autres l’ont fait très bien. Lisez-en une dans le détail et assurez vous qu’au minimum :

  • Vous retrouveriez les mêmes articles que les auteurs si vous utilisiez leurs critères de recherche et d’inclusion ;
  • Vous calculeriez les mêmes tailles d’effets (effect-sizes) ;
  • Vous compareriez les mêmes pommes avec les mêmes oranges ;
  • L’hétérogénéité entre les études est rapportée par les auteurs et correctement prise en compte ;
  • Vous faites la même lecture des résultats et les interprétez de la même manière que les auteurs.

Même si vous n’êtes pas complètement convaincus que tous ces critères sont présents, la méta-analyse que vous êtes en train de lire n’est pas à jeter pour autant. L’un des intérêts de ce type d’étude réside dans le fait qu’elle permet de faire un bilan de ce qu’il manque dans la littérature. Où les études ont elles été faites ? Sur quels systèmes d’étude ? Avec quelles méthodes… Bref, est-ce que l’on connaît aussi bien les pommes que les oranges, ou les torchons que les serviettes ? En ce sens, elles peuvent stimuler la recherche future en faisant un bilan sur ce que l’on sait, et en indiquant là où il faudrait creuser un peu plus.

Sur le web-Article publié sous licence Creative CommonsThe Conversation

  1. Chercheur en écologie, INRA.
Voir le commentaire (1)

Laisser un commentaire

Créer un compte Tous les commentaires (1)
  • Autrefois, on appelait ça une étude biblio, et on s’en servait pour construire des hypothèses réfutables, qu’on soumettait à l’épreuve des travaux existants et des nouvelles expériences, avant de conclure. Je dois dire que je ne vois pas l’intérêt de baptiser ça aujourd’hui d’un nom ronflant, si ce n’est peut-être pour cacher qu’on pourrait bâcler le travail.

  • Les commentaires sont fermés.

La liberté d’expression n’est pas gratuite!

Mais déductible à 66% des impôts

N’oubliez pas de faire un don !

Faire un don

Par Frank Shostak.

La statistique du PIB reflète l'idée que le facteur clé de la croissance économique n'est pas la production de richesses mais plutôt leur consommation. Il s'agit plutôt d'un calcul de la valeur des biens et services finaux produits pendant un intervalle de temps donné, généralement un trimestre ou une année. Comme les dépenses de consommation représentent la plus grande partie de la demande globale, de nombreux commentateurs estiment que les dépenses de consommation sont le principal moteur de la croissance économiqu... Poursuivre la lecture

Le fait que la rubrique "logement" figure dans l'indice harmonisé des prix à la consommation pourrait nous amener à croire que les prix de l'immobilier sont pris en compte dans les statistiques officielles de l'inflation.

Or, ce n'est pas le cas.

Au lieu de cela, seuls les loyers sont pris en compte dans l'indice. La raison en est que l'immobilier est considéré comme un bien d'investissement, ou un bien de consommation à long terme. Seule une partie de... Poursuivre la lecture

Outre les effets de substitution dans le comportement des consommateurs, l'une des principales sources de distorsion dans la mesure de l'inflation est le changement de qualité des biens et des services.

 

Au-delà du prix, l'importance de la qualité

Les changements de qualité sont subjectifs.

Pour l'un, par exemple, le passage au self-service et aux caisses automatiques est une bénédiction. On gagne du temps, du moins si l'on sait comment utiliser les automates, et il n'est plus indispensable de communiquer avec d'aut... Poursuivre la lecture

Voir plus d'articles