Méta-analyse

Manuel de recherche en technologie éducative
Module: Questions pratiques et outils de référence
◀▬▬▶
⚐ brouillon	☸ débutant
⚒ 2021/09/07	⚒⚒ 2015/03/27

Introduction

La méta-analyse est une "démarche, plus qu'une simple technique", utilisée pour réunir et combiner les analyser plusieurs études empiriques ayant la même question de recherche. Leurs résultats sont intégrés pour obtenir un gain de puissance statistique, utile «lorsqu'il existe plusieurs études avec de petits effectifs, mais également lorsque dans un domaine précis, les conclusions de différentes études sont contradictoires.»

Cette démarche est donc appliquée dans des domaines de recherche où il est difficile de réunir de grands effectifs pour une recherche empirique, et où il existe un grand nombre de variables influençant les effets mesurés, tels que les sciences sociales et de l'éducation, mais aussi la médecine. Dans ces domaines, la réplication des résultats d'une recherche est primordiale aussi bien pour réduire les erreurs de mesure que pour valider une précédente étude.. La méta-analyse permet d'exploiter les effectifs de toutes les études ayant une même question de recherche et d'en analyser les résultats de manière nuancée.

Historique et contexte

La question de savoir comment combiner les résultats de plusieurs travaux de recherche indépendants est apparue dès le début du développement de la recherche scientifique empirique. Archie Cochrane, un médecin anglais né en 1909 a été un des premier à souligner l’«impérieuse nécessité de rassembler et de faire la synthèse des données actuelles de la science en thérapeutique.» Il a conduit les premiers travaux combinant les résultats de plusieurs études cliniques en 1954. Parallèlement, les méthodes statistiques telles que la combinaison des valeurs de 'p' (Fisher 1932) ou la méthode publiée par Mantel et Haenszel (1959) permettant de faire la comparaison de plus de deux échantillons appariés se sont développées. Elles permettent d'étudier scientifiquement des systèmes qui, à la différence des sciences exactes, se caractérisent par une grande variabilité et qui doivent donc être analysés statistiquement .

En 1976, Gene Glass, de l'université du Colorado, introduit le terme de méta-analyse . Il le définit comme "l'analyse statistique des résultats d'analyse d'un grand groupe d'études individuelles dans le but d'intégrer leurs résultats". Cette alternative aux plus classiques revues de la littérature crée aussitôt une controverse portant surtout sur la bonne utilisation de cet outil qui était aussi appelé "revue quantitative" ou "synthèse quantitative" .

Avec le développement des outils de recherche des données et de calcul statistique dès les années 1990, la méta-analyse est devenue une technique largement utilisée aussi bien dans le domaine des sciences de l'éducation ou de la psychologie que de la médecine.

Définition et enjeux

Principes de base

Que ce soit lors d'une décision thérapeutique en médecine ou pour argumenter le choix d'un format pédagogique , la méta-analyse répond au besoin grandissant de données synthétiques permettant de prendre une décision en se basant sur une somme de connaissances en constante augmentation . Contrairement à une revue de la littérature, la méta-analyse suit une démarche argumentée et reproductible qui se base sur trois grands principes :

1. Exhaustivité des études analysées
2. Sélection argumentée des études
3. Quantification de l'effet étudié

En effet, il ne s'agit pas d'additionner directement les effectifs des études sélectionnées, ce qui reviendrait à combiner des éléments disparates, mais d'étudier et de comparer la taille des effets produits (ou non) dans ces études .

Types de méta-analyse

Il existe plusieurs types de méta-analyse:

Analyse basée sur les données résumées de la littérature

Seuls les études publiées sont incluses dans cette analyse, qui est fréquente mais qui ne peut dans les faits être considérée comme une méta-analyse: Elle déroge au principe d'exhaustivité cité plus haut. Cette méthode d'analyse comprend donc un grand risque de biais de publication (voir plus bas.

Méta-analyse exhaustive sur données résumées

cette méta-analyse se base sur les données résumées de toutes les études accessibles, publiées ou non.

Méta-analyse sur données individuelles

Cette méta-analyse utilise les fichiers d'analyse, en général d'essais cliniques, pour se baser sur les données individuelles des patients inclus dans ces différents essais .

Analyse des effets

La méta-analyse permet donc d'examiner les effets produits (ou non) dans les différentes études ou essais pris en considération. Elle permettra d'évaluer par exemple

• Les moyennes et variances d'un effet dans une population pour différents intervalles de confiance
• La variabilité des effets pour la totalité des études inclues
• Les variables modératrices influençant les effets

Ces résultats peuvent contribuer non seulement à augmenter la puissance statistique d'une recherche sur une question précise, mais aussi à lever un doute lorsque les résultats de différentes études sont discordants, à identifier certains biais, à mettre une étude ou un essai en perspective etc .

Méthode

Les différentes étapes de la méta-analyse seront ici illustrées avec la méta-analyse de T.N. Höffler et D. Leutner . Dans cet example, les auteurs cherchaient à identifier les effets sur l'apprentissage d'une animation comparés à ceux d'images statiques.

Les étapes pour réaliser une méta-analyse peuvent être décrites comme suit:

Recherche de la littérature

A l'aide des bases de données scientifiques à disposition, on recherchera des études qui ont la même question de recherche. Cette recherche inclura aussi les auteurs qui pourraient avoir des résultats non publiés, les citations et la recherche dans les références. Cette exploration sera complétée par une recherche manuelle de journaux non inclus dans ces bases de données et des comptes rendus de conférences etc. dans le but de trouver aussi des études ou essais non publiés.

Le biais de publication Le but de cette recherche extensive de publications publiées ET non publiées est de remplir le principe d'exhaustivité cité plus haut pour éviter le biais de publication , . En effet, pour comparer, mesurer et analyser des effet , il faut aussi inclure les effets moindres ou non significatifs découverts lors d'une étude. Hors, les études aboutissant à des résultats significatifs ou à des résultats différents de l'hypothèse nulle ont plus de chances d'être publiées. Ceci peut mener à un biais dans la méta-analyse puisqu'on ne prendra pas en considération des études non publiées de qualité comparable mais ayant abouti à un effet de taille moindre. ceci mènera donc à une sur-estimation de la taille des effets analysés.

Pour trouver le plus d'études possibles, Höffler et Leutner ont fait des recherches dans les bases de données SCI, SSCI, ERIC, PsycInfo at Psyndex. Il ont également consulté les références des articles sélectionnés, par exemple des revues de la littérature, et ont recherché des thèses ou diplômes non publiés et des programmes de conférences.

Définition des critères d'inclusion

Les critères d'inclusion dépendent toujours de la question de recherche. Ils doivent être transparents, clairs et appliqués à toutes les études analysées . Il est également possible de regrouper les études inclues et d'analyser ensuite si l'inclusion de l'un ou l'autre groupe influe sur la taille des effets.

Dans notre example , les auteurs appliquent 4 critères d'inclusion qui, appliqués aux 57 études prises en considération, contribuent à en sélectionner 26 pour la méta-analyse.

Calcul de la taille des effets

Les résultats de différentes études sont exprimés par différentes unités, sur différentes échelles. Pour pouvoir les comparer, il faut calculer la taille des effets pour chaque étude. Les méthodes les plus répandues pour calculer la taille des effets sont

• r, le coefficient de corrélation selon Pearson. Si r =0.1, l'effet est faible, r =0.3 exprime un effet moyen et r =0.5 un effet important (estimation).
• d, Cohen's d, la différence standardisée entre deux moyennes. Une valeur de d=0.3 est un effet faible, d=0.5 un effet moyen et d=0.8 un effet important (estimation).
• OR, Odd Ratio, qui compare la probabilité d'un évènement dans deux groupes.Si OR=1, la probabilité est égale pour chaque groupe. Une OR de 5 signifie qu'il y a 5 fois plus de chances d'avoir un certain effet dans l'un des deux groupes (estimation).

Le choix de l'une ou l'autre méthode dépendra de plusieurs facteurs tels que le domaine de recherche (en psychologie, le r selon Pearson est souvent utilisé) ou la différence de taille des effectifs des études inclues.

Voir aussi statsoft, un livre électronique sur les statistiques par les auteurs su logiciel de statistiques Statistica.

Höffler et Leutner commencent par définir des variables pour les 26 études sélectionnées. Toutes ces études concernaient la différence dans les résultats d'apprentissage entre images fixes et animation; mais d'autres variables telles que le réalisme de l'animation, le sujet traité (biologie, maths etc), le temps passé sur les différents formats etc...ont été définies comme variables modératrices. Les auteurs calculent ensuite la taille des effets en utilisant le d de Cohen.

Méta-analyse

Homogénéité des effets

Une des questions initiales sera de conceptualiser les données selon que l'on considère que les échantillons proviennent d'une même population, chez laquelle les effets seront homogènes et prévisibles: c'est le modèle des effets fixes. En présence de variations importantes de la taille des effets d'une étude à l'autre, la taille des effets est hétérogène et nous sommes en présence d'un modèle des effets aléatoires. Ce modèle comprend plus de sources d'erreurs et devra être traité différemment lors des calculs statistiques. Par contre il permet permet de généraliser les inférences obtenues par la méta-analyse à toute une population, ce qui est en général le but dans les sciences sociales (mais pas en médecine!)

Choix de la méthode

Les méthodes les plus utilisées sont celles selon Hunter et Schmidt pour un modèle aléatoire et Hedges et al pour un modèle fixe ou aléatoire.

(1) Hunter et Schmidt

Cette méthode permet de corriger les sources d'erreurs pour comparer les effets. En résumé, elle va évaluer l'estimation de l'effet (r) en fonction de la taille de l'échantillon puis calculer la validité de cette valeur en vue d'une généralisation en estimant des intervalles de crédibilité.

(2) Hedges et al.

Cette méthode permet d'analyser les effets aussi bien pour un concept fixe que pour un concept aléatoire. Elle transforme tout d'abord les effets en des valeurs métriques standard qui vont permettre de calculer une moyenne corrigée de la taille de ces effets. Pour un concept aléatoire, ces moyennes sont ensuite corrigées selon la variance inter- et intra-études. La précision des résultats est estimée en calculant des intervalles de confiance pour ces effets.

Analyses

Il existe plusieurs programmes sur ordinateurs pour mener une méta-analyse. Les outils statistiques comme R offrent également des outils de méta-analyse, alors que dans SPSS , les calculs devront être programmés pas à pas.

Analyse des effets

L'analyse de la taille des effets permet de calculer les effets moyens pour la totalité des études analysées ou pour des sous-groupes. Le programme statistique testera aussi l'homogénéité des effets et permet donc de voir si le modèle choisi (fixe ou aléatoire) est adapté.

Analyse des variables modératrices

Les calculs doivent permettre d'analyser l'impact de différentes variables modératrices sur la taille des effets.

Analyse du biais de publication

Les analyses exprimeront également une estimation du biais de publication.

Dans notre example , les auteurs choisissent un concept aléatoire et utilisent Zumastat pout faire les calculs statistiques. Ils calculent la taille de l'effet d'une animation sur l'apprentissage par rapport à une image fixe dans leur collectif, en excluant un biais de publication. Ils calculent le d de Cohen pour l'effet moyen, il est de d=0.37 avec un intervalle de confiance de 95%, ce qui indique un avantage des animations par rapport aux images statiques. L'analyse des variable modératrices montre une influence positive d'une animation représentative (versus décorative). Elle permet de mesurer un effet plus marqué pour les contenus de type procéduraux. D'autres variables telles que le réalisme de l'animation (vidéo ou dessin), la présence ou non de marqueurs dans les images fixes et le domaine d'instruction sont également mesurées mais semblent avoir moins d'influence sur les effets analysés ici.

Expression des résultats

Field s'appuye sur une publication de Rosenthal pour formuler ses recommandations quand à la rédaction des résultats d'une méta-analyse:

• Décrire de manière transparente la méthode de recherche des études et les critères d'inclusion.
• Décrire le calcul de la taille des effets et les difficultés éventuelles lors de leur introduction dans le programme statistique
• Expliquer le choix de la méthode de méta-analyse (fixe ou aléatoire)
• Décrire les résultats: Variabilité des effets, estimation de la taille de l'effet analysé avec l'intervalle de confiance ou de crédibilité.
• Décrire les analyses concernant le biais de publication.

Conclusions

La méta-analyse s'est développée dès les années 1950, parallèllement à la recherche empirique. Cette méthode permet d'analyser de manière objective et reproductible un nombre important d'études portant sur la même question de recherche en se concentrant pour les comparer sur les effets d'une intervention précise dans une population donnée. Les bases de données digitalisées et les programmes de calculs statistiques dans le contexte contemporain d'une explosion de l'information accessible font de la méta-analyse un outil puissant et de plus en plus fiable pour répondre au besoin des chercheurs, mais aussi des praticiens, de trouver des données synthétiques leur permettant de prendre des décisions dans la pratique.