Méta-analyse
Cet article est en construction: un auteur est en train de le modifier.
En principe, le ou les auteurs en question devraient bientôt présenter une meilleure version.
Sugarch0 travaille actuellement à cette page
Introduction
La méta-analyse est une "démarche, plus qu'une simple technique"[1], utilisée pour réunir et combiner pour les analyser plusieurs études empiriques ayant la même question de recherche. Leurs résultats sont intégrés pour obtenir un gain de puissance statistique, utile lorsqu'il existe plusieurs études avec de petits effectifs, mais également lorsque dans un domaine précis, les conclusions de différentes études sont contradictoires. Cette démarche est donc appliquée dans des domaines de recherche où il est difficile de réunir de grands effectifs pour une recherche empirique, et où il existe un grand nombre de variables influençant les effets mesurés, tels que les sciences sociales et de l'éducation, mais aussi la médecine. Dans ces domaines, la réplication des résultats d'une recherche est primordiale aussi bien pour réduire les erreurs de mesure que pour valider une précédente étude.[2]. La méta-analyse permet d'exploiter les effectifs de toutes les études ayant une même question de recherche et d'en analyser les résultats de manière nuancée.
Historique et contexte
La question de savoir comment combiner les résultats de plusieurs travaux de recherche indépendants est apparue dès le début du développement de la recherche scientifique empirique. Archie Cochrane, un médecin anglais né en 1909 [1] a été un des premier à souligner l’"impérieuse nécessité de rassembler et de faire la synthèse des données actuelles de la science en thérapeutique." Il a conduit les premiers travaux combinant les résultats de plusieurs études cliniques en 1954. Parallèllement, les méthodes statistiques telles que la combinaison des valeurs de 'p' (Fisher 1932) ou la méthode publiée par Mantel et Haenszel (1959) permettant de faire la comparaison de plus de deux échantillons appariés [3] se sont développées. Elles permettent d'étudier scientifiquement des systèmes qui, à la différence des sciences exactes, se caractérisent par une grande variabilité et qui doivent donc être analysés statistiquement [1].
En 1976, Gene Glass, de l'université du Colorado, introduit le terme de méta-analyse [4]. Il le définit comme "l'analyse statistique des résultats d'analyse d'un grand groupe d'études individuelles dans le but d'intégrer leurs résultats". Cette alternative aux plus classiques revues de la littérature [5] crée aussitôt une controverse [6] portant surtout sur la bonne utilisation de cet outil qui était aussi appelé "revue quantitative" ou "synthèse quantitative" [1].
Avec le développement des outils de recherche des données et de calcul statistique dès les années 1990, la méta-analyse est devenue une technique largement utilisée aussi bien dans le domaine des sciences de l'éducation ou de la psychologie que de la médecine.
Définition et enjeux
Principes de base
Que ce soit lors d'une décision thérapeutique en médecine ou pour argumenter le choix d'un format pédagogique [7], la méta-analyse répond au besoin grandissant de données synthétiques permettant de prendre une décision en se basant sur une somme de connaissances en constante augmentation [1]. Contrairement à une revue de la littérature, la méta-analyse suit une démarche argumentée et reproductible qui se base sur trois grands principes [1]:
- Exhaustivité des études analysées
- Sélection argumentée des études
- Quantification de l'effet étudié
En effet, il ne s'agit pas d'additionner directement les effectifs des études sélectionnées, ce qui reviendrait à combiner des éléments disparates, mais d'étudier et de comparer la taille des effets produits (ou non) dans ces études [6].
Types de méta-analyse
Il existe plusieurs types de méta-analyse:[1]
- Analyse basée sur les données résumées de la littérature:
Seuls les études publiées sont incluses dans cette analyse, qui est fréquente mais qui ne peut dans les faits être considérée comme une méta-analyse: Elle déroge au principe d'exhaustivité cité plus haut. Cette méthode d'analyse comprend donc un grand risque de biais de publication (voir plus bas.
- Méta-analyse exhaustive sur données résumées:
cette méta-analyse se base sur les données résumées de toutes les études accessibles, publiées ou non.
- Méta-analyse sur données individuelles:
Cette méta-analyse utilise les fichiers d'analyse, en général d'essais cliniques, pour se baser sur les données individuelles des patients inclus dans ces différents essais [8].
Analyse des effets
La méta-analyse permet donc d'examiner les effets produits (ou non) dans les différentes études ou essais pris en considération. Elle permettra d'évaluer par exemple [2]
- Les moyennes et variances d'un effet dans une population pour différents intervalles de confiance
- La variabilité des effets pour la totalité des études inclues
- Les variables modératrices influençant les effets
Ces résultats peuvent contribuer non seulement à augmenter la puissance statistique d'une recherche sur une question précise, mais aussi à lever un doute lorsque les résultats de différentes études sont discordants, à identifier certains biais, à mettre une étude ou un essai en perspective etc [1].
Méthode
Les différentes étapes de la méta-analyse seront ici illustrées avec la méta-analyse de T.N. HHöffler et D. Leutner [7]. Dans cet example, les auteurs cherchaient à identifier les effets sur l'apprentissage d'une animation comparés à ceux d'images statiques.
Les étapes pour réaliser une méta-analyse peuvent être décrites comme suit:
1.Recherche de la littérature
A l'aide des bases de données scientifiques à disposition, on recherchera des études qui ont la même question de recherche. Cette recherche inclura aussi les auteurs qui pourraient avoir des résultats non publiés, les citations et la recherche dans les références. Cette exploration sera complétée par une recherche manuelle de journaux non inclus dans ces bases de données et des comptes rendus de conférences etc. dans le but de trouver aussi des études ou essais non publiés.
Le biais de publication
Le but de cette recherche extensive de publications publiées ET non publiées est de remplir le principe d'exhaustivité cité plus haut pour éviter le biais de publication [1], [2]. En effet, pour comparer, mesurer et analyser des effet , il faut aussi inclure les effets moindres ou non significatifs découverts lors d'une étude. Hors, les études aboutissant à des résultats significatifs ou à des résultats différents de l'hypothèse nulle [9] ont plus de chances d'être publiées. Ceci peut mener à un biais dans la méta-analyse puisqu'on ne prendra pas en considération des études non publiées de qualité comparable mais ayant abouti à un effet de taille moindre. ceci mènera donc à une sur-estimation de la taille des effets analysés.
Pour trouver le plus d'études possibles, Höffler et Leutner [7] ont fait des recherches dans les bases de données SCI, SSCI, ERIC, PsyycInfo at Psyndex. Il sont également consulté les références des articles sélectionnés, par example des revues de la littérature, et ont recherché des thèses ou diplômes non publiés et des programmes de conférences.
2.Définition des critères d'inclusion
Les critères d'inclusion dépendent de la question de recherche. Ils doivent être transparents et appliqués à toutes les études analysées [2]. Il est également possible de regrouper les études inclues et d'analyser ensuite si l'inclusion de l'un ou l'autre groupe influe sur la taille des effets.
Dans notre example [7], les auteurs appliquent 4 critères d'inclusion qui, appliqués aux 57 études prises en considération, contribuent à en sélectionner 26 pour la méta-analyse.
3.Calcul de la taille des effets
Les résultats de différentes études sont exprimés par différentes unités, sur différentes échelles. Pour pouvoir les comparer, il faut calculer la taille des effets pour chaque étude. [10] Les méthodes les plus répandues pour calculer la taille des effets sont [2]
- r, le coefficient de corrélation selon PearsonSi r=0.1, l'effet est faible, r=0.3 exprime un effet moyen et r=0.5 un effet important (estimation).
- d, Cohen's d, la différence standardisée entre deux moyennes.
Une valeur de d=0.3 est un effet faible, d=0.5 un effet moyen et d=0.8 un effet important (estimation).
- OR, Odd Ratio, qui compare la probabilité d'un évènement dans deux groupes.Si OR=1, la probablité est égale pour chaque groupe. Une OR de 5 signifie qu'il y a 5 fois plus de chances d'avoir un certain effet dans l'un des deux groupes (estimation).
Le choix de l'une ou l'autre méthode dépendra de plusieurs facteurs tels que le domaine de recherche (en psychologie, le r selon Pearson est souvent utilisé) ou la différence de taille des effectifs des études inclues.
Höffler et Leutner [7] commencent par définir des variables pour les 26 études sélectionnées. Toutes ces études concernaient la différence dans les résultats d'apprentissage entre images fixes et animation; mais d'autres variables telles que le réalisme de l'animation, le sujet traité (biologie, maths etc), le temps passé sur les différents formats etc...ont été définies comme variables modératrices. Les auteurs calculent ensuite la taille des effets en utilisant le d de Cohen.
4. Méta-analyse
Homogénéité des effets
Une des questions initiales [2] sera de conceptualiser les données selon que l'on considère que les échantillons proviennent d'une même population, chez laquelle les effets seront homogènes et prévisibles: c'est le modèle des effets fixes. En présence de variations importantes de la taille des effets d'une étude à l'autre, la taille des effets est hétérogène et nous sommes en présence d'un modèle des effets aléatoires. Ce modèle comprend plus de sources d'erreurs et devra être traité différemment lors des calculs statistiques. Par contre il permet permet de généraliser les inférences obtenues par la méta-analyse à toute une population, ce qui est en général le but dans les sciences sociales (mais pas en médecine!)
Choix de la méthode
Les méthodes les plus utilisées sont celles selon Hunter et Schmidt pour un modèle aléatoire et Hedges et al pour un modèle fixe ou aléatoire.
- Hunter et Schmidt:
Cette méthode [11] permet de corriger les sources d'erreurs pour comparer les effets. En résumé, elle va évaluer l'estimation de l'effet (r) en fonction de la taille de l'échantillon puis calculer la validité de cette valeur en vue d'une généralisation en estimant des intervalles de crédibilité.
- Hedges et al:
Cette méthode [12] permet d'analyser les effets aussi bien pour un concept fixe que pour un concept aléatoire. Elle transforme tout d'abord les effets en des valeurs métriques standard qui vont permettre de calculer une moyenne corrigée de la taille de ces effets. Pour un concept aléatoire, ces moyennes sont ensuite corrigées selon la variance inter- et intra-études. La précision des résultats est estimée en calculant des intervalles de confiance pour ces effets.
Analyses
Il existe plusieurs programmes sur ordinateurs pour mener une méta-analyse. Les outils statistiques comme R offrent également des outils de méta-analyse, alors que dans SPSS, les calculs devront être programmés pas à pas.
- Analyse des effets
L'analyse de la taille des effets permet de calculer les effets moyens pour la totalité des études analysées ou pour des sous-groupes. Le programme statistique testera aussi l'homogénéité des effets et permet donc de voir si le modèle choisi est adapté.
- Analyse des variables modératrices
Les calculs doivent permettre d'analyser l'impact de différentes variables modératrices sur la taille des effets.
- Analyse du biais de publication
Les analyses exprimeront également une estimation du biais de publication.
Dans notre example [7], les auteurs choisissent un concept aléatoire et utilisent Zumastat pout faire les calculs statistiques. Ils calculent la taille de l'effet d'une animation sur l'apprentissage par rapport à une image fixe dans leur collectif, en excluant un biais de publication. Ils calculent le d de Cohen pour l'effet moyen, il est de d=0.37 avec un intervalle de confiance de 95%., ce qui indique un avantage des animations par rapport aux images statiques. L'analyse des variable modératrices montre une influence positive d'une animation représentative (versus décorative). Elle permet de mesurer un effet plus marqué pour les contenus de type procéduraux. D'autres variables telles que le réalisme de l'animation (vidéo ou dessin), la présence ou non de marqueurs dans les images fixes et le domaine d'instruction sont également mesurées mais semblent avoir moins d'influence sur les effets analysés ici.
5.Expression des résultats
Field s'appuye sur une publication de Rosenthal [13] pour formuler ses recommandations quand à la rédaction des résultats d'une méta-analyse:
- Décrire de manière transparente la méthode de recherche des études et les critères d'inclusion.
- Décrire le calcul de la taille des effets et les difficultés éventuelles lors de leur introduction dans le programme statistique
- Expliquer le choix de la méthode de méta-analyse (fixe ou aléatoire)
- Décrire les résultats: Variabilité des effets, estimation de la taille de l'effet analysé avec l'intervalle de confiance ou de crédibilité.
- Décrire les analyses concernant le biais de publication.
Conclusion
Bibliographie et Webographie
- ↑ 1,0 1,1 1,2 1,3 1,4 1,5 1,6 1,7 et 1,8 manuel pratique de méta-analyse des essais thérapeutiques, Cucherat M, leizorivicz A, Boissel JP
- ↑ 2,0 2,1 2,2 2,3 2,4 et 2,5 A.P. Fiels, R. Gillet: How to do a meta-analysis,British Journal of Mathematical and Statistical Psychology, 201, 63, 665-694., Field and Gillett
- ↑ site de l'Inserm sur les biostatistiques, Université Paul Sabatier, Toulouse
- ↑ G. Glass: Primary, secondary, and meta-analysis for research, Educational researcher, 1976, Vol5, No10, pp3-8.
- ↑ An introduction to meta-analysis
- ↑ 6,0 et 6,1 R.Slavin: Meta-analysis in education: how has it been used?, Educational researcher, 1984, Vol13,No 8, pp6-15
- ↑ 7,0 7,1 7,2 7,3 7,4 et 7,5 Instructional animation versus static pictures: a meta-analysis, Learning and instruction 2007, 17, pp722-738 Erreur de référence : Balise
<ref>incorrecte : le nom « Höffler » est défini plusieurs fois avec des contenus différents. - ↑ Minerva, revue d'evidence-based medicine, Méta-analyse sur données individuelles : avantages et limites, 2010; 9(9): 112-112
- ↑ Introduction à la statistique, Ramousse 1996
- ↑ wikipedia sur la taille des effets
- ↑ Methods of meta-analysis: correcting error and bias in research findings, Sage 2004
- ↑ Meta-analysis, Journal of educational and behhavioural statistics 1992, Dec, vol.17 no4 pp279-296
- ↑ Rosenthal R.:Writing meta-analytic reviews. Psychological Bulletin 1995, Vol 118,No2 pp183-192