« Méta-analyse » : différence entre les versions
| (11 versions intermédiaires par 3 utilisateurs non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
{{ | {{tutoriel | ||
|fait_partie_du_cours=Manuel de recherche en technologie éducative | |||
|fait_partie_du_module=Questions pratiques et outils de référence | |||
|pas_afficher_sous-page=Non | |||
|page_precedente=Ecriture académique | |||
|page_suivante=Gestion des données de recherche | |||
|statut=brouillon | |||
|dernière_modif=2015/03/27 | |||
|difficulté=débutant | |||
}} | |||
=Introduction= | |||
La méta-analyse est une "démarche, plus qu'une simple technique"<ref name="Cucherat">[http://www.spc.univ-lyon1.fr/livreMA/frame.htm manuel pratique de méta-analyse des essais thérapeutiques, Cucherat M, leizorivicz A, Boissel JP]</ref>, utilisée pour réunir et combiner les analyser plusieurs études empiriques ayant la même question de recherche. Leurs résultats sont intégrés pour obtenir un gain de puissance statistique, utile {{citation|lorsqu'il existe plusieurs études avec de petits effectifs, mais également lorsque dans un domaine précis, les conclusions de différentes études sont contradictoires.}} | |||
Cette démarche est donc appliquée dans des domaines de recherche où il est difficile de réunir de grands effectifs pour une recherche empirique, et où il existe un grand nombre de variables influençant les effets mesurés, tels que les sciences sociales et de l'éducation, mais aussi la médecine. Dans ces domaines, la réplication des résultats d'une recherche est primordiale aussi bien pour réduire les erreurs de mesure que pour valider une précédente étude.<ref name="Field">A.P. Fiels, R. Gillet: How to do a meta-analysis,British Journal of Mathematical and Statistical Psychology, 201, 63, 665-694., Field and Gillett </ref>. | |||
Cette démarche est donc appliquée dans des domaines de recherche où il est difficile de réunir de grands effectifs pour une recherche empirique, et où il existe un grand nombre de variables influençant les effets mesurés, tels que les sciences sociales et de l'éducation, mais aussi la médecine. Dans ces domaines, la réplication des résultats d'une recherche est primordiale aussi bien pour réduire les erreurs de mesure que pour valider une précédente étude.<ref name ="Field"> | |||
A.P. Fiels, R. Gillet: How to do a meta-analysis,British Journal of Mathematical and Statistical Psychology, 201, 63, 665-694., Field and Gillett </ref>. | |||
La méta-analyse permet d'exploiter les effectifs de toutes les études ayant une même question de recherche et d'en analyser les résultats de manière nuancée. | La méta-analyse permet d'exploiter les effectifs de toutes les études ayant une même question de recherche et d'en analyser les résultats de manière nuancée. | ||
=Historique et contexte= | =Historique et contexte= | ||
La question de savoir comment combiner les résultats de plusieurs travaux de recherche indépendants est apparue dès le début du développement de la recherche scientifique empirique. Archie Cochrane, un médecin anglais né en 1909 <ref name="Cucherat"/> a été un des premier à souligner l’ | La question de savoir comment combiner les résultats de plusieurs travaux de recherche indépendants est apparue dès le début du développement de la recherche scientifique empirique. Archie Cochrane, un médecin anglais né en 1909 <ref name="Cucherat" /> a été un des premier à souligner l’{{citation|impérieuse nécessité de rassembler et de faire la synthèse des données actuelles de la science en thérapeutique.}} Il a conduit les premiers travaux combinant les résultats de plusieurs études cliniques en 1954. Parallèlement, les méthodes statistiques telles que la combinaison des valeurs de 'p' (Fisher 1932) ou la méthode publiée par Mantel et Haenszel (1959) permettant de faire la comparaison de plus de deux échantillons appariés <ref name="inserm">[http://www.u707.jussieu.fr/biostatgv/index.html site de l'Inserm sur les biostatistiques, Université Paul Sabatier, Toulouse]</ref> se sont développées. Elles permettent d'étudier scientifiquement des systèmes qui, à la différence des sciences exactes, se caractérisent par une grande variabilité et qui doivent donc être analysés statistiquement <ref name="Cucherat" />. | ||
En 1976, Gene Glass, de l'université du Colorado, introduit le terme de méta-analyse <ref name="Glass"> G. Glass: Primary, secondary, and meta-analysis for research, Educational researcher, 1976, Vol5, No10, pp3-8.</ref>. Il le définit comme "l'analyse statistique des résultats d'analyse d'un grand groupe d'études individuelles dans le but d'intégrer leurs résultats". Cette alternative aux plus classiques revues de la littérature <ref name="Cochrane"> [http://www.cochrane-net.org/openlearning/HTML/mod3.htm An introduction to meta-analysis]</ref> crée aussitôt une controverse <ref name ="Slavin">R.Slavin: Meta-analysis in education: how has it been used?, Educational researcher, 1984, Vol13,No 8, pp6-15 </ref> portant surtout sur la bonne utilisation de cet outil qui était aussi appelé "revue quantitative" ou "synthèse quantitative" <ref name="Cucherat"/>. | En 1976, Gene Glass, de l'université du Colorado, introduit le terme de méta-analyse <ref name="Glass">G. Glass: Primary, secondary, and meta-analysis for research, Educational researcher, 1976, Vol5, No10, pp3-8.</ref>. Il le définit comme "l'analyse statistique des résultats d'analyse d'un grand groupe d'études individuelles dans le but d'intégrer leurs résultats". Cette alternative aux plus classiques revues de la littérature <ref name="Cochrane">[http://www.cochrane-net.org/openlearning/HTML/mod3.htm An introduction to meta-analysis]</ref> crée aussitôt une controverse <ref name="Slavin">R.Slavin: Meta-analysis in education: how has it been used?, Educational researcher, 1984, Vol13,No 8, pp6-15 </ref> portant surtout sur la bonne utilisation de cet outil qui était aussi appelé "revue quantitative" ou "synthèse quantitative" <ref name="Cucherat" />. | ||
Avec le développement des outils de recherche des données et de calcul statistique dès les années 1990, la méta-analyse est devenue une technique largement utilisée aussi bien dans le domaine des sciences de l'éducation ou de la psychologie que de la médecine. | Avec le développement des outils de recherche des données et de calcul statistique dès les années 1990, la méta-analyse est devenue une technique largement utilisée aussi bien dans le domaine des sciences de l'éducation ou de la psychologie que de la médecine. | ||
| Ligne 16 : | Ligne 24 : | ||
=Définition et enjeux= | =Définition et enjeux= | ||
==Principes de base== | ==Principes de base== | ||
Que ce soit lors d'une décision thérapeutique en médecine ou pour argumenter le choix d'un format pédagogique <ref name="Höffler" | Que ce soit lors d'une décision thérapeutique en médecine ou pour argumenter le choix d'un format pédagogique <ref name="Höffler" />, la méta-analyse répond au besoin grandissant de données synthétiques permettant de prendre une décision en se basant sur une somme de connaissances en constante augmentation <ref name="Cucherat" />. Contrairement à une revue de la littérature, la méta-analyse suit une démarche argumentée et reproductible qui se base sur trois grands principes <ref name="Cucherat" />: | ||
# Exhaustivité des études analysées | # Exhaustivité des études analysées | ||
# Sélection argumentée des études | # Sélection argumentée des études | ||
# Quantification de l'effet étudié | # Quantification de l'effet étudié | ||
En effet, il ne s'agit pas d'additionner directement les effectifs des études sélectionnées, ce qui reviendrait à combiner des éléments disparates, mais d'étudier et de comparer la '''taille des effets produits''' (ou non) dans ces études <ref name="Slavin"/>. | En effet, il ne s'agit pas d'additionner directement les effectifs des études sélectionnées, ce qui reviendrait à combiner des éléments disparates, mais d'étudier et de comparer la '''taille des effets produits''' (ou non) dans ces études <ref name="Slavin" />. | ||
==Types de méta-analyse== | ==Types de méta-analyse== | ||
Il existe plusieurs types de méta-analyse:<ref name="Cucherat"/> | Il existe plusieurs types de méta-analyse:<ref name="Cucherat" /> | ||
;Analyse basée sur les données résumées de la littérature | |||
Seuls les études publiées sont incluses dans cette analyse, qui est fréquente mais qui ne peut dans les faits être considérée comme une méta-analyse: Elle déroge au principe d'exhaustivité cité plus haut. Cette méthode d'analyse comprend donc un grand risque de biais de publication (voir plus bas. | :Seuls les études publiées sont incluses dans cette analyse, qui est fréquente mais qui ne peut dans les faits être considérée comme une méta-analyse: Elle déroge au principe d'exhaustivité cité plus haut. Cette méthode d'analyse comprend donc un grand risque de biais de publication (voir plus bas. | ||
;Méta-analyse exhaustive sur données résumées | |||
cette méta-analyse se base sur les données résumées de toutes les études accessibles, publiées ou non. | :cette méta-analyse se base sur les données résumées de toutes les études accessibles, publiées ou non. | ||
;Méta-analyse sur données individuelles | |||
Cette méta-analyse utilise les fichiers d'analyse, en général d'essais cliniques, pour se baser sur les données individuelles des patients inclus dans ces différents essais <ref name="Minerva> [http://www.minerva-ebm.be/fr/article.asp?id=1948 Minerva, revue d'evidence-based medicine, Méta-analyse sur données individuelles : avantages et limites, 2010; 9(9): 112-112] </ref>. | :Cette méta-analyse utilise les fichiers d'analyse, en général d'essais cliniques, pour se baser sur les données individuelles des patients inclus dans ces différents essais <ref name="Minerva">[http://www.minerva-ebm.be/fr/article.asp?id=1948 Minerva, revue d'evidence-based medicine, Méta-analyse sur données individuelles : avantages et limites, 2010; 9(9): 112-112] </ref>. | ||
==Analyse des effets== | ==Analyse des effets== | ||
La méta-analyse permet donc d'examiner les effets produits (ou non) dans les différentes études ou essais pris en considération. Elle permettra d'évaluer par exemple <ref name="Field"/> | La méta-analyse permet donc d'examiner les effets produits (ou non) dans les différentes études ou essais pris en considération. Elle permettra d'évaluer par exemple <ref name="Field" /> | ||
* Les moyennes et variances d'un effet dans une population pour différents intervalles de confiance | * Les moyennes et variances d'un effet dans une population pour différents intervalles de confiance | ||
| Ligne 40 : | Ligne 48 : | ||
* Les variables modératrices influençant les effets | * Les variables modératrices influençant les effets | ||
Ces résultats peuvent contribuer non seulement à augmenter la puissance statistique d'une recherche sur une question précise, mais aussi à lever un doute lorsque les résultats de différentes études sont discordants, à identifier certains biais, à mettre une étude ou un essai en perspective etc <ref name="Cucherat"/>. | Ces résultats peuvent contribuer non seulement à augmenter la puissance statistique d'une recherche sur une question précise, mais aussi à lever un doute lorsque les résultats de différentes études sont discordants, à identifier certains biais, à mettre une étude ou un essai en perspective etc <ref name="Cucherat" />. | ||
=Méthode= | =Méthode= | ||
''Les différentes étapes de la méta-analyse seront ici illustrées avec la méta-analyse de T.N. | ''Les différentes étapes de la méta-analyse seront ici illustrées avec la méta-analyse de T.N. Höffler et D. Leutner <ref name="Höffler">T.N.Höffler, D.Leitner: Instructional animation versus static pictures: a meta-analysis, Learning and instruction 2007 17, pp722-738 </ref>. Dans cet example, les auteurs cherchaient à identifier les effets sur l'apprentissage d'une animation comparés à ceux d'images statiques.'' | ||
Les étapes pour réaliser une méta-analyse peuvent être décrites comme suit: | Les étapes pour réaliser une méta-analyse peuvent être décrites comme suit: | ||
== | ==Recherche de la littérature== | ||
A l'aide des bases de données scientifiques à disposition, on recherchera des études qui ont la même question de recherche. Cette recherche inclura aussi les auteurs qui pourraient avoir des résultats non publiés, les citations et la recherche dans les références. Cette exploration sera complétée par une recherche manuelle de journaux non inclus dans ces bases de données et des comptes rendus de conférences etc. dans le but de trouver aussi des études ou essais non publiés. | A l'aide des bases de données scientifiques à disposition, on recherchera des études qui ont la même question de recherche. Cette recherche inclura aussi les auteurs qui pourraient avoir des résultats non publiés, les citations et la recherche dans les références. Cette exploration sera complétée par une recherche manuelle de journaux non inclus dans ces bases de données et des comptes rendus de conférences etc. dans le but de trouver aussi des études ou essais non publiés. | ||
''Pour trouver le plus d'études possibles, Höffler et Leutner <ref name="Höffler"/> ont fait des recherches dans les bases de données SCI, SSCI, ERIC, PsycInfo at Psyndex. Il ont également consulté les références des articles sélectionnés, par exemple des revues de la littérature, et ont recherché des thèses ou diplômes non publiés et des programmes de conférences.'' | ''' Le biais de publication''' | ||
Le but de cette recherche extensive de publications publiées ET non publiées est de remplir le principe d'exhaustivité cité plus haut pour éviter le biais de publication <ref name="Cucherat" />, <ref name="Field" />. En effet, pour comparer, mesurer et analyser des effet , il faut aussi inclure les effets moindres ou non significatifs découverts lors d'une étude. Hors, les études aboutissant à des résultats significatifs ou à des résultats différents de l'hypothèse nulle <ref name="introstat">[http://www.cons-dev.org/elearning/stat/St2a.html#hypoth%C3%A8se%20nulle Introduction à la statistique, Ramousse 1996] </ref> ont plus de chances d'être publiées. Ceci peut mener à un biais dans la méta-analyse puisqu'on ne prendra pas en considération des études non publiées de qualité comparable mais ayant abouti à un effet de taille moindre. ceci mènera donc à une sur-estimation de la taille des effets analysés. | |||
''Pour trouver le plus d'études possibles, Höffler et Leutner <ref name="Höffler" /> ont fait des recherches dans les bases de données SCI, SSCI, ERIC, PsycInfo at Psyndex. Il ont également consulté les références des articles sélectionnés, par exemple des revues de la littérature, et ont recherché des thèses ou diplômes non publiés et des programmes de conférences.'' | |||
== | ==Définition des critères d'inclusion== | ||
Les critères d'inclusion dépendent de la question de recherche. Ils doivent être transparents et appliqués à toutes les études analysées <ref name="Field"/>. Il est également possible de regrouper les études inclues et d'analyser ensuite si l'inclusion de l'un ou l'autre groupe influe sur la taille des effets. | Les critères d'inclusion dépendent toujours de la question de recherche. Ils doivent être transparents, clairs et appliqués à toutes les études analysées <ref name="Field" />. Il est également possible de regrouper les études inclues et d'analyser ensuite si l'inclusion de l'un ou l'autre groupe influe sur la taille des effets. | ||
''Dans notre example <ref name="Höffler"/>, les auteurs appliquent 4 critères d'inclusion qui, appliqués aux 57 études prises en considération, contribuent à en sélectionner 26 pour la méta-analyse.'' | ''Dans notre example <ref name="Höffler" />, les auteurs appliquent 4 critères d'inclusion qui, appliqués aux 57 études prises en considération, contribuent à en sélectionner 26 pour la méta-analyse.'' | ||
== | ==Calcul de la taille des effets== | ||
Les résultats de différentes études sont exprimés par différentes unités, sur différentes échelles. Pour pouvoir les comparer, il faut calculer la taille des effets pour chaque étude. <ref name="wikieffect>[http://en.wikipedia.org/wiki/Effect_sizepage wikipedia sur la taille des effets]</ref> | Les résultats de différentes études sont exprimés par différentes unités, sur différentes échelles. Pour pouvoir les comparer, il faut calculer la taille des effets pour chaque étude. <ref name="wikieffect">[http://en.wikipedia.org/wiki/Effect_sizepage wikipedia sur la taille des effets]</ref> | ||
Les méthodes les plus répandues pour calculer la taille des effets sont <ref name="Field"/> | Les méthodes les plus répandues pour calculer la taille des effets sont <ref name="Field" /> | ||
* r, le coefficient de corrélation selon [http://edutechwiki.unige.ch/en/Methodology_tutorial_-_quantitative_data_analysis#Regression_Analysis_and_Pearson_Correlations Pearson]. Si r =0.1, l'effet est faible, r =0.3 exprime un effet moyen et r =0.5 un effet important (estimation). | * r, le coefficient de corrélation selon [http://edutechwiki.unige.ch/en/Methodology_tutorial_-_quantitative_data_analysis#Regression_Analysis_and_Pearson_Correlations Pearson]. Si r =0.1, l'effet est faible, r =0.3 exprime un effet moyen et r =0.5 un effet important (estimation). | ||
* d, Cohen's d, la différence standardisée entre deux moyennes. | * d, Cohen's d, la différence standardisée entre deux moyennes. Une valeur de d=0.3 est un effet faible, d=0.5 un effet moyen et d=0.8 un effet important (estimation). | ||
Une valeur de d=0.3 est un effet faible, d=0.5 un effet moyen et d=0.8 un effet important (estimation). | * OR, Odd Ratio, qui compare la probabilité d'un évènement dans deux groupes.Si OR=1, la probabilité est égale pour chaque groupe. Une OR de 5 signifie qu'il y a 5 fois plus de chances d'avoir un certain effet dans l'un des deux groupes (estimation). | ||
* OR, Odd Ratio, qui compare la probabilité d'un évènement dans deux groupes.Si OR=1, la | |||
Le choix de l'une ou l'autre méthode dépendra de plusieurs facteurs tels que le domaine de recherche (en psychologie, le r selon Pearson est souvent utilisé) ou la différence de taille des effectifs des études inclues. | Le choix de l'une ou l'autre méthode dépendra de plusieurs facteurs tels que le domaine de recherche (en psychologie, le r selon Pearson est souvent utilisé) ou la différence de taille des effectifs des études inclues. | ||
Voir aussi [http://www.statsoft.com/textbook/ statsoft], un livre électronique sur les statistiques par les auteurs su logiciel de statistiques Statistica. | Voir aussi [http://www.statsoft.com/textbook/ statsoft], un livre électronique sur les statistiques par les auteurs su logiciel de statistiques Statistica. | ||
''Höffler et Leutner <ref name="Höffler"/> commencent par définir des variables pour les 26 études sélectionnées. Toutes ces études concernaient la différence dans les résultats d'apprentissage entre images fixes et animation; mais d'autres variables telles que le réalisme de l'animation, le sujet traité (biologie, maths etc), le temps passé sur les différents formats etc...ont été définies comme variables modératrices. Les auteurs calculent ensuite la taille des effets en utilisant le d de Cohen.'' | ''Höffler et Leutner <ref name="Höffler" /> commencent par définir des variables pour les 26 études sélectionnées. Toutes ces études concernaient la différence dans les résultats d'apprentissage entre images fixes et animation; mais d'autres variables telles que le réalisme de l'animation, le sujet traité (biologie, maths etc), le temps passé sur les différents formats etc...ont été définies comme variables modératrices. Les auteurs calculent ensuite la taille des effets en utilisant le d de Cohen.'' | ||
==Méta-analyse== | |||
===Homogénéité des effets=== | ===Homogénéité des effets=== | ||
Une des questions initiales <ref name="Field"/> sera de conceptualiser les données selon que l'on considère que les échantillons proviennent d'une même population, chez laquelle les effets seront homogènes et prévisibles: c'est le modèle des effets fixes. | Une des questions initiales <ref name="Field" /> sera de conceptualiser les données selon que l'on considère que les échantillons proviennent d'une même population, chez laquelle les effets seront homogènes et prévisibles: c'est le modèle des effets fixes. | ||
En présence de variations importantes de la taille des effets d'une étude à l'autre, la taille des effets est hétérogène et nous sommes en présence d'un modèle des effets aléatoires. Ce modèle comprend plus de sources d'erreurs et devra être traité différemment lors des calculs statistiques. Par contre il permet permet de généraliser les inférences obtenues par la méta-analyse à toute une population, ce qui est en général le but dans les sciences sociales (mais pas en médecine!) | En présence de variations importantes de la taille des effets d'une étude à l'autre, la taille des effets est hétérogène et nous sommes en présence d'un modèle des effets aléatoires. Ce modèle comprend plus de sources d'erreurs et devra être traité différemment lors des calculs statistiques. Par contre il permet permet de généraliser les inférences obtenues par la méta-analyse à toute une population, ce qui est en général le but dans les sciences sociales (mais pas en médecine!) | ||
===Choix de la méthode=== | ===Choix de la méthode=== | ||
Les méthodes les plus utilisées sont celles selon Hunter et Schmidt pour un modèle aléatoire et Hedges et al pour un modèle fixe ou aléatoire. | Les méthodes les plus utilisées sont celles selon Hunter et Schmidt pour un modèle aléatoire et Hedges et al pour un modèle fixe ou aléatoire. | ||
Cette méthode <ref name="Hunter">Methods of meta-analysis: correcting error and bias in research findings, Sage 2004 </ref> permet de corriger les sources d'erreurs pour comparer les effets. En résumé, elle va évaluer l'estimation de l'effet (r) en fonction de la taille de l'échantillon puis calculer la validité de cette valeur en vue d'une généralisation en estimant des intervalles de crédibilité. | ; (1) Hunter et Schmidt | ||
:Cette méthode <ref name="Hunter">Methods of meta-analysis: correcting error and bias in research findings, Sage 2004 </ref> permet de corriger les sources d'erreurs pour comparer les effets. En résumé, elle va évaluer l'estimation de l'effet (r) en fonction de la taille de l'échantillon puis calculer la validité de cette valeur en vue d'une généralisation en estimant des intervalles de crédibilité. | |||
; (2) Hedges et al. | |||
:Cette méthode <ref name="Hedges">Meta-analysis, Journal of educational and behhavioural statistics 1992, Dec, vol.17 no4 pp279-296 </ref> permet d'analyser les effets aussi bien pour un concept fixe que pour un concept aléatoire. Elle transforme tout d'abord les effets en des valeurs métriques standard qui vont permettre de calculer une moyenne corrigée de la taille de ces effets. Pour un concept aléatoire, ces moyennes sont ensuite corrigées selon la variance inter- et intra-études. La précision des résultats est estimée en calculant des intervalles de confiance pour ces effets. | |||
===Analyses=== | ===Analyses=== | ||
Il existe plusieurs programmes sur ordinateurs pour mener une méta-analyse. Les outils statistiques comme R offrent également des outils de méta-analyse, alors que dans [http://edutechwiki.unige.ch/en/SPSS SPSS] , les calculs devront être programmés pas à pas. | Il existe plusieurs programmes sur ordinateurs pour mener une méta-analyse. Les outils statistiques comme R offrent également des outils de méta-analyse, alors que dans [http://edutechwiki.unige.ch/en/SPSS SPSS] , les calculs devront être programmés pas à pas. | ||
L'analyse de la taille des effets permet de calculer les effets moyens pour la totalité des études analysées ou pour des sous-groupes. Le programme statistique testera aussi l'homogénéité des effets et permet donc de voir si le modèle choisi (fixe ou aléatoire) est adapté. | ; Analyse des effets | ||
: L'analyse de la taille des effets permet de calculer les effets moyens pour la totalité des études analysées ou pour des sous-groupes. Le programme statistique testera aussi l'homogénéité des effets et permet donc de voir si le modèle choisi (fixe ou aléatoire) est adapté. | |||
Les calculs doivent permettre d'analyser l'impact de différentes variables modératrices sur la taille des effets. | ;Analyse des variables modératrices | ||
:Les calculs doivent permettre d'analyser l'impact de différentes variables modératrices sur la taille des effets. | |||
;Analyse du biais de publication | |||
:Les analyses exprimeront également une estimation du biais de publication. | |||
''Dans notre example <ref name="Höffler" />, les auteurs choisissent un concept aléatoire et utilisent Zumastat pout faire les calculs statistiques. Ils calculent la taille de l'effet d'une animation sur l'apprentissage par rapport à une image fixe dans leur collectif, en excluant un biais de publication. Ils calculent le d de Cohen pour l'effet moyen, il est de d=0.37 avec un intervalle de confiance de 95%, ce qui indique un avantage des animations par rapport aux images statiques. L'analyse des variable modératrices montre une influence positive d'une animation représentative (versus décorative). Elle permet de mesurer un effet plus marqué pour les contenus de type procéduraux. D'autres variables telles que le réalisme de l'animation (vidéo ou dessin), la présence ou non de marqueurs dans les images fixes et le domaine d'instruction sont également mesurées mais semblent avoir moins d'influence sur les effets analysés ici.'' | |||
==Expression des résultats== | |||
Field s'appuye sur une publication de Rosenthal <ref name="Rosenthal">Rosenthal R.:Writing meta-analytic reviews. | |||
Field s'appuye sur une publication de Rosenthal <ref name="Rosenthal>Rosenthal R.:Writing meta-analytic reviews. | |||
Psychological Bulletin 1995, Vol 118,No2 pp183-192</ref> pour formuler ses recommandations quand à la rédaction des résultats d'une méta-analyse: | Psychological Bulletin 1995, Vol 118,No2 pp183-192</ref> pour formuler ses recommandations quand à la rédaction des résultats d'une méta-analyse: | ||
* Décrire de manière transparente la méthode de recherche des études et les critères d'inclusion. | * Décrire de manière transparente la méthode de recherche des études et les critères d'inclusion. | ||
| Ligne 113 : | Ligne 122 : | ||
=Bibliographie et Webographie= | =Bibliographie et Webographie= | ||
<references/> | <references /> | ||
[[Catégorie:Méthodes de recherche]] | [[Catégorie:Méthodes de recherche]] | ||
[[Catégorie:Semactu 2010-2011]] | |||
Dernière version du 7 septembre 2021 à 13:56
| Manuel de recherche en technologie éducative | |
|---|---|
| Module: Questions pratiques et outils de référence | |
| ◀▬▬▶ | |
| ⚐ brouillon | ☸ débutant |
| ⚒ 2021/09/07 | ⚒⚒ 2015/03/27 |
Introduction
La méta-analyse est une "démarche, plus qu'une simple technique"[1], utilisée pour réunir et combiner les analyser plusieurs études empiriques ayant la même question de recherche. Leurs résultats sont intégrés pour obtenir un gain de puissance statistique, utile «lorsqu'il existe plusieurs études avec de petits effectifs, mais également lorsque dans un domaine précis, les conclusions de différentes études sont contradictoires.»
Cette démarche est donc appliquée dans des domaines de recherche où il est difficile de réunir de grands effectifs pour une recherche empirique, et où il existe un grand nombre de variables influençant les effets mesurés, tels que les sciences sociales et de l'éducation, mais aussi la médecine. Dans ces domaines, la réplication des résultats d'une recherche est primordiale aussi bien pour réduire les erreurs de mesure que pour valider une précédente étude.[2]. La méta-analyse permet d'exploiter les effectifs de toutes les études ayant une même question de recherche et d'en analyser les résultats de manière nuancée.
Historique et contexte
La question de savoir comment combiner les résultats de plusieurs travaux de recherche indépendants est apparue dès le début du développement de la recherche scientifique empirique. Archie Cochrane, un médecin anglais né en 1909 [1] a été un des premier à souligner l’«impérieuse nécessité de rassembler et de faire la synthèse des données actuelles de la science en thérapeutique.» Il a conduit les premiers travaux combinant les résultats de plusieurs études cliniques en 1954. Parallèlement, les méthodes statistiques telles que la combinaison des valeurs de 'p' (Fisher 1932) ou la méthode publiée par Mantel et Haenszel (1959) permettant de faire la comparaison de plus de deux échantillons appariés [3] se sont développées. Elles permettent d'étudier scientifiquement des systèmes qui, à la différence des sciences exactes, se caractérisent par une grande variabilité et qui doivent donc être analysés statistiquement [1].
En 1976, Gene Glass, de l'université du Colorado, introduit le terme de méta-analyse [4]. Il le définit comme "l'analyse statistique des résultats d'analyse d'un grand groupe d'études individuelles dans le but d'intégrer leurs résultats". Cette alternative aux plus classiques revues de la littérature [5] crée aussitôt une controverse [6] portant surtout sur la bonne utilisation de cet outil qui était aussi appelé "revue quantitative" ou "synthèse quantitative" [1].
Avec le développement des outils de recherche des données et de calcul statistique dès les années 1990, la méta-analyse est devenue une technique largement utilisée aussi bien dans le domaine des sciences de l'éducation ou de la psychologie que de la médecine.
Définition et enjeux
Principes de base
Que ce soit lors d'une décision thérapeutique en médecine ou pour argumenter le choix d'un format pédagogique [7], la méta-analyse répond au besoin grandissant de données synthétiques permettant de prendre une décision en se basant sur une somme de connaissances en constante augmentation [1]. Contrairement à une revue de la littérature, la méta-analyse suit une démarche argumentée et reproductible qui se base sur trois grands principes [1]:
- Exhaustivité des études analysées
- Sélection argumentée des études
- Quantification de l'effet étudié
En effet, il ne s'agit pas d'additionner directement les effectifs des études sélectionnées, ce qui reviendrait à combiner des éléments disparates, mais d'étudier et de comparer la taille des effets produits (ou non) dans ces études [6].
Types de méta-analyse
Il existe plusieurs types de méta-analyse:[1]
- Analyse basée sur les données résumées de la littérature
- Seuls les études publiées sont incluses dans cette analyse, qui est fréquente mais qui ne peut dans les faits être considérée comme une méta-analyse: Elle déroge au principe d'exhaustivité cité plus haut. Cette méthode d'analyse comprend donc un grand risque de biais de publication (voir plus bas.
- Méta-analyse exhaustive sur données résumées
- cette méta-analyse se base sur les données résumées de toutes les études accessibles, publiées ou non.
- Méta-analyse sur données individuelles
- Cette méta-analyse utilise les fichiers d'analyse, en général d'essais cliniques, pour se baser sur les données individuelles des patients inclus dans ces différents essais [8].
Analyse des effets
La méta-analyse permet donc d'examiner les effets produits (ou non) dans les différentes études ou essais pris en considération. Elle permettra d'évaluer par exemple [2]
- Les moyennes et variances d'un effet dans une population pour différents intervalles de confiance
- La variabilité des effets pour la totalité des études inclues
- Les variables modératrices influençant les effets
Ces résultats peuvent contribuer non seulement à augmenter la puissance statistique d'une recherche sur une question précise, mais aussi à lever un doute lorsque les résultats de différentes études sont discordants, à identifier certains biais, à mettre une étude ou un essai en perspective etc [1].
Méthode
Les différentes étapes de la méta-analyse seront ici illustrées avec la méta-analyse de T.N. Höffler et D. Leutner [7]. Dans cet example, les auteurs cherchaient à identifier les effets sur l'apprentissage d'une animation comparés à ceux d'images statiques.
Les étapes pour réaliser une méta-analyse peuvent être décrites comme suit:
Recherche de la littérature
A l'aide des bases de données scientifiques à disposition, on recherchera des études qui ont la même question de recherche. Cette recherche inclura aussi les auteurs qui pourraient avoir des résultats non publiés, les citations et la recherche dans les références. Cette exploration sera complétée par une recherche manuelle de journaux non inclus dans ces bases de données et des comptes rendus de conférences etc. dans le but de trouver aussi des études ou essais non publiés.
Le biais de publication Le but de cette recherche extensive de publications publiées ET non publiées est de remplir le principe d'exhaustivité cité plus haut pour éviter le biais de publication [1], [2]. En effet, pour comparer, mesurer et analyser des effet , il faut aussi inclure les effets moindres ou non significatifs découverts lors d'une étude. Hors, les études aboutissant à des résultats significatifs ou à des résultats différents de l'hypothèse nulle [9] ont plus de chances d'être publiées. Ceci peut mener à un biais dans la méta-analyse puisqu'on ne prendra pas en considération des études non publiées de qualité comparable mais ayant abouti à un effet de taille moindre. ceci mènera donc à une sur-estimation de la taille des effets analysés.
Pour trouver le plus d'études possibles, Höffler et Leutner [7] ont fait des recherches dans les bases de données SCI, SSCI, ERIC, PsycInfo at Psyndex. Il ont également consulté les références des articles sélectionnés, par exemple des revues de la littérature, et ont recherché des thèses ou diplômes non publiés et des programmes de conférences.
Définition des critères d'inclusion
Les critères d'inclusion dépendent toujours de la question de recherche. Ils doivent être transparents, clairs et appliqués à toutes les études analysées [2]. Il est également possible de regrouper les études inclues et d'analyser ensuite si l'inclusion de l'un ou l'autre groupe influe sur la taille des effets.
Dans notre example [7], les auteurs appliquent 4 critères d'inclusion qui, appliqués aux 57 études prises en considération, contribuent à en sélectionner 26 pour la méta-analyse.
Calcul de la taille des effets
Les résultats de différentes études sont exprimés par différentes unités, sur différentes échelles. Pour pouvoir les comparer, il faut calculer la taille des effets pour chaque étude. [10] Les méthodes les plus répandues pour calculer la taille des effets sont [2]
- r, le coefficient de corrélation selon Pearson. Si r =0.1, l'effet est faible, r =0.3 exprime un effet moyen et r =0.5 un effet important (estimation).
- d, Cohen's d, la différence standardisée entre deux moyennes. Une valeur de d=0.3 est un effet faible, d=0.5 un effet moyen et d=0.8 un effet important (estimation).
- OR, Odd Ratio, qui compare la probabilité d'un évènement dans deux groupes.Si OR=1, la probabilité est égale pour chaque groupe. Une OR de 5 signifie qu'il y a 5 fois plus de chances d'avoir un certain effet dans l'un des deux groupes (estimation).
Le choix de l'une ou l'autre méthode dépendra de plusieurs facteurs tels que le domaine de recherche (en psychologie, le r selon Pearson est souvent utilisé) ou la différence de taille des effectifs des études inclues.
Voir aussi statsoft, un livre électronique sur les statistiques par les auteurs su logiciel de statistiques Statistica.
Höffler et Leutner [7] commencent par définir des variables pour les 26 études sélectionnées. Toutes ces études concernaient la différence dans les résultats d'apprentissage entre images fixes et animation; mais d'autres variables telles que le réalisme de l'animation, le sujet traité (biologie, maths etc), le temps passé sur les différents formats etc...ont été définies comme variables modératrices. Les auteurs calculent ensuite la taille des effets en utilisant le d de Cohen.
Méta-analyse
Homogénéité des effets
Une des questions initiales [2] sera de conceptualiser les données selon que l'on considère que les échantillons proviennent d'une même population, chez laquelle les effets seront homogènes et prévisibles: c'est le modèle des effets fixes. En présence de variations importantes de la taille des effets d'une étude à l'autre, la taille des effets est hétérogène et nous sommes en présence d'un modèle des effets aléatoires. Ce modèle comprend plus de sources d'erreurs et devra être traité différemment lors des calculs statistiques. Par contre il permet permet de généraliser les inférences obtenues par la méta-analyse à toute une population, ce qui est en général le but dans les sciences sociales (mais pas en médecine!)
Choix de la méthode
Les méthodes les plus utilisées sont celles selon Hunter et Schmidt pour un modèle aléatoire et Hedges et al pour un modèle fixe ou aléatoire.
- (1) Hunter et Schmidt
- Cette méthode [11] permet de corriger les sources d'erreurs pour comparer les effets. En résumé, elle va évaluer l'estimation de l'effet (r) en fonction de la taille de l'échantillon puis calculer la validité de cette valeur en vue d'une généralisation en estimant des intervalles de crédibilité.
- (2) Hedges et al.
- Cette méthode [12] permet d'analyser les effets aussi bien pour un concept fixe que pour un concept aléatoire. Elle transforme tout d'abord les effets en des valeurs métriques standard qui vont permettre de calculer une moyenne corrigée de la taille de ces effets. Pour un concept aléatoire, ces moyennes sont ensuite corrigées selon la variance inter- et intra-études. La précision des résultats est estimée en calculant des intervalles de confiance pour ces effets.
Analyses
Il existe plusieurs programmes sur ordinateurs pour mener une méta-analyse. Les outils statistiques comme R offrent également des outils de méta-analyse, alors que dans SPSS , les calculs devront être programmés pas à pas.
- Analyse des effets
- L'analyse de la taille des effets permet de calculer les effets moyens pour la totalité des études analysées ou pour des sous-groupes. Le programme statistique testera aussi l'homogénéité des effets et permet donc de voir si le modèle choisi (fixe ou aléatoire) est adapté.
- Analyse des variables modératrices
- Les calculs doivent permettre d'analyser l'impact de différentes variables modératrices sur la taille des effets.
- Analyse du biais de publication
- Les analyses exprimeront également une estimation du biais de publication.
Dans notre example [7], les auteurs choisissent un concept aléatoire et utilisent Zumastat pout faire les calculs statistiques. Ils calculent la taille de l'effet d'une animation sur l'apprentissage par rapport à une image fixe dans leur collectif, en excluant un biais de publication. Ils calculent le d de Cohen pour l'effet moyen, il est de d=0.37 avec un intervalle de confiance de 95%, ce qui indique un avantage des animations par rapport aux images statiques. L'analyse des variable modératrices montre une influence positive d'une animation représentative (versus décorative). Elle permet de mesurer un effet plus marqué pour les contenus de type procéduraux. D'autres variables telles que le réalisme de l'animation (vidéo ou dessin), la présence ou non de marqueurs dans les images fixes et le domaine d'instruction sont également mesurées mais semblent avoir moins d'influence sur les effets analysés ici.
Expression des résultats
Field s'appuye sur une publication de Rosenthal [13] pour formuler ses recommandations quand à la rédaction des résultats d'une méta-analyse:
- Décrire de manière transparente la méthode de recherche des études et les critères d'inclusion.
- Décrire le calcul de la taille des effets et les difficultés éventuelles lors de leur introduction dans le programme statistique
- Expliquer le choix de la méthode de méta-analyse (fixe ou aléatoire)
- Décrire les résultats: Variabilité des effets, estimation de la taille de l'effet analysé avec l'intervalle de confiance ou de crédibilité.
- Décrire les analyses concernant le biais de publication.
Conclusions
La méta-analyse s'est développée dès les années 1950, parallèllement à la recherche empirique. Cette méthode permet d'analyser de manière objective et reproductible un nombre important d'études portant sur la même question de recherche en se concentrant pour les comparer sur les effets d'une intervention précise dans une population donnée. Les bases de données digitalisées et les programmes de calculs statistiques dans le contexte contemporain d'une explosion de l'information accessible font de la méta-analyse un outil puissant et de plus en plus fiable pour répondre au besoin des chercheurs, mais aussi des praticiens, de trouver des données synthétiques leur permettant de prendre des décisions dans la pratique.
Bibliographie et Webographie
- ↑ 1,0 1,1 1,2 1,3 1,4 1,5 1,6 1,7 et 1,8 manuel pratique de méta-analyse des essais thérapeutiques, Cucherat M, leizorivicz A, Boissel JP
- ↑ 2,0 2,1 2,2 2,3 2,4 et 2,5 A.P. Fiels, R. Gillet: How to do a meta-analysis,British Journal of Mathematical and Statistical Psychology, 201, 63, 665-694., Field and Gillett
- ↑ site de l'Inserm sur les biostatistiques, Université Paul Sabatier, Toulouse
- ↑ G. Glass: Primary, secondary, and meta-analysis for research, Educational researcher, 1976, Vol5, No10, pp3-8.
- ↑ An introduction to meta-analysis
- ↑ 6,0 et 6,1 R.Slavin: Meta-analysis in education: how has it been used?, Educational researcher, 1984, Vol13,No 8, pp6-15
- ↑ 7,0 7,1 7,2 7,3 7,4 et 7,5 T.N.Höffler, D.Leitner: Instructional animation versus static pictures: a meta-analysis, Learning and instruction 2007 17, pp722-738
- ↑ Minerva, revue d'evidence-based medicine, Méta-analyse sur données individuelles : avantages et limites, 2010; 9(9): 112-112
- ↑ Introduction à la statistique, Ramousse 1996
- ↑ wikipedia sur la taille des effets
- ↑ Methods of meta-analysis: correcting error and bias in research findings, Sage 2004
- ↑ Meta-analysis, Journal of educational and behhavioural statistics 1992, Dec, vol.17 no4 pp279-296
- ↑ Rosenthal R.:Writing meta-analytic reviews. Psychological Bulletin 1995, Vol 118,No2 pp183-192