Designs statistiques

Manuel de recherche en technologie éducative
Module: Designs de recherche orientés test de théorie
◀▬▬▶
⚐ à améliorer	☸ débutant
⚒ 2022/04/16	⚒⚒ 2015/03/27

Introduction

D’une certaine manière, les designs statistiques sont conceptuellement liés aux designs expérimentaux. Les designs statistiques formulent des lois ayant pour vocation d'être généralisées à une population, les cas individuels n’ont donc pas d'intérêt. L’avantage de ce design est qu’il est possible de tester un nombre relativement important de lois (hypothèses) avec des données statistiques. On qualifie souvent de telles analyses de corrélationnelles, car elles ont pour but de démontrer des relations statistiques entre des variables, sans pour autant inférer de lien causal.

De tels designs de recherche s’appuient sur un raisonnement théorique antérieur, car:

1. les mesures, i.e. les questionnaires ont une fiabilité (au sens large du terme) limitée:
   • ce que les gens disent peut ne pas correspondre à ce qu’ils font
   • ce que vous demandez pourrait ne pas mesurer ce que vous voulez observer
2. il y a une surdétermination statistique,
   • vous pouvez trouver des corrélations entre variables, mais comme nous l’avons vu précédemment, les corrélations ne sont pas nécessairement synonymes de causalités.
3. vous ne pouvez pas obtenir une «image inductive» en posant une dizaine de questions fermées.

Le design de recherche dominant est mené de façon descendante et comprend en partie la doctrine du rationalisme critique de Popper, que l’on appelle également le falsificationnisme. Comment procéder?

1. Commencez par formuler des hypothèses (des modèles qui contiennent des variables que vous pouvez mesurer plus des relations que vous désirez tester)
2. Mesurez les variables (e.g. à l’aide d’un questionnaire et/ou d’un test)
3. Testez alors les relations à l’aide d’outils statistiques
4. Testez alors des hypothèses alternatives selon le même principe. Vous devez également montrer que vos hypothèses ne sont pas falsifiables.

Le design statistique le plus utilisé en technologie éducative est l’enquête par sondage. Toutefois, avec l'incrémentation d'environnements en ligne, on utilise de plus en plus de données "analytiques" qui collectent de l'information concernant le comportement en ligne. Il existe aussi une foule de données socio-économique (par exemple cueillis lors de recensements populaires). Finalement, il existe des études larges comme PISA et qui admistrent des tests à des élèves.

Introduction à l’enquête par sondage

La méthode de l'enquête par sondage a maintenant plus de soixante ans et est bien documentée dans les manuels de méthodologie. Elle consiste à recueillir des informations auprès des gens sur leurs attitudes, comportements, expériences, conditions socio-économiques, etc. par le biais d’un questionnaire. Ce questionnaire peut être administré au format papier, lors d’un entretien présentiel, par téléphone ou par internet. Généralement l'enquête par sondage cherche à tester une théorie sur une assez grande population (e.g. "les étudiants de sciences sociales" ou "les adolescents à la fin de l'enseignement obligatoire dans les pays de l'OCDE"). Le questionnaire ne peut être administré à l’entièreté d’une population et seul un échantillon représentatif, typiquement quelques centaines de personnes, est sollicité pour répondre aux questions.

Voici la structure type d’un plan de recherche pour une enquête par sondage (Tableau 19):

1. Revue de littérature menant aux questions de recherche générales et/ou au cadre d’analyse

2. Vous pouvez utiliser une approche qualitative dans le cadre d’une étude préliminaire pour étudier de nouveaux domaines de recherche et les citer ici.

3. Définition des hypothèses

4. Opérationnalisation des hypothèses, e.g. définition des échelles et des questionnaires liés

5. Définition de la population mère

6. Stratégies d’échantillonnage

7. Identification des méthodes d’analyse

Tableau 19: Eléments d’un plan de recherche pour une enquête par sondage

La mise en oeuvre de ce type de recherche (en dehors de la rédaction) se déroule en cinq étapes (Tableau 20):

1. Elaboration du questionnaire (avec des entrées de préférence provenant d’échelles publiées)

2. Test du questionnaire avec 2-3 sujets

3. Sondage (entretiens présentiels, en ligne ou par écrit)

4. Codage et vérification + construction d’échelle

5. Analyse statistique des données

Tableau 20: Mise en oeuvre d’une enquête par sondage

Conseils pour la rédaction:

1. Séparez la présentation des résultats de la discussion
2. Comparez toujours vos résultats à la théorie
3. Assurez-vous de rendre votre texte lisible, e.g. placez vos résultats dans des tableaux

Niveaux de raisonnement et obstacles à la validité

Nous avons précédemment vu qu’il existe un écart entre le raisonnement théorique et les données empiriques. En tant que chercheur, vous devez être en mesure de formuler des questions de recherche générales à un niveau global et être capable de les relier, par l’intermédiaire de l’opérationnalisation, à des indicateurs et indices précis au niveau des données. Vous devez également comprendre que l’interprétation de données statistiques est complexe et requiert un raisonnement et des connaissances sur les obstacles à la validité interne (Tableau 21).

Niveau de raisonnement	Variables	Cas	Relations (causes)
Théorie	concept /catégorie	dépendent de la portée de votre théorie	sont exprimées verbalement à un niveau de langue élevé
Hypothèse	variables et valeurs (attributs)	population mère (élèves, écoles)	clairement énoncées comme des causalités ou des cooccurrences
Opérationnalisation	dimensions et indicateurs	échantillonnage suffisamment bon	sont des relations statistiques entre des variables statistiques (e.g. échelles composées, variables socio-démographiques)
Mesure	indicateurs observés (e.g. questions de sondage)	sujets dans l’échantillon
Statistiques	mesures (e.g. réponses aux questions), échelles (mesures composées)	données (variables numériques)

Tableau 21: Niveaux de raisonnement dans une approche avec méthodes statistiques

Typologie des erreurs de validité interne

Erreur de type 1

Vous croyez qu’un lien statistique entre deux variables est pertinent, car il existe une bonne corrélation entre ces deux variables, mais «en réalité» cette corrélation n’existe pas. Il se peut que la raison principale soit une variable qui influence les deux.

En termes complexes: vous rejetez à tort l’hypothèse nulle (pas de lien entre les variables)

Erreur de type 2

Vous croyez qu’un lien n’existe pas ... mais «en réalité» il y a bien relation entre les deux variables.

E.g., vous calculez un coefficient de corrélation et les résultats indiquent qu’il est très faible ou insignifiant. Un lien pourrait toutefois exister. La relation n’était peut-être pas linéaire, ou peut-être qu’une autre variable a causé un effet d’interaction...

En termes plus complexes: vous acceptez à tort l’hypothèse nulle

Les méthodes statistiques vous permettent de tester d’autres hypothèses et par conséquent de diminuer les risques d’erreurs de validité internes. Comme toujours: réfléchissez!

Exemples d’enquêtes par sondage

Exemple Facteurs qui favorisent l’utilisation des TIC par les enseignants

Luis Gonzalez (2004): Etude pilote sur la mise en oeuvre et les perceptions des TIC. Mémoire de Master en technologie éducative, Université de Genève, (PDF)

Le but principal de ce travail de recherche, est «d’étudier les facteurs qui favorisent l’utilisation des TIC par les enseignants».

Facteurs

L’auteur définit 8 facteurs et postule qu’il existe des relations entre eux (Figure 36):

Figure 36: Relation entre les facteurs (Mémoire L. Gonzalez, 2004, p. 18)

Hypothèses

Voici un extrait de ce mémoire (pp. 18-19) :

Mon hypothèse principale postule l’existence d’une corrélation entre les facteurs suivants et la mise en oeuvre des TIC par les enseignants:

• Le type de support offert par le cadre institutionnel
• Leurs compétences pédagogiques
• Leurs compétences techniques
• La formation reçue, que ce soit la formation de base ou la formation continue
• Leur sentiment d’auto-efficacité
• Leur perception des technologies
• Leur perception de l’usage pédagogique des TIC
• Leur rationalisation et digitalisation pédagogique

Les hypothèses secondaires sont les suivantes:

• La perception de l’usage pédagogique est corrélée avec les compétences pédagogiques de l’enseignant
• La perception des technologies est corrélée avec celle de l’usage pédagogique
• La dimension de radicalisation et de digitalisation pédagogique est corrélée avec la perception des technologies
• La formation est corrélée avec les compétences pédagogiques et techniques
• Le sentiment d’auto-efficacité de est corrélé avec les compétences pédagogiques et techniques
• La dimension de radicalisation et de digitalisation pédagogique est corrélée avec le sentiment d’auto-efficacité”

Méthode d’échantillonnage (p. 20)

• Echantillon représentatif de futurs enseignants du primaire (étudiants), N = 48
• Echantillon non-représentatif d’enseignants du primaire, N = 38
• Un e-mail a été envoyé à tous les enseignants de Genève disposant d’une adresse électronique, auto-sélection (!)

Remarque: le questionnaire était très long, quelques enseignants qui avaient commencé à le remplir ont abandonné après un certain temps. Ce type d’échantillonnage convient à une étude pilote ou à un petit travail de mémoire de Master

Design du questionnaire

Dans la mesure du possible, les définitions de chaque «domaine conceptuel» (voir ci-dessus) ainsi que les séries de questions et les échelles ont été adaptées depuis la littérature.

Collecte de données

Les données ont été recueillies par l’intermédiaire d’un questionnaire en ligne (à l’aide de l’interface phpESP)

Purification de l’instrument

Cela a été fait par «une analyse factorielle et un regroupement des items définissant des indices susceptibles de résumer les variables» (i.e. les 8 facteurs) p. 21. Remarque: si vous utilisez des instruments publiés et sérieusement testés, cette opération n’est pas nécessaire!

Perception de l’usage pédagogique des TIC

Dans le questionnaire, ce concept est mesuré avec deux séries de questions (échelles).

La perception de l’utilisation pédagogique des TIC se mesure avec deux séries de questions: une première série interroge sur l’attitude des individus à l’égard de «déclarations officielles» sur l’utilisation des ressources informatiques dans l’éducation. La deuxième série mesure l’utilité attribuée à différents types de ressources utilisant l’informatique.

Les deux séries de questions utilisent les mêmes types de réponses: 1=pas du tout d’accord, 2=pas vraiment d’accord, 3=plutôt d’accord, 4=tout à fait d’accord.

A partir de ces questions, trois indices ont été produits (pp.28-9):

• Var_PUP1 ― degré d’importance des outils d’entraide et de collaboration pour les élèves
• Var_PUP2 ― degré d’importance des outils de communication entre élèves
• Var_PUP3 ― accord sur ce qui favorise les apprentissages de type constructiviste