Designs expérimentaux

Manuel de recherche en technologie éducative
Module: Designs de recherche orientés test de théorie
◀▬▬▶
⚐ à améliorer	☸ débutant
⚒ 2018/10/17	⚒⚒ 2015/03/27

Designs expérimentaux

Dans la plupart des disciplines issues des sciences naturelles, la recherche expérimentale représente le paradigme idéal (le meilleur) pour la recherche empirique. L’expérience vise à contrôler les interactions physiques entre les variables.

Voici des questions de recherche types en psychologie de l’éducation:

• Quels sont les effets d’une nouvelle intervention technologique sur la mémorisation de concepts simples à long terme et à court terme?

• Quelle est l’influence de la continuité du déroulement d’une présentation sur la mémorisation d’informations?

Dans les domaines scientifiques, le principe de l’expérience est assez simple:

1. L’objet d’étude est complètement isolé de toute influence liée à son environnement et observé (O₁)
2. Un stimulus est appliqué à l’objet (X₁)
3. Les réactions de l’objet sont observées (O₂)

Ces points sont schématisés dans la figure Le principe de l’expérience

Le principe de l’expérience

O1 = observation de l’état de l’objet non manipulé

X = traitement (stimulus, intervention)

O2 = observation de l’état de l’objet manipulé

L’effet du traitement (X) se mesure par la différence entre O1 et O2. En d’autres termes, une expérience peut corroborer qu’une intervention X aura un effet Y. X et Y sont des variables théoriques qui sont opérationnalisées de la façon suivante. X est le traitement (l’intervention) et Y représente les mesures quantifiées de l’effet par l’intermédiaire de l’opération O₂ ― O₁.

Dans le domaine des sciences humaines (comme dans les sciences de la vie), il n’est pas possible d’isoler totalement un sujet de son environnement. Par conséquent, nous devons nous assurer que les effets de l’environnement soient contrôlés ou du moins répartis de manière égale au groupe contrôle. Voyons à présent quelques stratégies pour mener des expériences dans le domaine des sciences de l’apprentissage.

Expérience simple à l’aide d’un groupe contrôle

Le design simple avec groupe contrôle est montré dans la figure Design expérimental avec groupes aléatoires et groupe contrôle ci-dessous.

Le principe de ce design méthodologique est le suivant:

1. Deux groupes de sujets sont choisis de façon aléatoire (R) dans une population mère, de sorte à éliminer une influence systématique de variables inconnues dans un groupe. Nous partons du principe que les deux groupes seront influencés de façon identique par les mêmes variables non contrôlées.
2. La variable indépendante (X) est manipulée par le chercheur. Il soumettra un groupe à une condition expérimentale, i.e. en appliquant un traitement.
3. Idéalement, les sujets ne devraient pas avoir connaissance des objectifs de la recherche, car ils pourraient consciemment ou inconsciemment influencer les résultats.

Design expérimental avec groupes aléatoires et groupe contrôle

Afin d’analyser les effets, nous comparons les effets du traitement (stimulus) et de l’absence de traitement des deux groupes. On appelle également la mesure «O» un post-test, car nous l’appliquons après le traitement.

Ci-dessous, nous discutons brièvement à l'aide d'un exemple abstrait comment analyser des résultats. Les questions d’analyse sont formulées dans cet esprit: quelle est la probabilité que le traitement X produise l’effet O? Le tableau ci-dessus présente les effets de l’expérience. Nous pouvons constater que l’effet sur le groupe expérimental (soumis au traitement) est plus important que sur le groupe non expérimental, et inversement.

Traitement	Effet (O)	Absence d’effet (O)	Effet complet pour un groupe
traitement: (groupe X)	plus important	moins important	100%	nous appliquons une comparaison «verticale»
absence de traitement: (groupe non-X)	moins important	plus important	100%

Tableau: Expérience simple avec postest et groupe contrôle aléatoire

Expérience simple avec plusieurs traitements

L’expérience simple avec plusieurs traitements est un design légèrement différent, mais semblable sur le principe (Figure 24). Nous souhaitons observer les effets de différents types de traitements.

Figure 24: Expérience simple avec différents traitements

Exemple: on répartit des étudiants de première année dans différentes sessions, utilisant chacune une pédagogie particulière (e.g. pédagogie collaborative, pédagogie transmissive, etc.) (X). On cherche à savoir si en fin de formation les effets sont différents (O). Remarque: O₁, O₂ et O₃ utilisent les mêmes tests.

Problèmes de l’expérience simple

De tels designs, qui sont orientés uniquement «post-test», ne sont pas optimaux, pour plusieurs raisons.

• Sélection: les sujets ne sont pas forcément les mêmes dans différents groupes. Les échantillons étant typiquement très petits (12-20 / groupe), une sélection aléatoire de sujets pourrait ne pas fonctionner.

• Réactivité des sujets: les individus se posent des questions sur l’expérience, ce qui mène à des effets de compensation, ou bien les individus peuvent changer entre les observations pour des raisons autres.

• Difficulté de contrôler certaines variables dans un contexte réel. Exemple: une nouvelle pédagogie utilisant les TIC pourrait mieux fonctionner pour plusieurs raisons: a) du fait qu’elle stimulerait l’enseignant, b) du fait que les apprenants seraient plus attentifs et travailleraient plus, ou c) simplement du fait que les groupes expérimentaux seraient plus petits que dans des conditions réelles, ce qui permettrait à chaque étudiant d’obtenir plus d’attention.

En principe, on peut tester de telles variables intermédiaires avec de nouvelles conditions expérimentales, mais pour chaque nouvelle variable, il faudrait ajouter au moins deux groupes expérimentaux, ce qui est très coûteux. Intéressons-nous à présent à un design plus courant qui comprend des pré-tests.

Expérience simple avec pré-tests

Le design suivant cherche à contrôler les différences qui peuvent exister entre deux groupes expérimentaux, i.e. nous ne nous appuyons pas sur un système aléatoire ou nous ne pouvons attribuer des sujets aléatoirement à un groupe. C’est typiquement le cas lorsque nous choisissons par exemple deux classes dans un environnement scolaire, que nous soumettons à deux traitements différents.

Voici la «formule» du design (Figure 25):

Figure 25: Design expérimental avec groupe contrôle, pré-test et post-test

L’analyse des résultats est menée de façon légèrement différente qu’avec le design aléatoire sans pré-tests. Afin de contrôler la différence potentielle entre les groupes, nous comparons la différence entre O₂ et O₁ avec la différence entre O₄ et O₃. O₁ à O₄ sont des tests identiques.

Effet = (O₂-O₁) comparé à (O₄-O₃).

Ce design présente également des désavantages: l’effet de la première mesure (le pré-test) peut influencer le résultat. Exemple: (a) si X est censé augmenter l’effet pédagogique, les tests O₁ et O₃ peuvent également avoir un effet (les apprenants apprennent en faisant le test). L’effet de X uniquement peut ainsi être surestimé.

Cet effet d’expérience peut être contrôlé par le design de Solomon, dont le principe est similaire (Figure 26). Cette méthode requiert deux groupes de contrôle supplémentaires; elle est donc plus coûteuse.

Figure 26: Le design de Solomon

Le design de Solomon combine le design de l’expérience simple avec le design du pré-test.

Il est par exemple possible de tester si

O₂ > O₁, O₂ > O₄, O₅ > O₆ et O₅ > O₃

Une simple comparaison de deux situations différentes n’est pas une expérience! La variable de traitement X doit être simple et unidimensionnelle (sans quoi vous ne connaissez pas la cause précise d’un effet). Nous reviendrons sur ce problème lorsque nous parlerons des designs de recherche quasi expérimentaux.

Les designs expérimentaux, dont les sujets sont des personnes exposées à des tâches significatives, ne font qu’apporter des éléments pour confirmer ou infirmer une hypothèse. Nous ne devrions jamais utiliser les termes «preuve» et «vérification», et leur préférer les termes «corroboration» ou «témoignage factuel».

Designs factoriels

Dans cette introduction, nous avons uniquement présenté des designs expérimentaux simples, i.e. le type de designs auquel on pourrait s’attendre dans une mémoire de Master mené par des novices en recherche expérimentale. Nous n’allons pas élaborer de designs factoriels en détails, mais souligner les principes de base.

Dans la recherche en technologie éducative et les domaines liés, les chercheurs tentent souvent d’étudier l’influence de plus d’un facteur X et cherchent à savoir comment les facteurs X_A et X_B interagissent. Contrôler des interactions entre deux variables indépendantes requiert au moins quatre groupes.

Exemple: Design simple à deux facteurs

Imaginons un design simple à deux facteurs: «Quelle est l’influence de la durée d’une formation (1h vs 4h) et de la modalité d’apprentissage (présentiel vs à distance) sur les résultats de l’apprenant?»

Le facteur A correspond à la durée de la formation et le facteur B à la modalité d'apprentissage

		Facteur A
		Condition: 1 heure	Condition: 4 heures
Facteur B	Condition: présentiel	Groupe 1	Groupe 3
	Condition: à distance	Groupe 2	Groupe 4

Tableau: Design simple à deux facteurs

Nous pourrions également utiliser une notation similaire à celle que nous avons utilisée précédemment mais elle devrait être interprétée différemment. Par exemple, X₁₁ signifie qu’un groupe est dans la condition A = 1 et dans la condition B = 1, et X₂₁ signifie qu’un groupe est dans la condition A = 2 et B = 1 (Figure Design simple à deux facteurs).

Figure: Design simple à deux facteurs

Nous pourrions dans un premier temps analyser les effets de chaque facteur (comme dans l’exemple précédent) mais, il est plus intéressant de tester comment ces facteurs interagissent, e.g. il pourrait ne pas y avoir de différence entre les groupes 1 et 3 (ce qui signifierait que pour la condition «présentiel», une heure de formation suffit), mais il pourrait y avoir une différence entre les groupes 2 et 4, ce qui signifierait que le temps de formation a un effet sur la condition «à distance».

Comme nous l’avons indiqué précédemment, l’explication des designs factoriels sort du cadre de cette introduction. Si vous souhaitez en apprendre davantage, vous pouvez lire le document en ligne, en anglais, de Bill Trochim sur les designs factoriels.

La non-expérience: ce qu’il faut éviter

Intéressons-nous à des mauvais designs, car nous les rencontrons souvent dans des discours de décideurs ou dans les esquisses de propositions de recherche. Evitez-les à tout prix, car les experts n’acceptent aucun résultat issu d’une logique défectueuse.

La (non) expérience sans groupe contrôle ni pré-test

Le premier design de mauvaise qualité ressemble à la Figure 28:

Figure 28: Expérience de mauvaise qualité (1)

Nous observons simplement les données (O) après un événement (X).

Exemple 1. Un mauvais discours sur les compétences des élèves en matière de TIC:

Intéressons-nous à l’affirmation suivante: Depuis que nous avons introduit les TIC dans le programme, la plupart des élèves de l’école ont des bonnes compétences en recherche d’information sur le web.

Dans une telle affirmation, il manque une réelle comparaison!

• Nous ne faisons aucune comparaison avec d’autres écoles qui ne proposent pas de formation aux TIC. Les meilleures compétences des élèves en matière de recherche d’information sur le web s’expliquent peut-être simplement par une tendance générale, puisque la plupart d’entre eux ont accès à un ordinateur et à internet à la maison.

• On ne connaît même pas la situation antérieure!

Une affirmation telle que «la plupart des élèves ont de bonnes compétences en X» signifie que vous ne vous intéressez pas à ce qui se passe dans d’autres contextes qui n’incluent pas les TIC dans leur programme. Par conséquent, l’argument selon lequel l’introduction des TIC a un effet sur les écoles n’est pas valable.

Variable à expliquer (O)	X = TIC à l’école	X = pas de TIC à l’école
Mauvaises compétences en recherche d’information sur le web	10 étudiants	???	Comparaison horizontale des % impossible
Bonnes compétences en recherche d’information sur le web	20 étudiants	???

Les choses ont changé... ce qui signifie que vous n’êtes pas conscient de la situation préalable au changement.

Variable à expliquer (O)	avant	après
Mauvaises compétences en recherche d’information sur le web	???	10 étudiants	Comparaison horizontale de % impossible
Bonnes compétences en recherche d’information sur le web	???	20 étudiants

Intéressons-nous à présent à un autre mauvais design.

Expériences sans distribution aléatoire ni pré-test

Dans le design suivant (Figure 29), le problème est qu’il n’y a aucun contrôle sur les conditions et l’évolution des groupes contrôle

Figure 29: Expérience de mauvaise qualité (2)

Voici un exemple typique d’affirmation posant problème: la moyenne des notes obtenues est meilleure dans les écoles qui utilisent des animations multimédia. La moyenne des notes obtenues dans l’école A, qui utilise des animations multimédia, peut être meilleure que dans l’école B pour des raisons complètement différentes. Il se pourrait simplement que l’école A attire des élèves provenant de milieux socio-économiques différents, qui ont généralement de meilleures notes. En outre, les écoles disposant de moyens financiers plus importants peuvent introduire des animations multimédia et attirer de meilleurs élèves.

Pour terminer, voyons un dernier exemple de mauvais design: une expérience sans groupe contrôle (Figure 30).

Expérience sans groupe contrôle

Figure 30: Expérience de mauvaise qualité (3)

Dans ce design, nous ne savons pas si X est la cause réelle.

Exemple: Depuis que j’ai acheté à ma fille de nombreux jeux vidéo, elle est bien meilleure en dactylographie. Vous ne savez pas si cette évolution est «naturelle» (les enfants s’améliorent toujours après avoir utilisé un clavier plusieurs fois) ou si la fille en question a appris à dactylographier par un autre moyen. On appelle ce phénomène «évolution naturelle» ou «régression statistique» de la population.

Exemples de Master et de thèses de type expérimental

Nous allons maintenant présenter un mémoire de Master type qui utilise un design expérimental pour étudier dans quelle mesure les moyens d’apprentissage multimédias influencent l’apprentissage.

Influence des animations multimédias sur l’apprentissage

L’auteur a présenté deux mémoires de Master liés, l’un en technologie de l’éducation (en français), l’autre en psychologie expérimentale (en anglais). Voici un résumé du mémoire en technologie de l’éducation.

• Rebetez, C. (2004). Sous quelles conditions l’animation améliore-t-elle l’apprentissage? Mémoire de Master (145p.). MSc MALTT (Master MALTT), TECFA, University of Geneva, http://tecfa.unige.ch/perso/staf/rebetez/papers/memoire_staf.pdf

Question de recherche centrale

Notre recherche a pour objectif de mettre en évidence l'influence, de la continuité du flux, de la collaboration, de la permanence des états antérieurs, ainsi que de vérifier la portée de variables individuelles telles que l'empan visuel et les capacités de rotation mentale (p. 33).

Variables explicatives (indépendantes), i.e. conditions

1. Animation, condition statique vs. condition dynamique: permet de visualiser la transition entre les états. La présentation statique force les étudiants à imaginer le mouvement des éléments.
2. . Permanence, condition de présence ou d’absence: le fait de présenter des états antérieurs de l’animation aux étudiants leur permet une meilleure mémorisation et les aide à construire leur modèle.
3. Collaboration, condition de présence ou d’absence: le fait de travailler à plusieurs devrait permettre aux étudiants de créer des représentations plus abouties.

Afin de tester les effets de ces conditions, 3 x 3 = 9 groupes expérimentaux ont dû être testés.

Hypothèse opérationnelle

1. Animation
   • Les scores d’inférence ainsi que les scores de rétention seront plus élevés en condition dynamique qu’en condition statique.
   • La charge cognitive perçue sera plus élevée en condition dynamique qu’en condition statique.
   • Les temps de discussion ainsi que les niveaux de certitude n’ont pas de raison d’être différents entre les conditions.
2. Permanence
   • Les participants en condition avec permanence auront de meilleurs résultats aux questionnaires que les participants en condition sans permanence. Les résultats d’inférence sont tout particulièrement visés par cet effet.
   • La charge cognitive perçue ne devrait pas être différente entre ces deux conditions. Les temps de discussion ainsi que les niveaux de certitude devraient être plus élevés avec que sans permanence.
   • L’influence de la permanence sera d’autant plus grande si les participants sont en condition de présentation dynamique.
3. Collaboration
   • La collaboration aura un effet positif sur l’apprentissage, autant en ce qui concerne la rétention que l’inférence. Toutefois, l’inférence devrait être tout particulièrement avantagée en cas de « grounding ». Les participants en duo auront donc de meilleurs scores que les participants en solo.
   • En référence à Schnotz et al. (1999), nous attendons une charge cognitive perçue plus haute en condition duo qu’en condition solo.
   • Les temps de discussion devraient être naturellement plus grand en condition duo. Les niveaux de certitude devraient également s’élever en condition duo face à la condition solo.

Méthode (petit résumé)

1. Population:
   • 160 étudiants. Ils ont tous été soumis à un test visant à évaluer s’ils sont novices (i.e. s’ils montrent des lacunes en termes de connaissances du matériel utilisé dans l’expérience).
2. Matériel:
   • Le matériel pédagogique consiste en deux contenus multimédias différents (géologie et astronomie), dont chacun se décline en deux versions. Il y a 12 animations pour les conditions dynamiques, et 12 images statiques pour les conditions statiques.
   • Contenu du matériel pédagogique: «le transit de Vénus», réalisé avec VRML, et «Formation des océans et des chaînes de montagnes», réalisé avec Flash.
   • Ces médias ont été intégrés dans Authorware (pour prendre des mesures et pour garantir une interface consistante)
3. Procédure (résumé)
   • Pré-test (5 questions)
   • Introduction (briefing)
   • Pour conditions solo: test de pliage de papier et test visuo-spatial de Corsi
   • Test avec matériel
   • Test de charge cognitive (NASA-TLX)
   • Post-test (17 questions)
4. Variables dépendantes mesurées:
   • Nombre de réponses correctes aux questionnaires de rétention.
   • Nombre de réponses correctes aux questionnaires d’inférence.
   • Niveau de certitude des réponses aux questionnaires.
   • Scores sur cinq échelles de charge cognitive perçue (tirées du nasa-tlx).
   • Score au paper-folding test.
   • Score d’empan au test de Corsi.
   • Temps (sec) et nombre d’utilisation des vignettes en condition de permanence.
   • Temps de réflexion entre les présentations (sec).

Learning from multimedia animations. Control, collaboration and mental models

Ce deuxième exemple est une thèse de doctorat, sur le même sujet, par le même auteur, en anglais. Cyril Rebetez

• La thèse est également disponible en ligne: http://archive-ouverte.unige.ch/unige:4860
• Le projet de thèse est disponible en ligne: http://tecfaetu.unige.ch/perso/staf/rebetez/blog/wp-content/files/ThesisProject_Rebetez.pdf

The influences of location awareness on computer-supported collaboration

L'exemple 3: Thèse de doctorat de Nicolas Nova, en anglais:

http://infoscience.epfl.ch/record/100038/files/EPFL_TH3769.pdf

Computer support for interaction regulation in collaborative problem-solving

Exemple 4: Thèse de Patrick Jermann, en anglais:

http://tecfa.unige.ch/tecfa/research/theses/jermann2004.pdf

Conclusion et pratique

Faire une thèse expérimentale de qualité est plus difficile au départ, car ce type de thèse demande beaucoup de rigeur et un certain bagage technique. Toutefois, avec un bon encadrement et une fois les premiers obstacles franchis, ce type de thèse se fait plus rapidement. Autrement dit, on souffre plus au départ, mais moins au milieu et à la fin.

Pour pratiquer:

---

1. Quel est le lien entre une variable indépendante et une condition?
2. Pourquoi la répartition aléatoire est-elle importante?
3. Définissez l’effet de l’expérience.

Etude de cas

1. Téléchargez l’article de Jamet, E. & Arguel A. (2008), « La compréhension d'un document technique multimédia peut-elle être améliorée par une présentation séquentielle de son contenu ? », Le travail humain 3 (Vol. 71), p. 253-270, DOI : 10.3917/th.713.0253
2. Faites un résumé de l’article, de manière similaire à ce qui a été entrepris ci-dessus avec le mémoire de Rebetez, en prenant soin d’indiquer: la question de recherche, les variables indépendantes et les variables dépendantes, les hypothèses, la méthode (échantillon, procédure, variables dépendante mesurée).