« Designs de recherche orientés test de théorie » : différence entre les versions

De EduTech Wiki
Aller à la navigation Aller à la recherche
mAucun résumé des modifications
m (→‎Introduction au module : correction orthographe)
 
(41 versions intermédiaires par 4 utilisateurs non affichées)
Ligne 1 : Ligne 1 :
{{tutoriel
{{tutoriel
|fait_partie_du_cours=Manuel de recherche en technologie éducative
|fait_partie_du_cours=Manuel de recherche en technologie éducative
|est_module_de=Designs de recherche orientés test de théorie
|module_précédant=Principes de la recherche empirique
|module_suivant=Design de recherche orientés formulation de théorie
|pas_afficher_sous-page=Non
|page_precedente=De la théorie aux données‎‎
|page_precedente=De la théorie aux données‎‎
|page_suivante=Design de recherche orientés formulation de théorie
|page_suivante=Designs expérimentaux
|statut=à améliorer
|statut=à améliorer
|dernière_modif=2015/03/27
|dernière_modif=2015/03/27
|difficulté=débutant
|difficulté=débutant
|voir_aussi=Design de recherche orientés formulation de théorie, Designs de recherche orientés recherche design
|pages_module=Designs de recherche orientés test de théorie,Designs_expérimentaux,Designs quasi-expérimentaux,Designs statistiques,Design comparaison de systèmes similaires‎
}}
}}
== Introduction ==
== Introduction au module ==


Nous avons précédemment présenté trois grandes familles d’approches de recherche: la recherche explicative, orientée vérification de théorie, la recherche interprétative, orientée création de théorie, et la recherche design. Dans ce chapitre, nous présenterons des designs de recherche (stratégies d’investigation) explicatifs, orientés vérification de théorie, i.e. le courant dominant des sciences sociales. La plupart des recherches en sciences de l’éducation publiées dans des revues de qualité s’appuient sur cette méthodologie. Plusieurs recherches évaluation reposent également sur une approche descendante fondée sur des modèles théoriques.     
Nous avons précédemment présenté trois grandes familles d’approches de recherche: (1) la recherche explicative, orientée test de théorie, (2) la recherche interprétative, orientée création de théorie, et (3) la recherche design. Dans ce chapitre, nous présenterons des designs de recherche (stratégies d’investigation) explicatifs, orientés test de théorie, i.e. le courant dominant des sciences sociales. La plupart des recherches en sciences de l’éducation publiées dans des revues de qualité s’appuient sur cette méthodologie. Plusieurs recherches d'évaluation reposent également sur une approche descendante fondée sur des modèles théoriques.     


 
Objectifs d’apprentissage 


Objectifs d’apprentissage  
* Comprendre les principes fondamentaux de la recherche orientée test de théorie  


* Comprendre les principes fondamentaux de la recherche orientée vérification de théorie 
* Se familiariser avec quelques approches principales et être en mesure de les distinguer


* Se familiariser avec quelques approches principales et être en mesure de les distinguer 
== Principes ==
=== Introduction ===
    
    
 
La recherche quantitative cherche à vérifier une théorie en examinant les relations existant entre les variables. Ces variables peuvent être mesurées, par des instruments, afin de générer des données numériques qui vont pouvoir être analysées avec des procédures statistiques. De plus, une étude quantitative a une structure fixe comportant une introduction, la littérature et la théorie, les méthodes, les résultats et la discussion (Creswell, 2014, p. 247).
La recherche quantitative cherche à vérifier une théorie en examinant les relations existant entre les variables. Ces variables peuvent être mesurées, par des instruments, afin de générer des données numériques qui vont pouvoir être analysées avec des procédures statistiques. De plus, une étude quantitative a une structure fixe comportant une introduction, la littérature et la théorie, les méthodes, les résultats et la discussion. (Creswell, 2014, p. 247)


Les éléments les plus importants d’un design empirique fondé sur la théorie sont de ce fait (Figure 21): la théorie, les hypothèses, les mesures et les analyses causales (statistiques).   
Les éléments les plus importants d’un design empirique fondé sur la théorie sont de ce fait (Figure 21): la théorie, les hypothèses, les mesures et les analyses causales (statistiques).   


 
[[Fichier:Principaux éléments d'une recherche empirique fondée sur la théorie.png|cadre|néant|Figure 21: Principaux éléments de la recherche empirique fondée sur la théorie ]]


Figure 21: Principaux éléments de la recherche empirique fondée sur la théorie
* ''Conceptualisations:'' chaque question de recherche est détaillée par l’intermédiaire d’une ou de plusieurs hypothèses. Les hypothèses sont toujours ancrées dans la théorie.


 
* ''Mesures:'' les mesures sont généralement quantitatives (e.g. données expérimentales, données d’enquêtes, «statistiques» organisationnelles ou publiques, etc.) et s’appuient sur des artefacts, tels que des sondages ou du matériel expérimental.   
 
* ''Conceptualisations:'' chaque question de recherche est détaillée par l’intermédiaire d’une ou de plusieurs hypothèses. Les hypothèses sont ancrées dans la théorie. 
 
* ''Mesures:'' les mesures sont généralement quantitatives (e.g. données expérimentales, données d’enquêtes, «statistiques» organisationnelles ou publiques, etc.) et s’appuient sur des artéfacts tels que des sondages ou du matériel expérimental.   


* ''Analyses et conclusions:'' les hypothèses sont testées à l’aide de méthodes statistiques, par exemple des designs expérimentaux ou des designs corrélationnels (statistiques).   
* ''Analyses et conclusions:'' les hypothèses sont testées à l’aide de méthodes statistiques, par exemple des designs expérimentaux ou des designs corrélationnels (statistiques).   


Il existe plusieurs variantes d’approches de recherche orientées vérification de théorie. Nous allons nous intéresser à certaines d’entre elles dans les chapitres suivants. Ces différentes approches ont des suppositions et des modèles méthodologiques en commun, que nous présenterons en temps voulu.
Il existe plusieurs variantes d’approches de recherche orientées test de théorie. Nous allons nous intéresser à certaines d’entre elles dans les chapitres suivants. Ces différentes approches ont des suppositions et des modèles méthodologiques en commun, que nous présenterons en temps voulu.
=== Designs expérimentaux  ===
 
 
Dans la plupart des disciplines issues des sciences naturelles, la recherche expérimentale représente le paradigme idéal (le meilleur) pour la recherche empirique. L’expérience vise à ''contrôler les interactions physiques entre les variables.'' 
 
Voici des questions de recherche types en psychologie de l’éducation: 
 
* Quels sont les effets d’une nouvelle intervention technologique sur la mémorisation de concepts simples à long terme et à court terme? 
 
* Quelle est l’influence de la continuité du déroulement d’une présentation sur la mémorisation d’informations? 
 
Dans les domaines scientifiques, le principe de l’expérience est assez simple: 
 
1. L’objet d’étude est complètement isolé de ''toute'' influence liée à son environnement et observé (O<sub>1</sub>) 
 
2. Un stimulus est appliqué à l’objet (X<sub>1</sub>) 
 
3. Les réactions de l’objet sont observées (O<sub>2</sub>) 
 
Ces points peuvent être schématisés de cette façon (Figure 22): 
 
 
 
Figure 22: Le principe de l’expérience 
 
O1 = observation de l’état de l’objet non manipulé 
 
X = traitement (stimulus, intervention) 
 
O2 = observation de l’état de l’objet manipulé 
 
L’effet du traitement (X) se mesure par la différence entre O1 et O2. En d’autres termes, une expérience peut corroborer qu’une ''''intervention X ''''aura un ''''effet Y. ''''X et Y sont des variables théoriques qui sont opérationnalisées de la façon suivante. X est le traitement (l’intervention) et Y représente les mesures quantifiées de l’effet par l’intermédiaire de l’opération O<sub>2</sub> ― O<sub>1</sub>. 
 
Dans le domaine des sciences humaines (comme dans les sciences de la vie), il n’est pas possible d’isoler totalement un sujet de son environnement. Par conséquent, nous devons nous assurer que les effets de l’environnement soient contrôlés ou du moins répartis de manière égale au groupe contrôle. Voyons à présent quelques stratégies pour mener des expériences dans le domaine des sciences de l’apprentissage. 
====  Expérience simple à l’aide d’un groupe contrôle  ====
 
 
Voici à quoi ressemble un design simple avec groupe contrôle (Figure 23): 
 
 
 
Figure 23: Design expérimental avec groupes aléatoires et groupe contrôle 
 
 
 
Le principe de ce design méthodologique est le suivant. 


1. Deux groupes de sujets sont choisis de façon aléatoire (R[#_msocom_4 &#91;B4]]) dans une population mère, de sorte à éliminer une influence systématique de variables inconnues dans un groupe. Nous partons du principe que les deux groupes seront influencés de façon identique par les mêmes variables non contrôlées. 
== Résumé ==


2. La variable indépendante (X) est manipulée par le chercheur. Il soumettra un groupe à une condition expérimentale, i.e. en appliquant un traitement. 
=== Liste de designs ===


3. Idéalement, les sujets ne devraient pas avoir connaissance des objectifs de la recherche, car ils pourraient consciemment ou inconsciemment influencer les résultats.   
Dans ce module sur les '''designs de recherche orientés test de théorie''', nous présentons quelques designs de recherche fondés sur la théorie, que nous résumons dans le tableau ci-dessous avec quelques cas d’utilisation types. Il existe d’autres designs fondés sur la théorie que nous n’avons pas présentés, e.g. les simulations.   


Afin d’analyser les effets, nous comparons les effets du traitement (stimulus) et de l’absence de traitement des deux groupes. On appelle également la mesure «O» un ''post-test'', car nous l’appliquons ''après'' le traitement.  
<table class="wikitable" style="background-color:#D8FF8B;">
<tr>
<th>Approche</th>
<th>
Quelques cas d’utilisation</th>
</tr>
<tr>
<th>[[Designs expérimentaux]]</th>
<td>
<ul>
<li>Enquêtes psychopédagogiques</li>
<li>Interface homme machine</li>
</ul>
</td>
</tr>
<tr>
<th>[[Designs quasi-expérimentaux]]</th>
<td>
<ul>
<li>Ingénierie pédagogique (dans son ensemble) </li>
<li>Psychologie sociale  </li>
<li>Analyse de politiques publiques  </li>
<li>Réforme éducative </li>
<li>Réforme organisationnelle</li>
</ul>
</td>
</tr>
<tr>
<th>[[Designs statistiques]]</th>
<td>
<ul>
<li>Les pratiques pédagogiques </li>
<li>modèles d’usages</li>
</ul>
</td>
</tr>
<tr>
<th>[[Design comparaison de systèmes similaires]]</th>
<td>
<ul>
<li>Analyse des politiques publiques  </li>
<li>Education comparative</li>
</ul>
</td>
</tr>
</table>  


''Exemple 1. Expérience simple avec postest et groupe contrôle aléatoire''  <table class=MsoNormalTable border=1 cellspacing=0 cellpadding=0 width="100%"
Bien entendu, vous pouvez combiner plusieurs de ces approches dans un projet de recherche. Vous pouvez également utiliser différents designs pour la même question afin d’obtenir différents éléments de réponse.
style='width:100.0%;border-collapse:collapse;border:none'> <tr> <td valign=top style='border:solid windowtext 1.0pt;background:#E0E0E0;
  padding:1.4pt 1.4pt 1.4pt 1.4pt'>


traitement  </td> <td width="17%" valign=top style='width:17.1%;border:solid windowtext 1.0pt;
== Appropriation de la thématique par des doctorants ==
  border-left:none;background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>  
Résumés réalisés par des doctorants dans le cadre du Module 3 de [https://tecfa.unige.ch/tecfa/teaching/reset/ RESET-Francophone].
=== Principes, étapes et caractéristiques d’une enquête par sondage ===
Résumé réalisé par Corinne Ramillon et Chau Nguyen . <br>


effet (O) </td> <td width="14%" valign=top style='width:14.9%;border:solid windowtext 1.0pt;
La définition donnée par Milot (2015) pour le recensement et le sondage est la suivante : le recensement est une étude statistique auprès de toute la population. Si le public interrogé est un plus petit échantillon alors il s’agit d’un sondage.<br>
  border-left:none;background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>  


absence d’effet (O) </td> <td width="23%" valign=top style='width:23.16%;border:solid windowtext 1.0pt;
Mais alors comment choisir entre sondage et recensement ?
  border-left:none;background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
Selon Milot (2017) et Amyotte & Pépin (2017), le recensement semble plus réaliste car toute la population est interrogée mais il est plus difficile à réaliser en fonction d’obstacles géographiques : l’étendue du territoire à parcourir peut être très vaste, d’obstacles démographiques : la taille de la population à interroger peut engendrer un surcroît de temps pour la récolte des données, d’obstacles financiers : tant les distances que le nombre de participants peuvent engendrer des coûts fort élevés, des obstacles temporels : le recensement est chronophage et en plus il peut être lourd pour le public visé car il est possible que ce dernier ait subi déjà plusieurs autres recensements. Il existe également un dernier obstacle lié à la méthode de collecte : cette dernière peut être destructrice selon le type de produit étudié (par exemple, si l’on analyse la durée de vie d’une ampoule en la laissant allumée jusqu’à sa fin de vie, les coûts liés au matériel s’avèrent fort importants.).


effet complet pour un groupe  </td> <td width="26%" valign=top style='width:26.82%;border:solid windowtext 1.0pt;
Pour Milot (2017), le sondage est plus économique, sa durée de vie est plus courte que le recensement, il est moins destructeur pour le produit, la population est moins sollicitée, ce qui le rend beaucoup plus favorable pour la récolte des données de la recherche.<br>
  border-left:none;background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>  
Parmi les designs envisageables pour l’enquête par sondage, nous trouvons un premier type, les designs expérimentaux (avec groupes test et témoin, pré et post-tests et distribution aléatoire des sujets obligatoire) et un deuxième type, les designs quasi-expérimentaux (avec seulement le groupe test et distribution aléatoire des sujets pas toujours respectée) qui servent à la réalisation  des questionnaires dans les enquêtes par sondage (EduTech Wiki). Amyotte & Pépin (2017) mentionnent également que l’enquête par questionnaire est “une méthode d’investigation très flexible et très polyvalente”. La mise en place de variables de contrôle ne doit pas être oubliée pour tester des hypothèses alternatives (EduTechWiki).<br>


'''' </td> </tr> <tr> <td valign=top style='border:solid windowtext 1.0pt;border-top:none;
Le troisième type de designs fréquent dans les enquêtes par sondage, sont les designs statistiques. Dans une enquête par sondage selon le design statistique, ce sont des attitudes, des comportements, des expériences, des conditions socio-économiques, etc qui sont recherchés auprès de la population par le biais d’un questionnaire, sans intervention auprès des sujets. Plusieurs méthodes sont possibles : papier, téléphone, entretien, questionnaire en ligne. La plupart du temps, le questionnaire ne peut être administré à l’entièreté de la population mais seulement à un échantillon représentatif, typiquement quelques centaines de personnes.<br>
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>  
De plus, il ne faut pas négliger les obstacles à la validité interne de ces types de designs. Une question clé doit être systématiquement posée : quelles sont les autres variables non-contrôlées voire cachées qui pourraient influencer les observables ? Campbell et Stanley (1963) ont élaboré une typologie de ces obstacles dont tout chercheur doit se méfier : l’histoire, la maturation, le test, l’instrumentation, la régression statistique, l’auto- sélection, la mortalité, l’interaction avec la sélection, l’ambiguïté directionnelle, la diffusion ou imitation de traitement et l’égalisation compensatoire.<br>
Une fois que ces variables non-contrôlées voire cachées ont été détectées, il faut également rechercher la validité des données dans ces types de designs. Pour ce faire, Campbell et Stanley (1963) ont défini quatre types de validité : la validité interne, la validité externe, la validité statistique et la validité de construction. Cette typologie est également transposable dans d’autres contextes de recherche telles que les analyses qualitatives structurées ou les designs statistiques.<br>
La structure type d’un plan d’une enquête par sondage se présente ainsi :
Revue de littérature – questions de recherches – cadre d’analyse – approche qualitative possible lors de l’enquête préliminaire – hypothèses – opérationnalisation – définitions des variables (qualitatives, quantitatives continues et quantitatives discrètes) - définitions des échelles (nominale, ordinale, d’intervalles, de rapports) et des questionnaires – définition de la population cible – stratégies d’échantillonnage – identification des méthodes d’analyse – élaboration du questionnaire – test sur quelques sujets – sondage – codage et vérification – construction de l’échelle – analyse statistique des données.<br>
Selon Vilatte (2007), « Le fait auquel renvoie l’objet de l’enquête est soumis à quatre principales transformations qui sont inhérentes à toute démarche d’enquête et de manière plus générale à toute démarche de recherche et qui sont : la délimitation du fait par la définition de l’objet d’étude, la sélection des éléments jugés pertinents au travers des questions, le tri par l’activité de codage et de recodage des informations recueillies, la lecture seulement d’une partie des données. ».<br>
Selon Ghiglione (1987), les objectifs d’un questionnaire d’enquête par sondage sont de plusieurs types : la description, l’estimation et la vérification d’une hypothèse. Amyotte & Pépin (2017) présente les mêmes mais regroupe les deux derniers types sous l’appellation statistique inférentielle.<br>
Quant à Lapointe (2000), il estime qu’il y a plutôt deux types d’enquête par sondage : l’enquête descriptive ou l’enquête causale (avec variable dépendante et indépendante).<br>
D’après Vilatte (2007), l’élaboration d’un tel questionnaire se fait en différentes phases. Il faut tout d’abord définir l’objet de  l’enquête, puis  les objectifs et  les hypothèses,  la population ou l’univers de  l’enquête, l’échantillon représentatif (par méthode aléatoire ou méthode de quotas). Il faut ensuite rédiger un projet de questionnaire, « sorte de canevas traçant les grands traits du questionnaire » (Vilatte, 2007) puis le tester en le mettant à l’épreuve auprès de quelques personnes. Ce n’est qu’une fois ces étapes passées que l’on peut rédiger la version définitive du questionnaire pour le transmettre à la population choisie en fonction du choix du mode d’administration et de sa présentation (par enquêteur, en auto-administration, par envoi postal, par téléphone, par internet).<br>
Un questionnaire est composé de trois parties : les instructions, les questions, la grille de codification des réponses.
Une fois les données récoltées, il faut passer par la phase de dépouillement et de codage avant de pouvoir analyser les résultats en relation avec les objectifs de l’enquête. Pour terminer, la dernière phase consiste en la rédaction du rapport et son éventuelle publication.


traitement: <br> (groupe X)  </td> <td width="17%" valign=top style='width:17.1%;border-top:none;border-left:
=== Qu’est-ce qu’une recherche quantitative? ===
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
Résumé réalisé par Mahamadou Halilou
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>


plus important </td> <td width="14%" valign=top style='width:14.9%;border-top:none;border-left:
Creswell (2014), répond à cette question en ces termes : La recherche quantitative cherche à tester une théorie en examinant les relations existant entre les variables. Ces variables peuvent être mesurées, par des instruments, afin de générer des données numériques qui vont pouvoir être analysées avec des procédures statistiques. De plus, une étude quantitative a une structure fixe comportant une introduction, la littérature et la théorie, les méthodes, les résultats et la discussion (Creswell, 2014, p. 247).  
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>


moins important </td> <td width="23%" valign=top style='width:23.16%;border-top:none;border-left:
Mais faisons attention aux erreurs qui peuvent entacher ces recherches voir les entamer : quelles sont-elles ?
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>


100%  </td> <td width="26%" rowspan=2 valign=top style='width:26.82%;border-top:none;
Première erreur : Vous croyez qu’un lien statistique entre deux variables est pertinent, car il existe une bonne corrélation entre ces deux variables, mais «en réalité» cette corrélation n’existe pas. Il se peut que la raison principale soit une variable qui influence les deux.
  border-left:none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>


nous appliquons une comparaison «verticale»  </td> </tr> <tr> <td valign=top style='border:solid windowtext 1.0pt;border-top:none;
En termes complexes: vous rejetez à tort l’hypothèse nulle (pas de lien entre les variables)
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>


absence de traitement:<br> (groupe non-X)  </td> <td width="17%" valign=top style='width:17.1%;border-top:none;border-left:
Seconde erreur : Vous croyez qu’un lien n’existe pas ... mais «en réalité» il y a bien relation entre les deux variables.
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>


moins important </td> <td width="14%" valign=top style='width:14.9%;border-top:none;border-left:
Ex : vous calculez un coefficient de corrélation et les résultats indiquent qu’il est très faible ou insignifiant. Un lien pourrait toutefois exister. La relation n’était peut-être pas linéaire, ou peut-être qu’une autre variable a causé un effet d’interaction...
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>


plus important </td> <td width="23%" valign=top style='width:23.16%;border-top:none;border-left:
En termes plus complexes: vous acceptez à tort l’hypothèse nulle
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>


100%  </td> </tr> </table> 
Une chose à retenir : Les méthodes statistiques vous permettent de tester d’autres hypothèses et par conséquent de diminuer les risques d’erreurs de validité interne.


 
== Pratique ==


Les questions d’analyse sont formulées dans cet esprit: quelle est la probabilité que le traitement X produise l’effet O? Le tableau ci-dessus présente les effets de l’expérience. Nous pouvons constater que l’effet sur le groupe expérimental (soumis au traitement) est plus important que sur le groupe non expérimental, et inversement.
Une fois que vous avez lu les introductions aux designs expérimentaux, quasi-expérimentaux et statistiques, vous pouvez revenir ici et pratiquer. Enfin, personne ne vous empêchera de tester maintenant votre savoir-faire...
====  Expérience simple avec plusieurs traitements  ====
    
    
{{bloc pratiquer|


L’''expérience simple avec plusieurs traitements ''est un design légèrement différent, mais semblable sur le principe (Figure 24). Nous souhaitons observer les effets de différents types de traitements.  
'''A) Répondez aux questions:'''
# Quelle est la différence principale entre un design expérimental et un design quasi-expérimental? 
# Un design quasi-expérimental et une enquête par sondage ont certains éléments en commun. Lesquels? 
# Listez les étapes importantes d’une enquête par sondage.


 
'''B) Concevez!''' 


Figure 24: Expérience simple avec différents traitements  
# Esquissez un design quasi-expérimental pour répondre à la question suivante :
#* Dans un programme de formation à distance, est-ce qu’un tutorat de bonne qualité augmente la satisfaction à l’égard du programme et diminue le taux d’abandon des étudiants? 
# Formulez une hypothèse de recherche qui traite du lien entre la participation des étudiants en ligne et l’accompagnement apportée aux étudiants.
#* Elaborez pour chacune des deux variables une série de quatre questions.
#* Justifiez chaque question et les éléments de réponse. 
: Astuce: vous pourriez trouver des outils de sondage dans la littérature.  


Exemple: on répartit des étudiants de première année dans différentes sessions, utilisant chacune une pédagogie particulière (e.g. pédagogie collaborative, pédagogie transmissive, etc.) (X). On cherche à savoir si en fin de formation les effets sont différents (O). Remarque: O<sub>1</sub>, O<sub>2</sub> et O<sub>3</sub> utilisent les mêmes tests. 
'''C) Etude de cas '''
====  Problèmes de l’expérience simple  ====
 


De tels designs, qui sont orientés uniquement «post-test», ne sont pas optimaux, pour plusieurs raisons.   
* Téléchargez Poellhuber, B., Chomienne, M., Karsenti, T. (2011). L’effet du tutorat individuel sur le sentiment d’auto-efficacité et la persévérance en formation à distance. Revue des sciences de l'éducation, 37 (3), pp. 569-593. DOI: 10.7202/1014758ar  


* ''Sélection'': les sujets ne sont pas forcément les mêmes dans différents groupes. Les échantillons étant typiquement très petits (12-20 / groupe), une sélection aléatoire de sujets pourrait ne pas fonctionner. 
# Identifiez la question de recherche centrale    
 
# Expliquez comment le sentiment d’auto-efficacité et la persévérance ont été mesurés.   
* ''Réactivité des sujets'': les individus se posent des questions sur l’expérience, ce qui mène à des effets de compensation, ou bien les individus peuvent changer entre les observations pour des raisons autres. 
# Résumez les résultats.  
 
}}
* Difficulté de ''contrôler certaines variables''dans un contexte réel. Exemple: une nouvelle pédagogie utilisant les TIC pourrait mieux fonctionner pour plusieurs raisons: a) du fait qu’elle stimulerait l’enseignant, b) du fait que les apprenants seraient plus attentifs et travailleraient plus, ou c) simplement du fait que les groupes expérimentaux seraient plus petits que dans des conditions réelles, ce qui permettrait à chaque étudiant d’obtenir plus d’attention. 
== Références ==
 
Amyotte, L. & Pépin, J.-N. (2017). Méthodes quantitatives : Applications à la recherche en sciences humaines. 4ème édition. Montréal : Pearson. Chapitre 1, pp. 02-40.
En principe, on peut tester de telles variables intermédiaires avec de nouvelles conditions expérimentales, mais pour chaque nouvelle variable, il faudrait ajouter au moins deux groupes expérimentaux, ce qui est très coûteux. Intéressons-nous à présent à un design plus courant qui comprend des pré-tests. 
<br>
====  Expérience simple avec pré-tests  ====
Campbell, D. & Stanley, J. (1963). Experimental and quasi-experimental designs for research. Boston : Houghton Mifflin Company
 
<br>
 
Campion, B. (2012). Etude de l’apport de la non-linéarité au récit éducatif. Document numérique 3/2012 (Vol 15), p.49-70. Repéré à https://dn.revuesonline.com/gratuit/DN15_3_05_Campion.pdf
Le design suivant cherche à contrôler les différences qui peuvent exister entre deux groupes expérimentaux, i.e. nous ne nous appuyons pas sur un système aléatoire ou nous ne pouvons attribuer des sujets aléatoirement à un groupe. C’est typiquement le cas lorsque nous choisissons par exemple deux classes dans un environnement scolaire, que nous soumettons à deux traitements différents. 
<br>
 
Milot, J. (2017). La méthode scientifique. Capsule Vidéo. Québec : Collège de Maisonneuve. Repéré à https://www.youtube.com/watch?v=1EI1zdZZOxc&list=PLzzOZc8nEo7rrKm5xb5a2teE6BYQNKulZ&index=1
Voici la «formule» du design (Figure 25): 
 
 
 
Figure 25: Design expérimental avec groupe contrôle, pré-test et post-test 
 
L’analyse des résultats est menée de façon légèrement différente qu’avec le design aléatoire sans pré-tests. Afin de contrôler la différence potentielle entre les groupes, nous comparons la différence entre O<sub>2</sub> et O<sub>1 </sub>avec la différence entre O<sub>4</sub> et O<sub>3</sub>. O<sub>1</sub> à O<sub>4</sub> sont des tests identiques. 
 
Effet = (O<sub>2</sub>-O<sub>1</sub>) comparé à (O<sub>4</sub>-O<sub>3</sub>). 
 
Ce design présente également des désavantages: l’effet de la première mesure (le pré-test) peut influencer le résultat. Exemple: (a) si X est censé augmenter l’effet pédagogique, les tests O<sub>1</sub> et O<sub>3 </sub>peuvent également avoir un effet (les apprenants apprennent en faisant le test). L’effet de X uniquement peut ainsi être surestimé. 
 
Cet ''effet d’expérience'' peut être contrôlé par le ''design de Solomon'', dont le principe est similaire (Figure 26). Cette méthode requiert deux groupes de contrôle supplémentaires; elle est donc plus coûteuse. 
 
 
 
Figure 26: Le design de Solomon 
 
Le design de Solomon combine le design de l’expérience simple avec le design du pré-test. 
 
Il est par exemple possible de tester si 
 
O<sub>2 </sub>&gt; O<sub>1</sub>,<sub> </sub>O<sub>2 </sub>&gt; O<sub>4</sub>,<sub> </sub>O<sub>5 </sub>&gt; O<sub>6 </sub>et O<sub>5 </sub>&gt; O<sub>3</sub> 
 
Une simple comparaison de deux situations différentes n’est ''pas'' une expérience! La variable de traitement X doit être simple et unidimensionnelle (sans quoi vous ne connaissez pas la cause précise d’un effet). Nous reviendrons sur ce problème lorsque nous parlerons des designs de recherche quasi expérimentaux. 
 
Les designs expérimentaux, dont les sujets sont des personnes exposées à des tâches significatives, ne font qu’apporter des éléments pour confirmer ou infirmer une hypothèse. Nous ne devrions jamais utiliser les termes «preuve» et «vérification», et leur préférer les termes «corroboration» ou «témoignage factuel». 
====  Designs factoriels  ====
    
 
Dans cette introduction, nous avons uniquement présenté des designs expérimentaux simples, i.e. le type de designs auquel on pourrait s’attendre dans une mémoire de Master mené par des novices en recherche expérimentale. Nous n’allons pas élaborer de designs factoriels [#_msocom_5 &#91;B5]]en détails, mais souligner les principes de base. 
 
Dans la recherche en technologie éducative et les domaines liés, les chercheurs tentent souvent d’étudier l’influence de plus d’un facteur X et cherchent à savoir comment les facteurs X<sub>A</sub> et X<sub>B</sub> interagissent. Contrôler des interactions entre deux variables indépendantes requiert au moins quatre groupes. 
 
''Exemple 2. Design simple à deux facteurs'' 
 
Imaginons un design simple à deux facteurs: «''Quelle est l’influence de la durée d’une formation (1h vs 4h) et de la modalité d’apprentissage (présentiel vs à distance) sur les résultats de l’apprenant?»'' 
 
Le facteur A correspond à la ''durée'' de la formation et le facteur B à la ''modalité ''(Tableau 16).  <table class=MsoNormalTable border=1 cellspacing=0 cellpadding=0
style='border-collapse:collapse;border:none'> <tr> <td width=269 colspan=2 rowspan=2 valign=top style='width:201.9pt;border:
  solid windowtext 1.0pt;background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
 
</td> <td width=278 colspan=2 valign=top style='width:208.7pt;border:solid windowtext 1.0pt;
  border-left:none;background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
 
Facteur A </td> </tr> <tr> <td width=135 valign=top style='width:100.95pt;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
 
Condition: 1 heure </td> <td width=144 valign=top style='width:107.75pt;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
 
Condition: 4 heures </td> </tr> <tr> <td width=113 rowspan=2 valign=top style='width:84.55pt;border:solid windowtext 1.0pt;
  border-top:none;background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
 
Facteur B </td> <td width=156 valign=top style='width:117.35pt;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
 
Condition: présentiel </td> <td width=135 valign=top style='width:100.95pt;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
 
Groupe 1 </td> <td width=144 valign=top style='width:107.75pt;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
 
Groupe 3 </td> </tr> <tr> <td width=156 valign=top style='width:117.35pt;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
 
Condition: à distance </td> <td width=135 valign=top style='width:100.95pt;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
 
Groupe 2 </td> <td width=144 valign=top style='width:107.75pt;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
 
Groupe 4 </td> </tr> </table> 
 
Tableau 16: Design simple à deux facteurs 
 
Nous pourrions également utiliser une notation similaire à celle que nous avons utilisée précédemment mais elle devrait être interprétée différemment. Par exemple, X<sub>11</sub> signifie qu’un groupe est dans la condition A = 1 et dans la condition B = 1, et X<sub>21</sub> signifie qu’un groupe est dans la condition A = 2 et B = 1 (Figure 27).   
 
 
 
Figure 27: Design simple à deux facteurs 
 
Nous pourrions dans un premier temps analyser les effets de chaque facteur (comme dans l’exemple précédent) mais, il est plus intéressant de tester comment ces facteurs interagissent, e.g. il pourrait ne pas y avoir de différence entre les groupes 1 et 3 (ce qui signifierait que pour la condition «présentiel», une heure de formation suffit), mais il pourrait y avoir une différence entre les groupes 2 et 4, ce qui signifierait que le temps de formation a un effet sur la condition «à distance». 
 
Comme nous l’avons indiqué précédemment, l’explication des designs factoriels sort du cadre de cette introduction. Si vous souhaitez en apprendre davantage, vous pouvez lire le document en ligne, en anglais, de Bill Trochim sur les designs factoriels ([http://www.socialresearchmethods.net/kb/expfact.php http://www.socialresearchmethods.net/kb/expfact.php]). 
=== La non-expérience: ce qu’il faut éviter  ===
 
 
Intéressons-nous à des mauvais designs, car nous les rencontrons souvent dans des discours de décideurs ou dans les esquisses de propositions de recherche. Evitez-les à tout prix, car les experts n’acceptent aucun résultat issu d’une logique défectueuse.
====  La (non) expérience sans groupe contrôle ni pré-test  ====
 
 
Le premier design de mauvaise qualité ressemble à la Figure 28: 
 
 
 
Figure 28: Expérience de mauvaise qualité (1) 
 
Nous observons simplement les données (O) après un événement (X). 
 
''Exemple 1. Un mauvais discours sur les compétences des élèves en matière de TIC:'' 
 
Intéressons-nous à l’affirmation suivante: ''Depuis que nous avons introduit les TIC dans le programme, la plupart des élèves de l’école ont des bonnes compétences en recherche d’information sur le web.'' 
 
Dans une telle affirmation, il manque une réelle comparaison! 
 
* Nous ne faisons aucune comparaison avec d’autres écoles qui ne proposent pas de formation aux TIC. Les meilleures compétences des élèves en matière de recherche d’information sur le web s’expliquent peut-être simplement par une tendance générale, puisque la plupart d’entre eux ont accès à un ordinateur et à internet à la maison. 
 
* On ne connaît même pas la situation antérieure! 
 
Une affirmation telle que «''la plupart des élèves ont de bonnes compétences en X''» signifie que vous ne vous intéressez pas à ce qui se passe dans d’autres contextes qui n’incluent pas les TIC dans leur programme. Par conséquent, l’argument selon lequel l’introduction des TIC a un effet sur les écoles n’est pas valable.  <table class=MsoNormalTable border=1 cellspacing=0 cellpadding=0 width="100%"
style='width:100.0%;border-collapse:collapse;border:none'> <tr> <td width="42%" valign=top style='width:42.18%;border:solid windowtext 1.0pt;
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
 
Variable à expliquer (O) </td> <td width="24%" valign=top style='width:24.24%;border:solid windowtext 1.0pt;
  border-left:none;background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
 
X = TIC à l’école </td> <td valign=top style='border:solid windowtext 1.0pt;border-left:none;
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
 
X = pas de TIC à l’école </td> <td valign=top style='border:solid windowtext 1.0pt;border-left:none;
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
 
</td> </tr> <tr style='height:49.35pt'> <td width="42%" valign=top style='width:42.18%;border:solid windowtext 1.0pt;
  border-top:none;background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt;
  height:49.35pt'>
 
Mauvaises compétences en recherche d’information sur le web  </td> <td width="24%" valign=top style='width:24.24%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt;height:49.35pt'>
 
10 étudiants </td> <td valign=top style='border-top:none;border-left:none;border-bottom:solid windowtext 1.0pt;
  border-right:solid windowtext 1.0pt;background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt;
  height:49.35pt'>
 
??? </td> <td rowspan=2 valign=top style='border-top:none;border-left:none;border-bottom:
  solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;background:#E0E0E0;
  padding:1.4pt 1.4pt 1.4pt 1.4pt;height:49.35pt'>
 
Comparaison horizontale<br> de%impossible </td> </tr> <tr> <td width="42%" valign=top style='width:42.18%;border:solid windowtext 1.0pt;
  border-top:none;background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
 
Bonnes compétences en recherche d’information sur le web </td> <td width="24%" valign=top style='width:24.24%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
 
20 étudiants </td> <td valign=top style='border-top:none;border-left:none;border-bottom:solid windowtext 1.0pt;
  border-right:solid windowtext 1.0pt;background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
 
??? </td> </tr> </table> 
 
 
 
''Les choses ont changé''... ce qui signifie que vous n’êtes pas conscient de la situation préalable au changement. 
 
  <table class=MsoNormalTable border=1 cellspacing=0 cellpadding=0 width="100%"
style='width:100.0%;border-collapse:collapse;border:none'> <tr> <td width="42%" valign=top style='width:42.18%;border:solid windowtext 1.0pt;
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
 
Variable à expliquer (O)  </td> <td width="21%" valign=top style='width:21.92%;border:solid windowtext 1.0pt;
  border-left:none;background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
 
avant  </td> <td width="14%" valign=top style='width:14.78%;border:solid windowtext 1.0pt;
  border-left:none;background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
 
après  </td> <td valign=top style='border:solid windowtext 1.0pt;border-left:none;
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
 
</td> </tr> <tr style='height:49.35pt'> <td width="42%" valign=top style='width:42.18%;border:solid windowtext 1.0pt;
  border-top:none;background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt;
  height:49.35pt'>
 
Mauvaises compétences en recherche d’information sur le web  </td> <td width="21%" valign=top style='width:21.92%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt;height:49.35pt'>
 
???  </td> <td width="14%" valign=top style='width:14.78%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt;height:49.35pt'>
 
10 étudiants  </td> <td rowspan=2 valign=top style='border-top:none;border-left:none;border-bottom:
  solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;background:#E0E0E0;
  padding:1.4pt 1.4pt 1.4pt 1.4pt;height:49.35pt'>
 
Comparaison horizontale<br> de%impossible  </td> </tr> <tr> <td width="42%" valign=top style='width:42.18%;border:solid windowtext 1.0pt;
  border-top:none;background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
 
Bonnes compétences en recherche d’information sur le web </td> <td width="21%" valign=top style='width:21.92%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
 
???  </td> <td width="14%" valign=top style='width:14.78%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#E0E0E0;padding:1.4pt 1.4pt 1.4pt 1.4pt'>
 
20 étudiants  </td> </tr> </table> 
 
 
 
Intéressons-nous à présent à un autre mauvais design. 
====  Expériences sans distribution aléatoire ni pré-test  ====
 
 
Dans le design suivant (Figure 29), le problème est qu’''il n’y a aucun contrôle sur les conditions et l’évolution des groupes contrôle'' 
 
'''' 
 
Figure 29: Expérience de mauvaise qualité (2) 
 
Voici un exemple typique d’affirmation posant problème: ''la moyenne des notes obtenues est meilleure dans les écoles qui utilisent des animations multimédia.'' La moyenne des notes obtenues dans l’école A, qui utilise des animations multimédia, peut être meilleure que dans l’école B pour des raisons complètement différentes. Il se pourrait simplement que l’école A attire des élèves provenant de milieux socio-économiques différents, qui ont généralement de meilleures notes. En outre, les écoles disposant de moyens financiers plus importants peuvent introduire des animations multimédia et attirer de meilleurs élèves. 
 
Pour terminer, voyons un dernier exemple de mauvais design: une expérience sans groupe contrôle (Figure 30). 
====  Expérience sans groupe contrôle  ====
 
 
 
 
Figure 30: Expérience de mauvaise qualité (3) 
 
Dans ce design, nous ne savons pas si X est la cause réelle. 
 
Exemple: ''Depuis que j’ai acheté à ma fille de nombreux jeux vidéo, elle est bien meilleure en dactylographie.'' Vous ne savez pas si cette évolution est «naturelle» (les enfants s’améliorent toujours après avoir utilisé un clavier plusieurs fois) ou si la fille en question a appris à dactylographier par un autre moyen. On appelle ce phénomène «évolution naturelle» ou «régression statistique» de la population. 
=== Exemples de Master et de thèses de type expérimental  ===
 
 
Nous allons maintenant présenter un mémoire de Master type qui utilise un design expérimental pour étudier dans quelle mesure les moyens d’apprentissage multimédias influencent l’apprentissage. 
 
''Exemple 1. Influence des animations multimédias sur l’apprentissage'' 
 
L’auteur a présenté deux mémoires de Master liés, l’un en technologie de l’éducation (en français), l’autre en psychologie expérimentale (en anglais). Voici un résumé du mémoire en technologie de l’éducation.
 
Rebetez, C. (2004). Sous quelles conditions l’animation améliore-t-elle l’apprentissage? Mémoire de Master (145p.). [http://tecfa.unige.ch/maltt MSc MALTT] (Master MALTT), TECFA, University of Geneva.<br> [http://tecfa.unige.ch/perso/staf/rebetez/papers/memoire_staf.pdf http://tecfa.unige.ch/perso/staf/rebetez/papers/memoire_staf.pdf] 
 
''La question de recherche centrale'' 
 
''Notre recherche a pour objectif de mettre en évidence l'influence, de la continuité du flux, de la collaboration, de la permanence des états antérieurs, ainsi que de vérifier la portée de variables individuelles telles que l'empan visuel et les capacités de rotation mentale (p. 33).'' 
 
''''''Variables explicatives (indépendantes), i.e. conditions'' 
 
1. ''Animation'', ''condition statique vs. condition dynamique:'' permet de visualiser la transition entre les états. La présentation statique force les étudiants à imaginer le mouvement des éléments. 
 
2. ''Permanence'', ''condition de présence ou d’absence:'' le fait de présenter des états antérieurs de l’animation aux étudiants leur permet une meilleure mémorisation et les aide à construire leur modèle. 
 
3. ''Collaboration'', ''condition de présence ou d’absence: ''le fait de travailler à plusieurs devrait permettre aux étudiants de créer des représentations plus abouties. 
 
Afin de tester les effets de ces conditions, 3 x 3 = 9 groupes expérimentaux ont dû être testés. 
 
''Hypothèse opérationnelle'' 
 
1. Animation 
 
*  Les scores d’inférence ainsi que les scores de rétention seront plus élevés en condition dynamique qu’en condition statique. 
 
*  La charge cognitive perçue sera plus élevée en condition dynamique qu’en condition statique. 
 
*  Les temps de discussion ainsi que les niveaux de certitude n’ont pas de raison d’être différents entre les conditions. 
 
2. Permanence 
 
*  Les participants en condition avec permanence auront de meilleurs résultats aux questionnaires que les participants en condition sans permanence. Les résultats d’inférence sont tout particulièrement visés par cet effet. 
 
*  La charge cognitive perçue ne devrait pas être différente entre ces deux conditions. Les temps de discussion ainsi que les niveaux de certitude devraient être plus élevés avec que sans permanence. 
 
*  L’influence de la permanence sera d’autant plus grande si les participants sont en condition de présentation dynamique. 
 
3. Collaboration 
 
*  La collaboration aura un effet positif sur l’apprentissage, autant en ce qui concerne la rétention que l’inférence. Toutefois, l’inférence devrait être tout particulièrement avantagée en cas de « grounding ». Les participants en ''duo'' auront donc de meilleurs scores que les participants en ''solo''. 
 
*  En référence à Schnotz et al. (1999), nous attendons une charge cognitive perçue plus haute en condition ''duo'' qu’en condition ''solo''. 
 
*  Les temps de discussion devraient être naturellement plus grand en condition ''duo''. Les niveaux de certitude devraient également s’élever en condition ''duo'' face à la condition ''solo''. 
 
''Méthode (petit résumé)'' 
 
Population: 160 étudiants. Ils ont tous été soumis à un test visant à évaluer s’ils sont novices (i.e. s’ils montrent des lacunes en termes de connaissances du matériel utilisé dans l’expérience). 
 
1. Matériel: 
 
*  Le matériel pédagogique consiste en deux contenus multimédias différents (géologie et astronomie), dont chacun se décline en deux versions. Il y a 12 animations pour les conditions dynamiques, et 12 images statiques pour les conditions statiques. 
 
*  Contenu du matériel pédagogique: «le transit de Vénus», réalisé avec VRML, et «Formation des océans et des chaînes de montagnes», réalisé avec Flash. 
 
*  Ces médias ont été intégrés dans Authorware (pour prendre des mesures et pour garantir une interface consistante) 
 
2. Procédure (résumé) 
 
*  Pré-test (5 questions) 
 
*  Introduction (briefing) 
 
*  Pour conditions ''solo'': test de pliage de papier et test visuo-spatial de Corsi 
 
*  Test avec matériel 
 
*  Test de charge cognitive (NASA-TLX) 
 
*  Post-test (17 questions) 
 
3. Variables dépendantes mesurées: 
 
*  Nombre de réponses correctes aux questionnaires de rétention. 
 
*  Nombre de réponses correctes aux questionnaires d’inférence. 
 
*  Niveau de certitude des réponses aux questionnaires. 
 
*  Scores sur cinq échelles de charge cognitive perçue (tirées du nasa-tlx).
 
*  Score au paper-folding test. 
 
*  Score d’empan au test de Corsi. 
 
*  Temps (sec) et nombre d’utilisation des vignettes en condition de permanence. 
 
*  Temps de réflexion entre les présentations (sec). 
 
'''' 
 
''Exemple 2: Thèse de doctorat, sur le même sujet, par le même auteur, en anglais. '' 
 
Le projet de thèse est disponible en ligne: [https://outlook.unige.ch/owa/redir.aspx?SURL=NypFrPpCqpyXE3veF_ibfNlALP6uFD4kDoc-NcwlmK6pshnx9zTSCGgAdAB0AHAAOgAvAC8AdABlAGMAZgBhAGUAdAB1AC4AdQBuAGkAZwBlAC4AYwBoAC8AcABlAHIAcwBvAC8AcwB0AGEAZgAvAHIAZQBiAGUAdABlAHoALwBiAGwAbwBnAC8AdwBwAC0AYwBvAG4AdABlAG4AdAAvAGYAaQBsAGUAcwAvAFQAaABlAHMAaQBzAFAAcgBvAGoAZQBjAHQAXwBSAGUAYgBlAHQAZQB6AC4AcABkAGYA&amp;URL=http%3a%2f%2ftecfaetu.unige.ch%2fperso%2fstaf%2frebetez%2fblog%2fwp-content%2ffiles%2fThesisProject_Rebetez.pdf http://tecfaetu.unige.ch/perso/staf/rebetez/blog/wp-content/files/ThesisProject_Rebetez.pdf] 
 
La thèse est également disponible en ligne: [http://archive-ouverte.unige.ch/unige:4860 http://archive-ouverte.unige.ch/unige:4860] 
 
 
 
''Exemple 3: Thèse de doctorat de Nicolas Nova, en anglais: The influences of location awareness on computer-supported collaboration '' 
 
[http://infoscience.epfl.ch/record/100038/files/EPFL_TH3769.pdf http://infoscience.epfl.ch/record/100038/files/EPFL_TH3769.pdf] 
 
 
 
''Exemple 4: Thèse de Patrick Jermann, en anglais: Computer support for interaction regulation in collaborative problem-solving '' 
 
[http://tecfa.unige.ch/tecfa/research/theses/jermann2004.pdf http://tecfa.unige.ch/tecfa/research/theses/jermann2004.pdf] 
 
 
 
Pour pratiquer: 
 
1) Quel est le lien entre une variable indépendante et une condition? 
 
2) Pourquoi la répartition aléatoire est-elle importante? 
 
3) Définissez l’effet de l’expérience. 
 
 
 
Etude de cas: 
 
1) Téléchargez l’article de Jamet, E. &amp; Arguel A. (2008), « La compréhension d'un document technique multimédia peut-elle être améliorée par une présentation séquentielle de son contenu ? », Le travail humain 3 (Vol. 71), p. 253-270. 
 
URL : [http://www.cairn.info/revue-le-travail-humain-2008-3-page-253.htm www.cairn.info/revue-le-travail-humain-2008-3-page-253.htm] / DOI : 10.3917/th.713.0253 
 
2) Faites un résumé de l’article, de manière similaire à ce qui a été entrepris ci-dessus avec le mémoire de Rebetez, en prenant soin d’indiquer: la question de recherche, les variables indépendantes et les variables dépendantes, les hypothèses, la méthode (échantillon, procédure, variables dépendante mesurée). 
=== Designs quasi-expérimentaux  ===
 
 
Il est difficile de mener des expériences dans des contextes réels, e.g. dans des écoles. Toutefois, il existe des designs qu’on appelle les designs ''quasi-expérimentaux''. Ils s’inspirent de principes de designs expérimentaux (pré-tests, post-tests et groupes contrôle). Ces designs ont l’avantage de pouvoir être menés dans des situations non-expérimentales, i.e. dans des contextes «réels» et peuvent être utilisés lorsque les vrais traitements expérimentaux deviennent trop «lourds», i.e. lorsqu’ils nécessitent plus de 2-3 variables de traitement bien définies.
 
Les désavantages des situations quasi-expérimentales sont liés au manque de contrôle:
 
* Vous ne connaissez pas tous les stimuli possibles (i.e. les causes qui ne sont pas dues aux conditions expérimentales) 
 
* Vous ne pouvez pas distribuer de manière aléatoire (distribuer équitablement d’autres stimuli intermédiaires non connus aux groupes) 
 
* Vous pourriez manquer de sujets 
 
Cependant, la recherche quasi-expérimentale peut aider à tester toutes sortes de variables que vous ne pouvez pas contrôler. On les appelle des ''obstacles à la validité interne''. 
 
Dans le domaine de l’éducation, les designs quasi-expérimentaux sont particulièrement appréciés dans la recherche évaluation et dans la recherche sur les innovations organisationnelles. Les connaissances en matière de design quasi-expérimental contribuent également à améliorer la qualité des questionnaires dans les enquêtes par sondage (pensez aux variables de contrôle pour tester des hypothèses alternatives). 
 
Comme dans la recherche expérimentale, il existe plusieurs designs de recherche quasi-expérimentaux différents. Certains sont plus faciles à mener, mais ils donneront des résultats moins robustes (validité). Nous allons nous intéresser à une partie d’entre eux. 
====  Design de la série chronologique interrompue  ====
 
 
Dans le schéma suivant (Figure 31), correspondant à la série chronologique interrompue, nous cherchons à contrôler l’effet d’autres événements possibles (traitements) sur un groupe expérimental donné. 
 
 
 
Figure 31: Design de la série chronologique interrompue 
 
L’avantage de ce design est qu’il permet de contrôler quelque peu les tendances (naturelles), i.e. lorsque vous observez ou introduisez un traitement, e.g. une réforme pédagogique, vous ne pouvez pas avoir la certitude que ce sont les éléments de la réforme qui produisent les effets recherchés: les changements peuvent être dus à autre chose, comme une tendance générale vers de meilleures capacités au sein d’une population d’étudiants. 
 
Les problèmes de ce design sont les suivants: vous ne pouvez pas contrôler des événements externes simultanés (X<sub>2</sub> se produisant en même temps que X<sub>1</sub>). 
 
Voici un exemple de l’effet de la pédagogie fondée sur les TIC en classe. Les méthodes pédagogiques fondées sur les TIC que vous étudiez peuvent avoir été introduites en même temps que d’autres innovations pédagogiques. Qu’est-ce qui a le plus influencé la performance globale; s’agit-il des TIC ou des autres innovations? 
 
Il existe également des difficultés pratiques: il est parfois impossible d’obtenir des données sur les années écoulées. Parfois, vous n’avez pas suffisamment de temps à disposition (votre recherche se termine trop tôt et les décideurs sont toujours pressés pour attendre des résultats sur le long terme). 
 
 
 
Exemple: ''les pédagogies fondées sur les TIC affirment souvent pouvoir améliorer les facultés métacognitives''. Avez-vous des tests pour les années 1-2-3? Pouvez-vous attendre l’année +3? Pouvez-vous tester la même population lorsque les sujets entrent à l’université ou trouvent des emplois dans lesquels leurs facultés métacognitives ont plus d’importance? 
 
 
 
''Exemples de séries chronologiques'' 
 
Nous allons nous intéresser de manière informelle à quelques ''''patterns'' (modèles) de séries chronologiques'', i.e. des mesures qui évoluent dans le temps et qui peuvent confirmer ou infirmer des hypothèses sur une intervention ''X''. 
 
 
 
Figure 32: Exemple de série chronologique interrompue 
 
Dans la Figure 32, O<sub>2</sub>, O<sub>3</sub>, etc., sont des données d’observation (e.g. annuelles). X est le traitement (intervention). 
 
1. A. Un effet statistique est probable 
 
* Exemple: ''les taux d’étudiants qui abandonnent les études ont baissé avec l’introduction de forums sur le serveur d’apprentissage en ligne.'' 
 
* Toutefois, vous devez vous méfier de vos interprétations: vous n’avez pas connaissance d’une éventuelle ''autre intervention'' qui pourrait avoir eu lieu en même temps. 
 
2. B. Un effet statistique de type feu de paille ou «éphémère» 
 
* Exemple: ''l’enseignement s’est amélioré lorsque nous avons introduit X, puis tout est redevenu comme avant.'' 
 
* Il y a un effet constaté suite à l’intervention mais après un certain temps, la cause «s’épuise», e.g. une motivation en forte hausse suite à l’introduction des TIC dans le programme, qui ne s’installe pas forcément dans la durée. 
 
3. C. Tendance naturelle (pas d’effet)
 
* Vous pouvez contrôler cette erreur en regardant au-delà de O<sub>4</sub> et O<sub>5</sub>! 
 
4. D. Confusion entre les effets de cycle et l’intervention 
 
* Exemple: ''Le gouvernement a introduit des mesures pour lutter contre le chômage, mais il se peut que l’amélioration de la situation s’explique par un cycle économique naturel. Vous pouvez le vérifier en analysant l’ensemble de la série chronologique.'' 
 
5. E. Effet retardé 
 
* Exemple: ''Les effets de gros investissements dans l’éducation sur la croissance économique (peuvent se manifester plusieurs décennies plus tard)'' 
 
6. F. Effet d’accélération de tendance 
 
* Difficile à différencier de G, i.e. la courbe pourrait connaître un léger changement, mais il pourrait uniquement s’agir d’une variante de l’évolution naturelle exponentielle. 
 
7. G. Evolution naturelle exponentielle 
 
* Identique à (C). 
====  Obstacles à la validité interne  ====
 
 
La question clé à vous poser de manière récurrente est: ''''quelles sont les autres variables qui pourraient influencer mes/nos expériences?'''' Campbell et Stanley (1963) ont élaboré une première typologie d’obstacles dont vous devez vous méfier: 
 
''''''''  <table class=MsoNormalTable border=1 cellspacing=0 cellpadding=0 width="96%"
style='width:96.58%;margin-left:9.0pt;border-collapse:collapse;border:none'> <tr style='page-break-inside:avoid'> <td valign=top style='border:solid windowtext 1.0pt;background:#FFFF99;
  padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
Type d’obstacle  </td> <td width="72%" valign=top style='width:72.84%;border:solid windowtext 1.0pt;
  border-left:none;background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
Définition et exemple  </td> </tr> <tr style='page-break-inside:avoid'> <td valign=top style='border:solid windowtext 1.0pt;border-top:none;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
Histoire  </td> <td width="72%" valign=top style='width:72.84%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
Un autre événement que X se produit entre les mesures.
 
Exemple: l’introduction des TIC a eu lieu en même temps que l’introduction de l’enseignement par projet.  </td> </tr> <tr style='page-break-inside:avoid'> <td valign=top style='border:solid windowtext 1.0pt;border-top:none;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
Maturation  </td> <td width="72%" valign=top style='width:72.84%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
L’objet a changé «naturellement» entre les mesures
 
Exemple: ce cours a-t-il changé votre connaissance de la méthodologie ou est-ce simplement dû au fait que vous avez commencé à travailler sur votre projet de thèse?  </td> </tr> <tr style='page-break-inside:avoid'> <td valign=top style='border:solid windowtext 1.0pt;border-top:none;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
Test  </td> <td width="72%" valign=top style='width:72.84%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
La mesure a eu un effet sur l’objet
 
Exemple: vos entretiens précédant l’intervention ont eu un effet sur les gens (e.g. les enseignants ont changé de comportement avant que vous ne les invitiez à des séances de formation) </td> </tr> <tr style='page-break-inside:avoid'> <td valign=top style='border:solid windowtext 1.0pt;border-top:none;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
Instrumentation  </td> <td width="72%" valign=top style='width:72.84%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
La méthode de mesure a changé
 
Exemple: les capacités de lecture sont définies différemment. e.g. de nouveaux tests favorisent la compréhension textuelle.  </td> </tr> <tr style='page-break-inside:avoid'> <td valign=top style='border:solid windowtext 1.0pt;border-top:none;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
Régression statistique  </td> <td width="72%" valign=top style='width:72.84%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
Les différences se seraient réduites naturellement
 
Exemple: une école introduit de nouvelles mesures disciplinaires suite à l’agression d’un enseignant par des élèves. Il se peut que de tels événements ne se seraient pas reproduits l’année suivante, même sans intervention. </td> </tr> <tr style='page-break-inside:avoid'> <td valign=top style='border:solid windowtext 1.0pt;border-top:none;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
(Auto) sélection  </td> <td width="72%" valign=top style='width:72.84%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
Les sujets sont auto-sélectionnés pour le traitement
 
Exemple: vous introduisez de nouvelles pédagogies fondées sur les TIC et les résultats sont très bons (il se peut que seuls de bons enseignants aient participé à ces expériences).  </td> </tr> <tr style='page-break-inside:avoid'> <td valign=top style='border:solid windowtext 1.0pt;border-top:none;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
Mortalité  </td> <td width="72%" valign=top style='width:72.84%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
Les sujets ne sont pas les mêmes
 
Exemple: une école introduit des mesures spéciales pour motiver les «élèves difficiles». Après 2-3 ans, les taux d’abandon diminuent. L’école est peut-être située dans une zone qui connaît des changements socio-démographiques rapides (différentes personnes).  </td> </tr> <tr style='page-break-inside:avoid'> <td valign=top style='border:solid windowtext 1.0pt;border-top:none;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
Interaction avec<br> sélection  </td> <td width="72%" valign=top style='width:72.84%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
Exemple d’effets combinés: le groupe contrôle montre une maturation différente </td> </tr> <tr style='page-break-inside:avoid'> <td valign=top style='border:solid windowtext 1.0pt;border-top:none;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
Ambiguté directionnelle <br> <br>  </td> <td width="72%" valign=top style='width:72.84%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
L’effet est-il dû au traitement ou à des sujets différents?
 
Exemple: les performances d’employés sont-elles meilleures dans une organisation à hiérarchie «horizontale» / participative / équipée de TIC, ou est-ce qu’une telle organisation attire des individus plus actifs et plus efficaces?  </td> </tr> <tr style='page-break-inside:avoid'> <td valign=top style='border:solid windowtext 1.0pt;border-top:none;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
Diffusion ou imitation de traitement  </td> <td width="72%" valign=top style='width:72.84%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
Le traitement a un effet sur le groupe contrôle
 
Exemple: une unité académique promeut un enseignement hybride moderne et attire des étudiants provenant d’une vaste zone géographique. Une unité de contrôle peut également bénéficier de cet effet. </td> </tr> <tr style='page-break-inside:avoid'> <td valign=top style='border:solid windowtext 1.0pt;border-top:none;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
Egalisation compensatoire  </td> <td width="72%" valign=top style='width:72.84%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
Le groupe contrôle observe le groupe expérimental
 
Exemple: les sujets qui ne reçoivent aucun traitement réagissent en se comportant différemment.  </td> </tr> </table> 
 
Tableau 17: Obstacles à la validité interne 
 
Une règle efficace consiste à réfléchir et à chercher d’autres explications susceptibles d’expliquer un phénomène. Toutefois, de bons designs de recherche peuvent également permettre de produire une recherche valide. Voyons à présent quelques designs qui tentent de contrôler de tels obstacles à la validité interne. 
====  Design avec groupe contrôle non équivalent  ====
 
 
Ce design adopte des comparaisons entre deux groupes contrôle similaires (mais pas équivalents). L’avantage de ce design réside dans son efficacité à détecter d’éventuelles influences de causes extérieures (i.e. des causes différentes des causes liées à l’intervention). 
 
 
 
Figure 33: Design avec groupe contrôle non équivalent 
 
Si O<sub>2</sub> ― O<sub>1</sub> est similaire à O<sub>4</sub> ― O<sub>3</sub>, nous pouvons rejeter l’hypothèse selon laquelle O<sub>2</sub> ― O<sub>1</sub> est du à X, ou nous pouvons corroborer l’effet expérimental de X (Figure 33). 
 
Voici les problèmes et les désavantages possibles de ce design: 
 
* Mauvais contrôle des tendances naturelles, comme discuté dans le cadre de la série chronologique interrompue. 
 
* Trouver des groupes équivalents n’est pas facile dans certains contextes «réels». 
 
* Vous pourriez également rencontrer des effets d’interactions entre les groupes, e.g. l’imitation du groupe expérimental par le groupe contrôle. 
 
Ce design avec groupe contrôle non équivalent n’est qu’un type de design de contrôle. Il est parfois possible d’utiliser des designs de contrôle aléatoires. Nous pouvons également créer deux ou trois designs de facteurs qui peuvent tester les interactions de variables indépendantes (facteurs). La conception et l’analyse de tels designs plus complexes sort cependant du cadre de cette introduction. Pour en savoir plus, vous pouvez consulter les ouvrages de Campbell, Stanley, Cook et Shadish. Par exemple: [https://depts.washington.edu/methods/readings/Shadish.pdf https://depts.washington.edu/methods/readings/Shadish.pdf] 
 
 
====  Expérience et effets d’imitation  ====
 
 
Voici un exemple d’effet d’imitation (Figure 34). Dans le cadre d’un programme diplômant, nous introduisons une plateforme d’apprentissage dans un seul des cours. Nous nous intéressons alors à trois effets: le coût, la satisfaction des étudiants et le respect des délais en les comparant à un cours similaire donné par un autre enseignant.    <table class=MsoNormalTable border=1 cellspacing=0 cellpadding=0 width=576
style='width:432.1pt;border-collapse:collapse;border:none'> <tr style='height:42.0pt'> <td width=189 style='width:141.5pt;border:solid windowtext 1.0pt;padding:
  6.0pt 1.0pt 6.0pt 1.0pt;height:42.0pt'>
 
'''' </td> <td width=151 style='width:4.0cm;border:solid windowtext 1.0pt;border-left:
  none;padding:4.0pt 1.0pt 4.0pt 1.0pt;height:42.0pt'>  
 
Cours A
 
Introduction d’une plateforme d’apprentissage </td> <td width=132 style='width:99.25pt;border:solid windowtext 1.0pt;border-left:
  none;padding:4.0pt 1.0pt 4.0pt 1.0pt;height:42.0pt'>
 
Cours B
 
Pas d’introduction de plateforme </td> <td width=104 style='width:77.95pt;border:solid windowtext 1.0pt;border-left:
  none;padding:6.0pt 1.0pt 6.0pt 1.0pt;height:42.0pt'>
 
'''' </td> </tr> <tr style='height:23.0pt'> <td width=189 style='width:141.5pt;border:solid windowtext 1.0pt;border-top:
  none;padding:4.0pt 1.0pt 4.0pt 1.0pt;height:23.0pt'>
 
Effet 1:coûts </td> <td width=151 style='width:4.0cm;border-top:none;border-left:none;border-bottom:
  solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;padding:4.0pt 1.0pt 4.0pt 1.0pt;
  height:23.0pt'>
 
augmente </td> <td width=132 style='width:99.25pt;border-top:none;border-left:none;
  border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  padding:4.0pt 1.0pt 4.0pt 1.0pt;height:23.0pt'>
 
stable </td> <td width=104 rowspan=3 style='width:77.95pt;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  padding:4.0pt 1.0pt 4.0pt 1.0pt;height:23.0pt'>
 
comparaison horizontale
 
des résultats </td> </tr> <tr style='height:23.0pt'> <td width=189 style='width:141.5pt;border:solid windowtext 1.0pt;border-top:
  none;padding:4.0pt 1.0pt 4.0pt 1.0pt;height:23.0pt'>
 
E 2: satisfaction des étudiants </td> <td width=151 style='width:4.0cm;border-top:none;border-left:none;border-bottom:
  solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;padding:4.0pt 1.0pt 4.0pt 1.0pt;
  height:23.0pt'>
 
augmente </td> <td width=132 style='width:99.25pt;border-top:none;border-left:none;
  border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  padding:4.0pt 1.0pt 4.0pt 1.0pt;height:23.0pt'>
 
augmente </td> </tr> <tr style='height:23.0pt'> <td width=189 style='width:141.5pt;border:solid windowtext 1.0pt;border-top:
  none;padding:4.0pt 1.0pt 4.0pt 1.0pt;height:23.0pt'>
 
E 3: respect des délais (pour la remise des travaux) </td> <td width=151 style='width:4.0cm;border-top:none;border-left:none;border-bottom:
  solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;padding:4.0pt 1.0pt 4.0pt 1.0pt;
  height:23.0pt'>
 
meilleur </td> <td width=132 style='width:99.25pt;border-top:none;border-left:none;
  border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  padding:4.0pt 1.0pt 4.0pt 1.0pt;height:23.0pt'>
 
stable </td> </tr> </table>   
 
Figure 34: Exemple d'effet d'imitation 
 
Pour pratiquer: 
 
Pourquoi la satisfaction des étudiants pourrait-elle également augmenter chez les étudiants du cours B? 
====  Série chronologique comparative  ====
 
 
L’un des designs de recherche quasi-expérimentale les plus puissants se sert de séries chronologiques comparatives (Figure 35). Ce design est une combinaison de la série chronologique interrompue et du groupe contrôle non équivalent, que nous avons présentés précédemment.
 
 
 
Figure 35: Série chronologique comparative 
 
Ce design est efficace pour contrôler plusieurs obstacles à la validité car il permetde: 
 
1. comparer différents groupes (situations) et aussi de contrôler d’autres variables intevening; 
 
2. faire une série de pré- et de post-observations (tests) pour contrôler des tendances naturelles et un effet statistique de type feu de paille ou «éphémère». 
 
Les difficultés de ce design sont pratiques. Il n’est pas facile (et parfois impossible) de: 
 
1. trouver des groupes comparables, 
 
2. trouver des groupes avec plus que un ou quelques cas, 
 
3. trouver des données (en particulier des données passées ou futures), 
 
4. de contrôler des interventions simultanées au point X.
====  La validité dans les designs quasi expérimentaux  ====
 
 
Généralisons à présent la discussion et abordons les problèmes de causalité et leur validité (Tableau 18).  
 
Selon Campbell &amp; Stanley (1963), il existe quatre types de validité:  <table class=MsoNormalTable border=1 cellspacing=0 cellpadding=0
style='margin-left:9.0pt;border-collapse:collapse;border:none'> <tr style='page-break-inside:avoid'> <td width=157 valign=top style='width:117.5pt;border:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
Type de validité </td> <td width=406 valign=top style='width:304.75pt;border:solid windowtext 1.0pt;
  border-left:none;background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
</td> </tr> <tr style='page-break-inside:avoid'> <td width=157 valign=top style='width:117.5pt;border:solid windowtext 1.0pt;
  border-top:none;background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
Validité interne  </td> <td width=406 valign=top style='width:304.75pt;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
«Elle désigne l’aptitude des données collectées à représenter réellement le phénomène étudié. Ceci concerne aussi bien la pertinence du choix des catégories utilisées pour coder les données issues d’une observation systématique que le fait de s’assurer que les traitements appliqués dans une étude expérimentale expliquent bien les changements de comportement manifestés par les sujets (si on peut les expliquer autrement la validité interne n’est pas bonne)». [http://ute.umh.ac.be/methodes/partie1.htm http://ute.umh.ac.be/methodes/partie1.htm]
 
Elle concerne le design (stratégie d’investigation) de votre recherche
 
Vous devez démontrer que les causes que vous posez comme causes sont «réelles» et que toute autre explication est fausse.
 
C’est le type de validité le plus important. </td> </tr> <tr style='page-break-inside:avoid'> <td width=157 valign=top style='width:117.5pt;border:solid windowtext 1.0pt;
  border-top:none;background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
Validité externe </td> <td width=406 valign=top style='width:304.75pt;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
«Elle désigne le degré selon lequel les résultats d’une étude peuvent être généralisés à une population plus large. Cette définition a une signification différente selon qu’on s’inscrit dans le paradigme quantitatif ou qualitatif. Ainsi, dans une recherche quantitative, c’est la conception même de la recherche basée sur un échantillonnage représentatif des sujets qui va assurer, dans une mesure plus ou moins grande, cette validité externe.»[http://ute.umh.ac.be/methodes/partie1.htm http://ute.umh.ac.be/methodes/partie1.htm]
 
La question à vous poser: pouvez-vous généraliser? 
 
Ceci n’est pas facile, car vous pourriez ne pas avoir conscience de variables «favorables», e.g. le «bon enseignant» avec lequel vous avez travaillé ou le fait que les choses étaient bien plus faciles dans votre école privée... 
 
Comment pouvez-vous être certain que vos expériences d’introduction des TIC dans une situation donnée et couronnées de succès seraient également couronnées de succès dans des situations similaires (ou peu similaires)?  </td> </tr> <tr style='page-break-inside:avoid'> <td width=157 valign=top style='width:117.5pt;border:solid windowtext 1.0pt;
  border-top:none;background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
Validité statistique </td> <td width=406 valign=top style='width:304.75pt;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
... vos relations statistiques sont-elles significatives? 
 
Pour une analyse simple, ce type de validité n’est pas difficile. Faites en sorte d’utiliser les bonnes statistiques et fiez-vous à ces statistiques. </td> </tr> <tr style='page-break-inside:avoid'> <td width=157 valign=top style='width:117.5pt;border:solid windowtext 1.0pt;
  border-top:none;background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
Validité de construction </td> <td width=406 valign=top style='width:304.75pt;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
...est-ce que l’opérationnalisation de vos concepts est solide?
 
Vos dimensions sont-elles justes? 
 
Vos indicateurs mesurent-ils vraiment ce que vous cherchez à savoir? </td> </tr> </table> 
 
Tableau 18: Typologie de la validité (Stanley et al.) 
 
''''Important'''': Cette typologie est également utile dans d’autres contextes, e.g. des analyses qualitatives structurées ou des designs statistiques. Dans la plupart des autres designs de recherche empirique, vous ''devez'' également traiter ces problèmes. 
==== Exemple de travail de recherche quasi-expérimental[#_msocom_6 &#91;B6]]  ====
 
 
Questions de recherche 
 
Méthode 
=== Designs avec méthodes statistiques  ===
 
 
D’une certaine manière, les designs statistiques sont conceptuellement liés aux designs expérimentaux. Les designs statistiques formulent des lois, i.e. les cas individuels n’ont aucun intérêt (à moins que quelque chose ne se passe mal). L’avantage de ce design est qu’il est possible de tester un nombre relativement important de lois (hypothèses) avec des données statistiques. On qualifie souvent de telles analyses de ''''corrélationnelles, ''''car elles ont pour but de démontrer des relations statistiques entre des variables. 
 
De tels designs de recherche s’appuient sur un raisonnement théorique antérieur, car: 
 
1. les mesures, i.e. les questionnaires peuvent ne pas être aussi fiables que cela: 
 
* ce que les gens disent peut ne pas correspondre à ce qu’ils font 
 
* ce que vous demandez pourrait ne pas mesurer ce que vous voulez observer 
 
2. il y a une surdétermination statistique, 
 
* vous pouvez trouver des corrélations entre variables, mais comme nous l’avons vu précédemment, les corrélations ne sont pas nécessairement synonymes de causalités. 
 
3. vous ne pouvez pas obtenir une «image inductive» en posant une dizaine de questions fermées. 
 
Le design de recherche dominant est mené de façon descendante et comprend en partie la doctrine du rationalisme critique de Popper, que l’on appelle également le falsificationnisme. Comment procéder? 
 
1. Commencez par formuler des hypothèses (des modèles qui contiennent des variables et des relations que vous pouvez mesurer) 
 
2. Mesurez les variables (e.g. à l’aide d’un questionnaire et/ou d’un test) 
 
3. Testez alors les relations à l’aide d’outils statistiques 
 
4. Testez alors des hypothèses alternatives selon le même principe. Vous devez également montrer que vos hypothèses ne sont pas falsifiables. 
 
Le design statistique le plus utilisé en technologie éducative est l’enquête par sondage. 
====  Introduction à l’enquête par sondage  ====
 
 
La méthode de l'enquête par sondage a maintenant plus de soixante ans et est bien documentée dans les manuels de méthodologie. Elle consiste à recueillir des informations auprès des gens sur leurs attitudes, comportements, expériences, conditions socio-économiques, etc. par le biais d’un questionnaire. Ce questionnaire peut être administré au format papier, lors d’un entretien présentiel, par téléphone ou par internet. Généralement l'enquête par sondage cherche à tester une théorie sur une assez grande population (e.g. &quot;les étudiants de sciences sociales&quot; ou &quot;les adolescents à la fin de l'enseignement obligatoire dans les pays de l'OCDE&quot;). Le questionnaire ne peut être administré à l’entièreté d’une population et seul un échantillon représentatif, typiquement quelques centaines de personnes, est sollicité pour répondre aux questions. 
 
Voici la structure type d’un plan de recherche pour une enquête par sondage (Tableau 19):  <table class=MsoNormalTable border=1 cellspacing=0 cellpadding=0
style='margin-left:9.0pt;border-collapse:collapse;border:none'> <tr style='page-break-inside:avoid'> <td width=563 valign=top style='width:422.25pt;border:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
1. Revue de littérature menant aux questions de recherche générales et/ou au cadre d’analyse
 
2. Vous pouvez utiliser une approche qualitative dans le cadre d’une étude préliminaire pour étudier de nouveaux domaines de recherche et les citer ici.
 
3. Définition des hypothèses 
 
4. Opérationnalisation des hypothèses, e.g. définition des échelles et des questionnaires liés 
 
5. Définition de la population mère
 
6. Stratégies d’échantillonnage 
 
7. Identification des méthodes d’analyse </td> </tr> </table> 
 
Tableau 19: Eléments d’un plan de recherche pour une enquête par sondage 
 
La mise en oeuvre de ce type de recherche (en dehors de la rédaction) se déroule en cinq étapes (Tableau 20):  <table class=MsoNormalTable border=1 cellspacing=0 cellpadding=0
style='margin-left:9.0pt;border-collapse:collapse;border:none'> <tr style='page-break-inside:avoid'> <td width=563 valign=top style='width:422.25pt;border:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt'>
 
1. Elaboration du questionnaire (avec des entrées de préférence provenant d’échelles publiées) 
 
2. Test du questionnaire avec 2-3 sujets 
 
3. Sondage (entretiens présentiels, en ligne ou par écrit) 
 
4. Codage et vérification + construction d’échelle
 
5. Analyse statistique des données </td> </tr> </table> 
 
Tableau 20: Mise en oeuvre d’une enquête par sondage 
 
Conseils pour la rédaction: 
 
1. Séparez la présentation des résultats de la discussion 
 
2. Comparez toujours vos résultats à la théorie 
 
3. Assurez-vous de rendre votre texte lisible, e.g. placez vos résultats dans des tableaux 
====  Niveaux de raisonnement et obstacles à la validité  ====
 
 
Nous avons précédemment vu qu’il existe un écart entre le raisonnement théorique et les données empiriques. En tant que chercheur, vous devez être en mesure de formuler des questions de recherche générales à un niveau global et être capable de les relier, par l’intermédiaire de l’opérationnalisation, à des indicateurs [#_msocom_7 &#91;B7]]et indices ][#_msocom_8 &#91;B8]]précis au niveau des données. Vous devez également comprendre que l’interprétation de données statistiques est complexe et requiert un raisonnement et des connaissances sur les obstacles à la validité interne (Tableau 21).  <table class=MsoNormalTable border=1 cellspacing=0 cellpadding=0 width="96%"
style='width:96.76%;margin-left:9.0pt;border-collapse:collapse;border:none'> <tr style='page-break-inside:avoid;height:40.75pt'> <td width="27%" valign=top style='width:27.0%;border:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt;height:40.75pt'>
 
''Niveau de raisonnement '' </td> <td width="22%" valign=top style='width:22.84%;border:solid windowtext 1.0pt;
  border-left:none;background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt;
  height:40.75pt'>
 
''Variables '' </td> <td width="26%" valign=top style='width:26.94%;border:solid windowtext 1.0pt;
  border-left:none;background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt;
  height:40.75pt'>
 
''Cas'' </td> <td width="23%" valign=top style='width:23.22%;border:solid windowtext 1.0pt;
  border-left:none;background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt;
  height:40.75pt'>
 
''Relations (causes)'' </td> </tr> <tr style='page-break-inside:avoid;height:51.8pt'> <td width="27%" valign=top style='width:27.0%;border:solid windowtext 1.0pt;
  border-top:none;background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt;
  height:51.8pt'>
 
''Théorie'' </td> <td width="22%" valign=top style='width:22.84%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt;height:51.8pt'>
 
concept /catégorie  </td> <td width="26%" valign=top style='width:26.94%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt;height:51.8pt'>
 
dépendent de la portée de votre théorie  </td> <td width="23%" valign=top style='width:23.22%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt;height:51.8pt'>
 
sont exprimées verbalement à un niveau de langue élevé </td> </tr> <tr style='page-break-inside:avoid;height:51.8pt'> <td width="27%" valign=top style='width:27.0%;border:solid windowtext 1.0pt;
  border-top:none;background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt;
  height:51.8pt'>
 
''Hypothèse '' </td> <td width="22%" valign=top style='width:22.84%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt;height:51.8pt'>
 
variables et valeurs (attributs)  </td> <td width="26%" valign=top style='width:26.94%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt;height:51.8pt'>
 
population mère (élèves, écoles)  </td> <td width="23%" valign=top style='width:23.22%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt;height:51.8pt'>
 
clairement énoncées comme des causalités ou des cooccurrences  </td> </tr> <tr style='page-break-inside:avoid;height:38.85pt'> <td width="27%" valign=top style='width:27.0%;border:solid windowtext 1.0pt;
  border-top:none;background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt;
  height:38.85pt'>
 
''Opérationnalisation '' </td> <td width="22%" valign=top style='width:22.84%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt;height:38.85pt'>
 
dimensions et indicateurs  </td> <td width="26%" valign=top style='width:26.94%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt;height:38.85pt'>
 
échantillonnage suffisamment bon  </td> <td width="23%" rowspan=3 valign=top style='width:23.22%;border-top:none;
  border-left:none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt;height:38.85pt'>
 
sont des relations statistiques entre des variables statistiques (e.g. échelles composées, variables socio-démographiques) </td> </tr> <tr style='page-break-inside:avoid;height:51.8pt'> <td width="27%" valign=top style='width:27.0%;border:solid windowtext 1.0pt;
  border-top:none;background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt;
  height:51.8pt'>
 
''Mesure '' </td> <td width="22%" valign=top style='width:22.84%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt;height:51.8pt'>
 
indicateurs observés (e.g. questions de sondage)  </td> <td width="26%" valign=top style='width:26.94%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt;height:51.8pt'>
 
sujets dans l’échantillon  </td> </tr> <tr style='page-break-inside:avoid;height:78.7pt'> <td width="27%" valign=top style='width:27.0%;border:solid windowtext 1.0pt;
  border-top:none;background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt;
  height:78.7pt'>
 
''Statistiques '' </td> <td width="22%" valign=top style='width:22.84%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt;height:78.7pt'>
 
mesures (e.g. réponses aux questions), échelles (mesures composées)  </td> <td width="26%" valign=top style='width:26.94%;border-top:none;border-left:
  none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;
  background:#FFFF99;padding:3.75pt 6.0pt 3.75pt 6.0pt;height:78.7pt'>
 
données (variables numériques) </td> </tr> </table> 
 
Tableau 21: Niveaux de raisonnement dans une approche avec méthodes statistiques 
 
''Typologie des erreurs de validité interne'' 
 
''''Erreur de type 1: ''''Vous croyez qu’un lien statistique entre deux variables est pertinent, car il existe une bonne corrélation entre ces deux variables, mais «en réalité» cette corrélation n’existe pas. Il se peut que la raison principale soit une variable qui influence les deux. 
 
* En termes complexes: vous rejetez à tort l’hypothèse nulle [#_msocom_9 &#91;B9]](pas de lien entre les variables) 
 
''''Erreur de type 2: ''''Vous croyez qu’un lien n’existe pas ... mais «en réalité» il y a bien relation entre les deux variables. 
 
* E.g., vous calculez un coefficient de corrélation et les résultats indiquent qu’il est très faible ou insignifiant. Un lien pourrait toutefois exister. La relation n’était peut-être pas linéaire, ou peut-être qu’une autre variable a causé un effet d’interaction... 
 
* En termes plus complexes: vous acceptez à tort l’hypothèse nulle 
 
Les méthodes statistiques vous permettent de tester d’autres hypothèses et par conséquent de diminuer les risques d’erreurs de validité internes. Comme toujours: réfléchissez! 
====  Exemples d’enquêtes par sondage  ====
 
 
''Exemple''[#_msocom_10 &#91;B10]]'': Facteurs qui favorisent l’utilisation des TIC par les enseignants'' 
 
Luis Gonzalez (2004): Etude pilote sur la mise en oeuvre et les perceptions des TIC. Mémoire de Master en technologie éducative, Université de Genève. 
 
[http://tecfaetu.unige.ch/staf/staf-h/gonzalez/staf25/memoire-STAF.pdf http://tecfaetu.unige.ch/staf/staf-h/gonzalez/staf25/memoire-STAF.pdf] 
 
Le but principal de ce travail de recherche, est «d’étudier les facteurs qui favorisent l’utilisation des TIC par les enseignants». 
 
''Facteurs:'' 
 
L’auteur définit 8 facteurs et postule qu’il existe des relations entre eux (Figure 36): 
 
 
 
Figure 36: Relation entre les facteurs (Mémoire L. Gonzalez, 2004, p. 18) 
 
''Hypothèses'': 
 
Voici un extrait de ce mémoire (pp. 18-19) : 
 
&#8220;Mon hypothèse principale postule l’existence d’une corrélation entre les facteurs suivants et la 
 
mise en oeuvre des TIC par les enseignants: 
 
* Le type de support offert par le cadre institutionnel 
 
* Leurs compétences pédagogiques 
 
* Leurs compétences techniques 
 
* La formation reçue, que ce soit la formation de base ou la formation continue 
 
* Leur sentiment d’auto-efficacité 
 
* Leur perception des technologies 
 
* Leur perception de l’usage pédagogique des TIC 
 
* Leur rationalisation et digitalisation pédagogique 
 
Les hypothèses secondaires sont les suivantes: 
 
* La perception de l’usage pédagogique est corrélée avec les compétences pédagogiques de l’enseignant 
 
* La perception des technologies est corrélée avec celle de l’usage pédagogique 
 
* La dimension de radicalisation et de digitalisation pédagogique est corrélée avec la perception des technologies 
 
* La formation est corrélée avec les compétences pédagogiques et techniques 
 
* Le sentiment d’auto-efficacité de est corrélé avec les compétences pédagogiques et techniques 
 
* La dimension de radicalisation et de digitalisation pédagogique est corrélée avec le sentiment d’auto-efficacité&#8221; 
 
''Méthode d’échantillonnage (p. 20)'' 
 
* Echantillon représentatif de futurs enseignants du primaire (étudiants), N = 48 
 
* Echantillon non-représentatif d’enseignants du primaire, N = 38 
 
* Un e-mail a été envoyé à tous les enseignants de Genève disposant d’une adresse électronique, auto-sélection (!) 
 
* Remarque: le questionnaire était très long, quelques enseignants qui avaient commencé à le remplir ont abandonné après un certain temps. 
 
* Ce type d’échantillonnage convient à une étude pilote ou à un petit travail de mémoire de Master 
 
''Design du questionnaire'' 
 
Dans la mesure du possible, les définitions de chaque «domaine conceptuel» (voir ci-dessus) ainsi que les séries de questions et les échelles ont été adaptées depuis la littérature. 
 
''Collecte de données'' 
 
Les données ont été recueillies par l’intermédiaire d’un questionnaire en ligne (à l’aide de l’interface phpESP) 
 
''Purification de l’instrument'' 
 
Cela a été fait par «une analyse factorielle et un regroupement des items définissant des indices susceptibles de résumer les variables» (i.e. les 8 facteurs) p. 21. Remarque: si vous utilisez des instruments publiés et sérieusement testés, cette opération n’est pas nécessaire! 
 
''Perception de l’usage pédagogique des TIC'' 
 
Dans le questionnaire, ce concept est mesuré avec deux ''séries de questions'' (échelles). 
 
La perception de l’utilisation pédagogique des TIC se mesure avec deux séries de questions: une première série interroge sur l’attitude des individus à l’égard de «déclarations officielles» sur l’utilisation des ressources informatiques dans l’éducation. La deuxième série mesure l’utilité attribuée à différents types de ressources utilisant l’informatique. 
 
Les deux séries de questions utilisent les mêmes types de réponses: 1=pas du tout d’accord, 2=pas vraiment d’accord, 3=plutôt d’accord, 4=tout à fait d’accord. 
 
A partir de ces questions, trois indices ont été produits (pp.28-9): 
 
* Var_PUP1 ― degré d’importance des outils d’entraide et de collaboration pour les élèves 
 
* Var_PUP2 ― degré d’importance des outils de communication entre élèves 
 
* Var_PUP3 ― accord sur ce qui favorise les apprentissages de type constructiviste 
===Design de systèmes comparatifs similaires  ===
 
 
Ce design est largement utilisé dans l’analyse des comparaisons de politiques publiques. Il permet de comparer les systèmes éducatifs de districts / régions et de pays. Ce design se contente généralement d’utiliser des statistiques descriptives très simples, et souvent des données globales officielles. 
 
Principe'' ''(Figure 37): 
 
1. Assurez-vous d’avoir une bonne variance parmi les ''''variables opératoires'''', i.e l’ensemble de toutes les variables dépendantes et indépendantes. 
 
2. Assurez-vous qu’aucune autre variable n’ait de la variance (i.e qu’aucune variable de contrôle cachée ne puisse produire d’effets) 
 
 
 
Figure 37: Design de systèmes comparatifs similaires 
 
En d’autres termes, sélectionnez des cas différents en ce qui concerne les variables pertinentes pour votre recherche, mais similaires pour les autres aspects. 
 
Exemple: si vous voulez mesurer les effets des TIC, ne choisissez pas une école prestigieuse qui utilise les TIC et une école normale qui ne les utilise pas. Choisissez soit des écoles prestigieuses, soit des écoles «normales», sans quoi vous ne pourriez savoir si c’est réellement l’utilisation des TIC qui fait la différence. 
 
Avantages et inconvénients de cette méthode: 
 
* fiabilité moins bonne et problèmes de validité de construction 
 
* meilleur contrôle de variables inconnues en ce qui concerne la plupart des systèmes de designs différents 
 
* validité externe moins bonne (impossibilité à généraliser) 
 
* tests statistiques faibles ou inexistants. La plupart du temps, les chercheurs comparent uniquement des données descriptives et ne peuvent fournir de résultats significatifs sur le plan statistique, car les cas sont trop peu nombreux. 
=== Résumé  ===
 
 
Dans ce chapitre, nous avons présenté quelques designs de recherche fondés sur la théorie, que nous résumons dans le tableau ci-dessous avec quelques cas d’utilisation types. Il existe d’autres designs fondés sur la théorie que nous n’avons pas présentés, e.g. les simulations. 
 
  <table class=MsoNormalTable border=1 cellspacing=0 cellpadding=0 width="97%"
style='width:97.34%;margin-left:8.5pt;border-collapse:collapse;border:none'> <tr> <td width="47%" style='width:47.4%;border-top:groove windowtext 6.0pt;
  border-left:groove windowtext 6.0pt;border-bottom:none;border-right:none;
  background:#D8FF8B;padding:5.65pt 0cm 5.65pt 0cm'>
 
''Approche '' </td> <td width="52%" style='width:52.6%;border-top:groove windowtext 6.0pt;
  border-left:none;border-bottom:none;border-right:ridge windowtext 6.0pt;
  background:#D8FF8B;padding:5.65pt 0cm 5.65pt 0cm'>
 
''Quelques cas d’utilisation '' </td> </tr> <tr> <td width="47%" style='width:47.4%;border:none;border-left:groove windowtext 6.0pt;
  background:#D8FF8B;padding:5.65pt 0cm 5.65pt 0cm'>
 
''Designs expérimentaux '' </td> <td width="52%" style='width:52.6%;border:none;border-right:ridge windowtext 6.0pt;
  background:#D8FF8B;padding:5.65pt 0cm 5.65pt 0cm'>
 
* Enquêtes psychopédagogiques 
 
* Interface homme machine  </td> </tr> <tr> <td width="47%" style='width:47.4%;border:none;border-left:groove windowtext 6.0pt;
  background:#D8FF8B;padding:5.65pt 0cm 5.65pt 0cm'>
 
''Designs quasi-expérimentaux'' </td> <td width="52%" style='width:52.6%;border:none;border-right:ridge windowtext 6.0pt;
  background:#D8FF8B;padding:5.65pt 0cm 5.65pt 0cm'>
 
* Ingénierie pédagogique (dans son ensemble) 
 
* Psychologie sociale 
 
* Analyse de politiques publiques 
 
* Réforme éducative
 
* Réforme organisationnelle </td> </tr> <tr> <td width="47%" style='width:47.4%;border:none;border-left:groove windowtext 6.0pt;
  background:#D8FF8B;padding:5.65pt 0cm 5.65pt 0cm'>
 
''Designs statistiques '' </td> <td width="52%" style='width:52.6%;border:none;border-right:ridge windowtext 6.0pt;
  background:#D8FF8B;padding:5.65pt 0cm 5.65pt 0cm'>
 
* Les pratiques pédagogiques
 
* ''Patterns'' (modèles) d’usages </td> </tr> <tr> <td width="47%" style='width:47.4%;border-top:none;border-left:groove windowtext 6.0pt;
  border-bottom:ridge windowtext 6.0pt;border-right:none;background:#D8FF8B;
  padding:5.65pt 0cm 5.65pt 0cm'>
 
''Designs de systèmes comparatifs similaires '' </td> <td width="52%" style='width:52.6%;border-top:none;border-left:none;
  border-bottom:ridge windowtext 6.0pt;border-right:ridge windowtext 6.0pt;
  background:#D8FF8B;padding:5.65pt 0cm 5.65pt 0cm'>
 
* Analyse des politiques publiques 
 
* Education comparative  </td> </tr> </table> 
 
 
 
Bien entendu, vous pouvez combiner plusieurs de ces approches dans un projet de recherche. Vous pouvez également utiliser différents designs pour la même question afin d’obtenir différents éléments de réponse. 
 
Pour pratiquer: 
 
A) Répondez aux questions! 
 
1. Quelle est la différence principale entre un design expérimental et un design quasi-expérimental? 
 
2. Un design quasi-expérimental et une enquête par sondage ont certains éléments en commun. Lesquels? 
 
3. Listez les étapes importantes d’une enquête par sondage. 
 
B) Concevez! 
 
1. Esquissez un design quasi-expérimental pour répondre à la question suivante : 
 
Dans un programme de formation à distance, est-ce qu’un tutorat de bonne qualité augmente la satisfaction à l’égard du programme et diminue le taux d’abandon des étudiants? 
 
2. Formulez une hypothèse de recherche qui traite du lien entre la participation des étudiants en ligne et l’accompagnement apportée aux étudiants. Elaborez pour chacune des deux variables une série de quatre questions. Justifiez chaque question et les éléments de réponse. 
 
Astuce: vous pourriez trouver des outils de sondage dans la littérature. 
 
C) Etude de cas 
 
Téléchargez Poellhuber, B., Chomienne, M., Karsenti, T. (2011). L’effet du tutorat individuel sur le sentiment d’auto-efficacité et la persévérance en formation à distance. Revue des sciences de l'éducation, 37 (3), pp. 569-593. DOI: 10.7202/1014758ar 
 
1. Identifiez la question de recherche centrale 
 
2. Expliquez comment le sentiment d’auto-efficacité et la persévérance ont été mesurés. 


3. Résumez les résultats. <br
Milot, J. (2015). Recensement et sondage. Capsule Vidéo. Québec : Collège de Maisonneuve. Repéré à https://www.youtube.com/watch?v=1Rm-E3g1fFY&index=6&list=PLzzOZc8nEo7rrKm5xb5a2teE6BYQNKulZ
clear=all style='page-break-before:always'>
<br>
Savoie-Zajc, L. & Karsenti, T. (2018). Chapitre 5 : La méthodologie. In Karsenti, T., & Savoie-Zajc, L. (2018). La recherche en éducation. Étapes et approches. Québec : Les presses de l’Université de Montréal.
<br>
Vilatte, J.-C. (2007). Méthodologie de l’enquête par questionnaire. Laboratoire Culture & Communication. Université d’Avignon. Chapitre 1 à 3. Repéré à http://ins.dev- projet.com/sites/default/files/pdf_actualites/vilatte-methodologie-enquete-questionnaire.pdf

Dernière version du 12 décembre 2019 à 22:57

Manuel de recherche en technologie éducative
Page d'entrée du module
Designs de recherche orientés test de théorie
◀▬▬▶
⚐ à améliorer ☸ débutant
⚒ 2019/12/12 ⚒⚒ 2015/03/27
Voir aussi
Autres pages du module

Introduction au module

Nous avons précédemment présenté trois grandes familles d’approches de recherche: (1) la recherche explicative, orientée test de théorie, (2) la recherche interprétative, orientée création de théorie, et (3) la recherche design. Dans ce chapitre, nous présenterons des designs de recherche (stratégies d’investigation) explicatifs, orientés test de théorie, i.e. le courant dominant des sciences sociales. La plupart des recherches en sciences de l’éducation publiées dans des revues de qualité s’appuient sur cette méthodologie. Plusieurs recherches d'évaluation reposent également sur une approche descendante fondée sur des modèles théoriques.

Objectifs d’apprentissage

  • Comprendre les principes fondamentaux de la recherche orientée test de théorie
  • Se familiariser avec quelques approches principales et être en mesure de les distinguer

Principes

La recherche quantitative cherche à vérifier une théorie en examinant les relations existant entre les variables. Ces variables peuvent être mesurées, par des instruments, afin de générer des données numériques qui vont pouvoir être analysées avec des procédures statistiques. De plus, une étude quantitative a une structure fixe comportant une introduction, la littérature et la théorie, les méthodes, les résultats et la discussion (Creswell, 2014, p. 247).

Les éléments les plus importants d’un design empirique fondé sur la théorie sont de ce fait (Figure 21): la théorie, les hypothèses, les mesures et les analyses causales (statistiques).

Figure 21: Principaux éléments de la recherche empirique fondée sur la théorie
  • Conceptualisations: chaque question de recherche est détaillée par l’intermédiaire d’une ou de plusieurs hypothèses. Les hypothèses sont toujours ancrées dans la théorie.
  • Mesures: les mesures sont généralement quantitatives (e.g. données expérimentales, données d’enquêtes, «statistiques» organisationnelles ou publiques, etc.) et s’appuient sur des artefacts, tels que des sondages ou du matériel expérimental.
  • Analyses et conclusions: les hypothèses sont testées à l’aide de méthodes statistiques, par exemple des designs expérimentaux ou des designs corrélationnels (statistiques).

Il existe plusieurs variantes d’approches de recherche orientées test de théorie. Nous allons nous intéresser à certaines d’entre elles dans les chapitres suivants. Ces différentes approches ont des suppositions et des modèles méthodologiques en commun, que nous présenterons en temps voulu.

Résumé

Liste de designs

Dans ce module sur les designs de recherche orientés test de théorie, nous présentons quelques designs de recherche fondés sur la théorie, que nous résumons dans le tableau ci-dessous avec quelques cas d’utilisation types. Il existe d’autres designs fondés sur la théorie que nous n’avons pas présentés, e.g. les simulations.

Approche Quelques cas d’utilisation
Designs expérimentaux
  • Enquêtes psychopédagogiques
  • Interface homme machine
Designs quasi-expérimentaux
  • Ingénierie pédagogique (dans son ensemble)
  • Psychologie sociale
  • Analyse de politiques publiques
  • Réforme éducative
  • Réforme organisationnelle
Designs statistiques
  • Les pratiques pédagogiques
  • modèles d’usages
Design comparaison de systèmes similaires
  • Analyse des politiques publiques
  • Education comparative

Bien entendu, vous pouvez combiner plusieurs de ces approches dans un projet de recherche. Vous pouvez également utiliser différents designs pour la même question afin d’obtenir différents éléments de réponse.

Appropriation de la thématique par des doctorants

Résumés réalisés par des doctorants dans le cadre du Module 3 de RESET-Francophone.

Principes, étapes et caractéristiques d’une enquête par sondage

Résumé réalisé par Corinne Ramillon et Chau Nguyen .

La définition donnée par Milot (2015) pour le recensement et le sondage est la suivante : le recensement est une étude statistique auprès de toute la population. Si le public interrogé est un plus petit échantillon alors il s’agit d’un sondage.

Mais alors comment choisir entre sondage et recensement ? Selon Milot (2017) et Amyotte & Pépin (2017), le recensement semble plus réaliste car toute la population est interrogée mais il est plus difficile à réaliser en fonction d’obstacles géographiques : l’étendue du territoire à parcourir peut être très vaste, d’obstacles démographiques : la taille de la population à interroger peut engendrer un surcroît de temps pour la récolte des données, d’obstacles financiers : tant les distances que le nombre de participants peuvent engendrer des coûts fort élevés, des obstacles temporels : le recensement est chronophage et en plus il peut être lourd pour le public visé car il est possible que ce dernier ait subi déjà plusieurs autres recensements. Il existe également un dernier obstacle lié à la méthode de collecte : cette dernière peut être destructrice selon le type de produit étudié (par exemple, si l’on analyse la durée de vie d’une ampoule en la laissant allumée jusqu’à sa fin de vie, les coûts liés au matériel s’avèrent fort importants.).

Pour Milot (2017), le sondage est plus économique, sa durée de vie est plus courte que le recensement, il est moins destructeur pour le produit, la population est moins sollicitée, ce qui le rend beaucoup plus favorable pour la récolte des données de la recherche.
Parmi les designs envisageables pour l’enquête par sondage, nous trouvons un premier type, les designs expérimentaux (avec groupes test et témoin, pré et post-tests et distribution aléatoire des sujets obligatoire) et un deuxième type, les designs quasi-expérimentaux (avec seulement le groupe test et distribution aléatoire des sujets pas toujours respectée) qui servent à la réalisation des questionnaires dans les enquêtes par sondage (EduTech Wiki). Amyotte & Pépin (2017) mentionnent également que l’enquête par questionnaire est “une méthode d’investigation très flexible et très polyvalente”. La mise en place de variables de contrôle ne doit pas être oubliée pour tester des hypothèses alternatives (EduTechWiki).

Le troisième type de designs fréquent dans les enquêtes par sondage, sont les designs statistiques. Dans une enquête par sondage selon le design statistique, ce sont des attitudes, des comportements, des expériences, des conditions socio-économiques, etc qui sont recherchés auprès de la population par le biais d’un questionnaire, sans intervention auprès des sujets. Plusieurs méthodes sont possibles : papier, téléphone, entretien, questionnaire en ligne. La plupart du temps, le questionnaire ne peut être administré à l’entièreté de la population mais seulement à un échantillon représentatif, typiquement quelques centaines de personnes.
De plus, il ne faut pas négliger les obstacles à la validité interne de ces types de designs. Une question clé doit être systématiquement posée : quelles sont les autres variables non-contrôlées voire cachées qui pourraient influencer les observables ? Campbell et Stanley (1963) ont élaboré une typologie de ces obstacles dont tout chercheur doit se méfier : l’histoire, la maturation, le test, l’instrumentation, la régression statistique, l’auto- sélection, la mortalité, l’interaction avec la sélection, l’ambiguïté directionnelle, la diffusion ou imitation de traitement et l’égalisation compensatoire.
Une fois que ces variables non-contrôlées voire cachées ont été détectées, il faut également rechercher la validité des données dans ces types de designs. Pour ce faire, Campbell et Stanley (1963) ont défini quatre types de validité : la validité interne, la validité externe, la validité statistique et la validité de construction. Cette typologie est également transposable dans d’autres contextes de recherche telles que les analyses qualitatives structurées ou les designs statistiques.
La structure type d’un plan d’une enquête par sondage se présente ainsi : Revue de littérature – questions de recherches – cadre d’analyse – approche qualitative possible lors de l’enquête préliminaire – hypothèses – opérationnalisation – définitions des variables (qualitatives, quantitatives continues et quantitatives discrètes) - définitions des échelles (nominale, ordinale, d’intervalles, de rapports) et des questionnaires – définition de la population cible – stratégies d’échantillonnage – identification des méthodes d’analyse – élaboration du questionnaire – test sur quelques sujets – sondage – codage et vérification – construction de l’échelle – analyse statistique des données.
Selon Vilatte (2007), « Le fait auquel renvoie l’objet de l’enquête est soumis à quatre principales transformations qui sont inhérentes à toute démarche d’enquête et de manière plus générale à toute démarche de recherche et qui sont : la délimitation du fait par la définition de l’objet d’étude, la sélection des éléments jugés pertinents au travers des questions, le tri par l’activité de codage et de recodage des informations recueillies, la lecture seulement d’une partie des données. ».
Selon Ghiglione (1987), les objectifs d’un questionnaire d’enquête par sondage sont de plusieurs types : la description, l’estimation et la vérification d’une hypothèse. Amyotte & Pépin (2017) présente les mêmes mais regroupe les deux derniers types sous l’appellation statistique inférentielle.
Quant à Lapointe (2000), il estime qu’il y a plutôt deux types d’enquête par sondage : l’enquête descriptive ou l’enquête causale (avec variable dépendante et indépendante).
D’après Vilatte (2007), l’élaboration d’un tel questionnaire se fait en différentes phases. Il faut tout d’abord définir l’objet de l’enquête, puis les objectifs et les hypothèses, la population ou l’univers de l’enquête, l’échantillon représentatif (par méthode aléatoire ou méthode de quotas). Il faut ensuite rédiger un projet de questionnaire, « sorte de canevas traçant les grands traits du questionnaire » (Vilatte, 2007) puis le tester en le mettant à l’épreuve auprès de quelques personnes. Ce n’est qu’une fois ces étapes passées que l’on peut rédiger la version définitive du questionnaire pour le transmettre à la population choisie en fonction du choix du mode d’administration et de sa présentation (par enquêteur, en auto-administration, par envoi postal, par téléphone, par internet).
Un questionnaire est composé de trois parties : les instructions, les questions, la grille de codification des réponses. Une fois les données récoltées, il faut passer par la phase de dépouillement et de codage avant de pouvoir analyser les résultats en relation avec les objectifs de l’enquête. Pour terminer, la dernière phase consiste en la rédaction du rapport et son éventuelle publication.

Qu’est-ce qu’une recherche quantitative?

Résumé réalisé par Mahamadou Halilou

Creswell (2014), répond à cette question en ces termes : La recherche quantitative cherche à tester une théorie en examinant les relations existant entre les variables. Ces variables peuvent être mesurées, par des instruments, afin de générer des données numériques qui vont pouvoir être analysées avec des procédures statistiques. De plus, une étude quantitative a une structure fixe comportant une introduction, la littérature et la théorie, les méthodes, les résultats et la discussion (Creswell, 2014, p. 247).

Mais faisons attention aux erreurs qui peuvent entacher ces recherches voir les entamer : quelles sont-elles ?

Première erreur : Vous croyez qu’un lien statistique entre deux variables est pertinent, car il existe une bonne corrélation entre ces deux variables, mais «en réalité» cette corrélation n’existe pas. Il se peut que la raison principale soit une variable qui influence les deux.

En termes complexes: vous rejetez à tort l’hypothèse nulle (pas de lien entre les variables)

Seconde erreur : Vous croyez qu’un lien n’existe pas ... mais «en réalité» il y a bien relation entre les deux variables.

Ex : vous calculez un coefficient de corrélation et les résultats indiquent qu’il est très faible ou insignifiant. Un lien pourrait toutefois exister. La relation n’était peut-être pas linéaire, ou peut-être qu’une autre variable a causé un effet d’interaction...

En termes plus complexes: vous acceptez à tort l’hypothèse nulle

Une chose à retenir : Les méthodes statistiques vous permettent de tester d’autres hypothèses et par conséquent de diminuer les risques d’erreurs de validité interne.

Pratique

Une fois que vous avez lu les introductions aux designs expérimentaux, quasi-expérimentaux et statistiques, vous pouvez revenir ici et pratiquer. Enfin, personne ne vous empêchera de tester maintenant votre savoir-faire...

Pour pratiquer:


A) Répondez aux questions:

  1. Quelle est la différence principale entre un design expérimental et un design quasi-expérimental?
  2. Un design quasi-expérimental et une enquête par sondage ont certains éléments en commun. Lesquels?
  3. Listez les étapes importantes d’une enquête par sondage.

B) Concevez!

  1. Esquissez un design quasi-expérimental pour répondre à la question suivante :
    • Dans un programme de formation à distance, est-ce qu’un tutorat de bonne qualité augmente la satisfaction à l’égard du programme et diminue le taux d’abandon des étudiants?
  2. Formulez une hypothèse de recherche qui traite du lien entre la participation des étudiants en ligne et l’accompagnement apportée aux étudiants.
    • Elaborez pour chacune des deux variables une série de quatre questions.
    • Justifiez chaque question et les éléments de réponse.
Astuce: vous pourriez trouver des outils de sondage dans la littérature.

C) Etude de cas

  • Téléchargez Poellhuber, B., Chomienne, M., Karsenti, T. (2011). L’effet du tutorat individuel sur le sentiment d’auto-efficacité et la persévérance en formation à distance. Revue des sciences de l'éducation, 37 (3), pp. 569-593. DOI: 10.7202/1014758ar
  1. Identifiez la question de recherche centrale
  2. Expliquez comment le sentiment d’auto-efficacité et la persévérance ont été mesurés.
  3. Résumez les résultats.

Références

Amyotte, L. & Pépin, J.-N. (2017). Méthodes quantitatives : Applications à la recherche en sciences humaines. 4ème édition. Montréal : Pearson. Chapitre 1, pp. 02-40.
Campbell, D. & Stanley, J. (1963). Experimental and quasi-experimental designs for research. Boston : Houghton Mifflin Company
Campion, B. (2012). Etude de l’apport de la non-linéarité au récit éducatif. Document numérique 3/2012 (Vol 15), p.49-70. Repéré à https://dn.revuesonline.com/gratuit/DN15_3_05_Campion.pdf
Milot, J. (2017). La méthode scientifique. Capsule Vidéo. Québec : Collège de Maisonneuve. Repéré à https://www.youtube.com/watch?v=1EI1zdZZOxc&list=PLzzOZc8nEo7rrKm5xb5a2teE6BYQNKulZ&index=1

Milot, J. (2015). Recensement et sondage. Capsule Vidéo. Québec : Collège de Maisonneuve. Repéré à https://www.youtube.com/watch?v=1Rm-E3g1fFY&index=6&list=PLzzOZc8nEo7rrKm5xb5a2teE6BYQNKulZ
Savoie-Zajc, L. & Karsenti, T. (2018). Chapitre 5 : La méthodologie. In Karsenti, T., & Savoie-Zajc, L. (2018). La recherche en éducation. Étapes et approches. Québec : Les presses de l’Université de Montréal.
Vilatte, J.-C. (2007). Méthodologie de l’enquête par questionnaire. Laboratoire Culture & Communication. Université d’Avignon. Chapitre 1 à 3. Repéré à http://ins.dev- projet.com/sites/default/files/pdf_actualites/vilatte-methodologie-enquete-questionnaire.pdf

Récupérée de « https://edutechwiki.unige.ch/fmediawiki/index.php?title=Designs_de_recherche_orientés_test_de_théorie&oldid=119775 »