Designs de recherche orientés test de théorie

Manuel de recherche en technologie éducative
◀▬▬▶
⚐ à améliorer	☸ débutant
⚒ 2015/03/26	⚒⚒ 2015/03/27

Introduction

Nous avons précédemment présenté trois grandes familles d’approches de recherche: la recherche explicative, orientée vérification de théorie, la recherche interprétative, orientée création de théorie, et la recherche design. Dans ce chapitre, nous présenterons des designs de recherche (stratégies d’investigation) explicatifs, orientés vérification de théorie, i.e. le courant dominant des sciences sociales. La plupart des recherches en sciences de l’éducation publiées dans des revues de qualité s’appuient sur cette méthodologie. Plusieurs recherches évaluation reposent également sur une approche descendante fondée sur des modèles théoriques.

Objectifs d’apprentissage

• Comprendre les principes fondamentaux de la recherche orientée vérification de théorie

• Se familiariser avec quelques approches principales et être en mesure de les distinguer

Introduction

La recherche quantitative cherche à vérifier une théorie en examinant les relations existant entre les variables. Ces variables peuvent être mesurées, par des instruments, afin de générer des données numériques qui vont pouvoir être analysées avec des procédures statistiques. De plus, une étude quantitative a une structure fixe comportant une introduction, la littérature et la théorie, les méthodes, les résultats et la discussion. (Creswell, 2014, p. 247)

Les éléments les plus importants d’un design empirique fondé sur la théorie sont de ce fait (Figure 21): la théorie, les hypothèses, les mesures et les analyses causales (statistiques).

Figure 21: Principaux éléments de la recherche empirique fondée sur la théorie

• Conceptualisations: chaque question de recherche est détaillée par l’intermédiaire d’une ou de plusieurs hypothèses. Les hypothèses sont ancrées dans la théorie.

• Mesures: les mesures sont généralement quantitatives (e.g. données expérimentales, données d’enquêtes, «statistiques» organisationnelles ou publiques, etc.) et s’appuient sur des artéfacts tels que des sondages ou du matériel expérimental.

• Analyses et conclusions: les hypothèses sont testées à l’aide de méthodes statistiques, par exemple des designs expérimentaux ou des designs corrélationnels (statistiques).

Il existe plusieurs variantes d’approches de recherche orientées vérification de théorie. Nous allons nous intéresser à certaines d’entre elles dans les chapitres suivants. Ces différentes approches ont des suppositions et des modèles méthodologiques en commun, que nous présenterons en temps voulu.

Designs quasi-expérimentaux

Il est difficile de mener des expériences dans des contextes réels, e.g. dans des écoles. Toutefois, il existe des designs qu’on appelle les designs quasi-expérimentaux. Ils s’inspirent de principes de designs expérimentaux (pré-tests, post-tests et groupes contrôle). Ces designs ont l’avantage de pouvoir être menés dans des situations non-expérimentales, i.e. dans des contextes «réels» et peuvent être utilisés lorsque les vrais traitements expérimentaux deviennent trop «lourds», i.e. lorsqu’ils nécessitent plus de 2-3 variables de traitement bien définies.

Les désavantages des situations quasi-expérimentales sont liés au manque de contrôle:

• Vous ne connaissez pas tous les stimuli possibles (i.e. les causes qui ne sont pas dues aux conditions expérimentales)

• Vous ne pouvez pas distribuer de manière aléatoire (distribuer équitablement d’autres stimuli intermédiaires non connus aux groupes)

• Vous pourriez manquer de sujets

Cependant, la recherche quasi-expérimentale peut aider à tester toutes sortes de variables que vous ne pouvez pas contrôler. On les appelle des obstacles à la validité interne.

Dans le domaine de l’éducation, les designs quasi-expérimentaux sont particulièrement appréciés dans la recherche évaluation et dans la recherche sur les innovations organisationnelles. Les connaissances en matière de design quasi-expérimental contribuent également à améliorer la qualité des questionnaires dans les enquêtes par sondage (pensez aux variables de contrôle pour tester des hypothèses alternatives).

Comme dans la recherche expérimentale, il existe plusieurs designs de recherche quasi-expérimentaux différents. Certains sont plus faciles à mener, mais ils donneront des résultats moins robustes (validité). Nous allons nous intéresser à une partie d’entre eux.

Design de la série chronologique interrompue

Dans le schéma suivant (Figure 31), correspondant à la série chronologique interrompue, nous cherchons à contrôler l’effet d’autres événements possibles (traitements) sur un groupe expérimental donné.

Figure 31: Design de la série chronologique interrompue

L’avantage de ce design est qu’il permet de contrôler quelque peu les tendances (naturelles), i.e. lorsque vous observez ou introduisez un traitement, e.g. une réforme pédagogique, vous ne pouvez pas avoir la certitude que ce sont les éléments de la réforme qui produisent les effets recherchés: les changements peuvent être dus à autre chose, comme une tendance générale vers de meilleures capacités au sein d’une population d’étudiants.

Les problèmes de ce design sont les suivants: vous ne pouvez pas contrôler des événements externes simultanés (X₂ se produisant en même temps que X₁).

Voici un exemple de l’effet de la pédagogie fondée sur les TIC en classe. Les méthodes pédagogiques fondées sur les TIC que vous étudiez peuvent avoir été introduites en même temps que d’autres innovations pédagogiques. Qu’est-ce qui a le plus influencé la performance globale; s’agit-il des TIC ou des autres innovations?

Il existe également des difficultés pratiques: il est parfois impossible d’obtenir des données sur les années écoulées. Parfois, vous n’avez pas suffisamment de temps à disposition (votre recherche se termine trop tôt et les décideurs sont toujours pressés pour attendre des résultats sur le long terme).

Exemple: les pédagogies fondées sur les TIC affirment souvent pouvoir améliorer les facultés métacognitives. Avez-vous des tests pour les années 1-2-3? Pouvez-vous attendre l’année +3? Pouvez-vous tester la même population lorsque les sujets entrent à l’université ou trouvent des emplois dans lesquels leurs facultés métacognitives ont plus d’importance?

Exemples de séries chronologiques

Nous allons nous intéresser de manière informelle à quelques 'patterns (modèles) de séries chronologiques, i.e. des mesures qui évoluent dans le temps et qui peuvent confirmer ou infirmer des hypothèses sur une intervention X.

Figure 32: Exemple de série chronologique interrompue

Dans la Figure 32, O₂, O₃, etc., sont des données d’observation (e.g. annuelles). X est le traitement (intervention).

1. A. Un effet statistique est probable

• Exemple: les taux d’étudiants qui abandonnent les études ont baissé avec l’introduction de forums sur le serveur d’apprentissage en ligne.

• Toutefois, vous devez vous méfier de vos interprétations: vous n’avez pas connaissance d’une éventuelle autre intervention qui pourrait avoir eu lieu en même temps.

2. B. Un effet statistique de type feu de paille ou «éphémère»

• Exemple: l’enseignement s’est amélioré lorsque nous avons introduit X, puis tout est redevenu comme avant.

• Il y a un effet constaté suite à l’intervention mais après un certain temps, la cause «s’épuise», e.g. une motivation en forte hausse suite à l’introduction des TIC dans le programme, qui ne s’installe pas forcément dans la durée.

3. C. Tendance naturelle (pas d’effet)

• Vous pouvez contrôler cette erreur en regardant au-delà de O₄ et O₅!

4. D. Confusion entre les effets de cycle et l’intervention

• Exemple: Le gouvernement a introduit des mesures pour lutter contre le chômage, mais il se peut que l’amélioration de la situation s’explique par un cycle économique naturel. Vous pouvez le vérifier en analysant l’ensemble de la série chronologique.

5. E. Effet retardé

• Exemple: Les effets de gros investissements dans l’éducation sur la croissance économique (peuvent se manifester plusieurs décennies plus tard)

6. F. Effet d’accélération de tendance

• Difficile à différencier de G, i.e. la courbe pourrait connaître un léger changement, mais il pourrait uniquement s’agir d’une variante de l’évolution naturelle exponentielle.

7. G. Evolution naturelle exponentielle

• Identique à (C).

Obstacles à la validité interne

La question clé à vous poser de manière récurrente est: 'quelles sont les autres variables qui pourraient influencer mes/nos expériences?' Campbell et Stanley (1963) ont élaboré une première typologie d’obstacles dont vous devez vous méfier:

Type d’obstacle	Définition et exemple
Histoire	Un autre événement que X se produit entre les mesures. Exemple: l’introduction des TIC a eu lieu en même temps que l’introduction de l’enseignement par projet.
Maturation	L’objet a changé «naturellement» entre les mesures Exemple: ce cours a-t-il changé votre connaissance de la méthodologie ou est-ce simplement dû au fait que vous avez commencé à travailler sur votre projet de thèse?
Test	La mesure a eu un effet sur l’objet Exemple: vos entretiens précédant l’intervention ont eu un effet sur les gens (e.g. les enseignants ont changé de comportement avant que vous ne les invitiez à des séances de formation)
Instrumentation	La méthode de mesure a changé Exemple: les capacités de lecture sont définies différemment. e.g. de nouveaux tests favorisent la compréhension textuelle.
Régression statistique	Les différences se seraient réduites naturellement Exemple: une école introduit de nouvelles mesures disciplinaires suite à l’agression d’un enseignant par des élèves. Il se peut que de tels événements ne se seraient pas reproduits l’année suivante, même sans intervention.
(Auto) sélection	Les sujets sont auto-sélectionnés pour le traitement Exemple: vous introduisez de nouvelles pédagogies fondées sur les TIC et les résultats sont très bons (il se peut que seuls de bons enseignants aient participé à ces expériences).
Mortalité	Les sujets ne sont pas les mêmes Exemple: une école introduit des mesures spéciales pour motiver les «élèves difficiles». Après 2-3 ans, les taux d’abandon diminuent. L’école est peut-être située dans une zone qui connaît des changements socio-démographiques rapides (différentes personnes).
Interaction avec sélection	Exemple d’effets combinés: le groupe contrôle montre une maturation différente
Ambiguté directionnelle	L’effet est-il dû au traitement ou à des sujets différents? Exemple: les performances d’employés sont-elles meilleures dans une organisation à hiérarchie «horizontale» / participative / équipée de TIC, ou est-ce qu’une telle organisation attire des individus plus actifs et plus efficaces?
Diffusion ou imitation de traitement	Le traitement a un effet sur le groupe contrôle Exemple: une unité académique promeut un enseignement hybride moderne et attire des étudiants provenant d’une vaste zone géographique. Une unité de contrôle peut également bénéficier de cet effet.
Egalisation compensatoire	Le groupe contrôle observe le groupe expérimental Exemple: les sujets qui ne reçoivent aucun traitement réagissent en se comportant différemment.

Tableau 17: Obstacles à la validité interne

Une règle efficace consiste à réfléchir et à chercher d’autres explications susceptibles d’expliquer un phénomène. Toutefois, de bons designs de recherche peuvent également permettre de produire une recherche valide. Voyons à présent quelques designs qui tentent de contrôler de tels obstacles à la validité interne.

Design avec groupe contrôle non équivalent

Ce design adopte des comparaisons entre deux groupes contrôle similaires (mais pas équivalents). L’avantage de ce design réside dans son efficacité à détecter d’éventuelles influences de causes extérieures (i.e. des causes différentes des causes liées à l’intervention).

Figure 33: Design avec groupe contrôle non équivalent

Si O₂ ― O₁ est similaire à O₄ ― O₃, nous pouvons rejeter l’hypothèse selon laquelle O₂ ― O₁ est du à X, ou nous pouvons corroborer l’effet expérimental de X (Figure 33).

Voici les problèmes et les désavantages possibles de ce design:

• Mauvais contrôle des tendances naturelles, comme discuté dans le cadre de la série chronologique interrompue.

• Trouver des groupes équivalents n’est pas facile dans certains contextes «réels».

• Vous pourriez également rencontrer des effets d’interactions entre les groupes, e.g. l’imitation du groupe expérimental par le groupe contrôle.

Ce design avec groupe contrôle non équivalent n’est qu’un type de design de contrôle. Il est parfois possible d’utiliser des designs de contrôle aléatoires. Nous pouvons également créer deux ou trois designs de facteurs qui peuvent tester les interactions de variables indépendantes (facteurs). La conception et l’analyse de tels designs plus complexes sort cependant du cadre de cette introduction. Pour en savoir plus, vous pouvez consulter les ouvrages de Campbell, Stanley, Cook et Shadish. Par exemple: https://depts.washington.edu/methods/readings/Shadish.pdf

Expérience et effets d’imitation

Voici un exemple d’effet d’imitation (Figure 34). Dans le cadre d’un programme diplômant, nous introduisons une plateforme d’apprentissage dans un seul des cours. Nous nous intéressons alors à trois effets: le coût, la satisfaction des étudiants et le respect des délais en les comparant à un cours similaire donné par un autre enseignant.

'	Cours A Introduction d’une plateforme d’apprentissage	Cours B Pas d’introduction de plateforme	'
Effet 1:coûts	augmente	stable	comparaison horizontale des résultats
E 2: satisfaction des étudiants	augmente	augmente
E 3: respect des délais (pour la remise des travaux)	meilleur	stable

Figure 34: Exemple d'effet d'imitation

Pour pratiquer:

Pourquoi la satisfaction des étudiants pourrait-elle également augmenter chez les étudiants du cours B?

Série chronologique comparative

L’un des designs de recherche quasi-expérimentale les plus puissants se sert de séries chronologiques comparatives (Figure 35). Ce design est une combinaison de la série chronologique interrompue et du groupe contrôle non équivalent, que nous avons présentés précédemment.

Figure 35: Série chronologique comparative

Ce design est efficace pour contrôler plusieurs obstacles à la validité car il permetde:

1. comparer différents groupes (situations) et aussi de contrôler d’autres variables intevening;

2. faire une série de pré- et de post-observations (tests) pour contrôler des tendances naturelles et un effet statistique de type feu de paille ou «éphémère».

Les difficultés de ce design sont pratiques. Il n’est pas facile (et parfois impossible) de:

1. trouver des groupes comparables,

2. trouver des groupes avec plus que un ou quelques cas,

3. trouver des données (en particulier des données passées ou futures),

4. de contrôler des interventions simultanées au point X.

La validité dans les designs quasi expérimentaux

Généralisons à présent la discussion et abordons les problèmes de causalité et leur validité (Tableau 18).

Selon Campbell & Stanley (1963), il existe quatre types de validité:

Type de validité
Validité interne	«Elle désigne l’aptitude des données collectées à représenter réellement le phénomène étudié. Ceci concerne aussi bien la pertinence du choix des catégories utilisées pour coder les données issues d’une observation systématique que le fait de s’assurer que les traitements appliqués dans une étude expérimentale expliquent bien les changements de comportement manifestés par les sujets (si on peut les expliquer autrement la validité interne n’est pas bonne)». http://ute.umh.ac.be/methodes/partie1.htm Elle concerne le design (stratégie d’investigation) de votre recherche Vous devez démontrer que les causes que vous posez comme causes sont «réelles» et que toute autre explication est fausse. C’est le type de validité le plus important.
Validité externe	«Elle désigne le degré selon lequel les résultats d’une étude peuvent être généralisés à une population plus large. Cette définition a une signification différente selon qu’on s’inscrit dans le paradigme quantitatif ou qualitatif. Ainsi, dans une recherche quantitative, c’est la conception même de la recherche basée sur un échantillonnage représentatif des sujets qui va assurer, dans une mesure plus ou moins grande, cette validité externe.»http://ute.umh.ac.be/methodes/partie1.htm La question à vous poser: pouvez-vous généraliser? Ceci n’est pas facile, car vous pourriez ne pas avoir conscience de variables «favorables», e.g. le «bon enseignant» avec lequel vous avez travaillé ou le fait que les choses étaient bien plus faciles dans votre école privée... Comment pouvez-vous être certain que vos expériences d’introduction des TIC dans une situation donnée et couronnées de succès seraient également couronnées de succès dans des situations similaires (ou peu similaires)?
Validité statistique	... vos relations statistiques sont-elles significatives? Pour une analyse simple, ce type de validité n’est pas difficile. Faites en sorte d’utiliser les bonnes statistiques et fiez-vous à ces statistiques.
Validité de construction	...est-ce que l’opérationnalisation de vos concepts est solide? Vos dimensions sont-elles justes? Vos indicateurs mesurent-ils vraiment ce que vous cherchez à savoir?

Tableau 18: Typologie de la validité (Stanley et al.)

'Important': Cette typologie est également utile dans d’autres contextes, e.g. des analyses qualitatives structurées ou des designs statistiques. Dans la plupart des autres designs de recherche empirique, vous devez également traiter ces problèmes.

Exemple de travail de recherche quasi-expérimental[#_msocom_6 [B6]]

Questions de recherche

Méthode

Designs avec méthodes statistiques

D’une certaine manière, les designs statistiques sont conceptuellement liés aux designs expérimentaux. Les designs statistiques formulent des lois, i.e. les cas individuels n’ont aucun intérêt (à moins que quelque chose ne se passe mal). L’avantage de ce design est qu’il est possible de tester un nombre relativement important de lois (hypothèses) avec des données statistiques. On qualifie souvent de telles analyses de 'corrélationnelles, 'car elles ont pour but de démontrer des relations statistiques entre des variables.

De tels designs de recherche s’appuient sur un raisonnement théorique antérieur, car:

1. les mesures, i.e. les questionnaires peuvent ne pas être aussi fiables que cela:

• ce que les gens disent peut ne pas correspondre à ce qu’ils font

• ce que vous demandez pourrait ne pas mesurer ce que vous voulez observer

2. il y a une surdétermination statistique,

• vous pouvez trouver des corrélations entre variables, mais comme nous l’avons vu précédemment, les corrélations ne sont pas nécessairement synonymes de causalités.

3. vous ne pouvez pas obtenir une «image inductive» en posant une dizaine de questions fermées.

Le design de recherche dominant est mené de façon descendante et comprend en partie la doctrine du rationalisme critique de Popper, que l’on appelle également le falsificationnisme. Comment procéder?

1. Commencez par formuler des hypothèses (des modèles qui contiennent des variables et des relations que vous pouvez mesurer)

2. Mesurez les variables (e.g. à l’aide d’un questionnaire et/ou d’un test)

3. Testez alors les relations à l’aide d’outils statistiques

4. Testez alors des hypothèses alternatives selon le même principe. Vous devez également montrer que vos hypothèses ne sont pas falsifiables.

Le design statistique le plus utilisé en technologie éducative est l’enquête par sondage.

Introduction à l’enquête par sondage

La méthode de l'enquête par sondage a maintenant plus de soixante ans et est bien documentée dans les manuels de méthodologie. Elle consiste à recueillir des informations auprès des gens sur leurs attitudes, comportements, expériences, conditions socio-économiques, etc. par le biais d’un questionnaire. Ce questionnaire peut être administré au format papier, lors d’un entretien présentiel, par téléphone ou par internet. Généralement l'enquête par sondage cherche à tester une théorie sur une assez grande population (e.g. "les étudiants de sciences sociales" ou "les adolescents à la fin de l'enseignement obligatoire dans les pays de l'OCDE"). Le questionnaire ne peut être administré à l’entièreté d’une population et seul un échantillon représentatif, typiquement quelques centaines de personnes, est sollicité pour répondre aux questions.

Voici la structure type d’un plan de recherche pour une enquête par sondage (Tableau 19):

1. Revue de littérature menant aux questions de recherche générales et/ou au cadre d’analyse 2. Vous pouvez utiliser une approche qualitative dans le cadre d’une étude préliminaire pour étudier de nouveaux domaines de recherche et les citer ici. 3. Définition des hypothèses 4. Opérationnalisation des hypothèses, e.g. définition des échelles et des questionnaires liés 5. Définition de la population mère 6. Stratégies d’échantillonnage 7. Identification des méthodes d’analyse

Tableau 19: Eléments d’un plan de recherche pour une enquête par sondage

La mise en oeuvre de ce type de recherche (en dehors de la rédaction) se déroule en cinq étapes (Tableau 20):

1. Elaboration du questionnaire (avec des entrées de préférence provenant d’échelles publiées) 2. Test du questionnaire avec 2-3 sujets 3. Sondage (entretiens présentiels, en ligne ou par écrit) 4. Codage et vérification + construction d’échelle 5. Analyse statistique des données

Tableau 20: Mise en oeuvre d’une enquête par sondage

Conseils pour la rédaction:

1. Séparez la présentation des résultats de la discussion

2. Comparez toujours vos résultats à la théorie

3. Assurez-vous de rendre votre texte lisible, e.g. placez vos résultats dans des tableaux

Niveaux de raisonnement et obstacles à la validité

Nous avons précédemment vu qu’il existe un écart entre le raisonnement théorique et les données empiriques. En tant que chercheur, vous devez être en mesure de formuler des questions de recherche générales à un niveau global et être capable de les relier, par l’intermédiaire de l’opérationnalisation, à des indicateurs [#_msocom_7 [B7]]et indices ][#_msocom_8 [B8]]précis au niveau des données. Vous devez également comprendre que l’interprétation de données statistiques est complexe et requiert un raisonnement et des connaissances sur les obstacles à la validité interne (Tableau 21).

Niveau de raisonnement	Variables	Cas	Relations (causes)
Théorie	concept /catégorie	dépendent de la portée de votre théorie	sont exprimées verbalement à un niveau de langue élevé
Hypothèse	variables et valeurs (attributs)	population mère (élèves, écoles)	clairement énoncées comme des causalités ou des cooccurrences
Opérationnalisation	dimensions et indicateurs	échantillonnage suffisamment bon	sont des relations statistiques entre des variables statistiques (e.g. échelles composées, variables socio-démographiques)
Mesure	indicateurs observés (e.g. questions de sondage)	sujets dans l’échantillon
Statistiques	mesures (e.g. réponses aux questions), échelles (mesures composées)	données (variables numériques)

Tableau 21: Niveaux de raisonnement dans une approche avec méthodes statistiques

Typologie des erreurs de validité interne

'Erreur de type 1: 'Vous croyez qu’un lien statistique entre deux variables est pertinent, car il existe une bonne corrélation entre ces deux variables, mais «en réalité» cette corrélation n’existe pas. Il se peut que la raison principale soit une variable qui influence les deux.

* En termes complexes: vous rejetez à tort l’hypothèse nulle [#_msocom_9 [B9]](pas de lien entre les variables)  

'Erreur de type 2: 'Vous croyez qu’un lien n’existe pas ... mais «en réalité» il y a bien relation entre les deux variables.

• E.g., vous calculez un coefficient de corrélation et les résultats indiquent qu’il est très faible ou insignifiant. Un lien pourrait toutefois exister. La relation n’était peut-être pas linéaire, ou peut-être qu’une autre variable a causé un effet d’interaction...

• En termes plus complexes: vous acceptez à tort l’hypothèse nulle

Les méthodes statistiques vous permettent de tester d’autres hypothèses et par conséquent de diminuer les risques d’erreurs de validité internes. Comme toujours: réfléchissez!

Exemples d’enquêtes par sondage

Exemple[#_msocom_10 [B10]]: Facteurs qui favorisent l’utilisation des TIC par les enseignants

Luis Gonzalez (2004): Etude pilote sur la mise en oeuvre et les perceptions des TIC. Mémoire de Master en technologie éducative, Université de Genève.

http://tecfaetu.unige.ch/staf/staf-h/gonzalez/staf25/memoire-STAF.pdf

Le but principal de ce travail de recherche, est «d’étudier les facteurs qui favorisent l’utilisation des TIC par les enseignants».

Facteurs:

L’auteur définit 8 facteurs et postule qu’il existe des relations entre eux (Figure 36):

Figure 36: Relation entre les facteurs (Mémoire L. Gonzalez, 2004, p. 18)

Hypothèses:

Voici un extrait de ce mémoire (pp. 18-19) :

“Mon hypothèse principale postule l’existence d’une corrélation entre les facteurs suivants et la

mise en oeuvre des TIC par les enseignants:

• Le type de support offert par le cadre institutionnel

• Leurs compétences pédagogiques

• Leurs compétences techniques

• La formation reçue, que ce soit la formation de base ou la formation continue

• Leur sentiment d’auto-efficacité

• Leur perception des technologies

• Leur perception de l’usage pédagogique des TIC

• Leur rationalisation et digitalisation pédagogique

Les hypothèses secondaires sont les suivantes:

• La perception de l’usage pédagogique est corrélée avec les compétences pédagogiques de l’enseignant

• La perception des technologies est corrélée avec celle de l’usage pédagogique

• La dimension de radicalisation et de digitalisation pédagogique est corrélée avec la perception des technologies

• La formation est corrélée avec les compétences pédagogiques et techniques

• Le sentiment d’auto-efficacité de est corrélé avec les compétences pédagogiques et techniques

• La dimension de radicalisation et de digitalisation pédagogique est corrélée avec le sentiment d’auto-efficacité”

Méthode d’échantillonnage (p. 20)

• Echantillon représentatif de futurs enseignants du primaire (étudiants), N = 48

• Echantillon non-représentatif d’enseignants du primaire, N = 38

• Un e-mail a été envoyé à tous les enseignants de Genève disposant d’une adresse électronique, auto-sélection (!)

• Remarque: le questionnaire était très long, quelques enseignants qui avaient commencé à le remplir ont abandonné après un certain temps.

• Ce type d’échantillonnage convient à une étude pilote ou à un petit travail de mémoire de Master

Design du questionnaire

Dans la mesure du possible, les définitions de chaque «domaine conceptuel» (voir ci-dessus) ainsi que les séries de questions et les échelles ont été adaptées depuis la littérature.

Collecte de données

Les données ont été recueillies par l’intermédiaire d’un questionnaire en ligne (à l’aide de l’interface phpESP)

Purification de l’instrument

Cela a été fait par «une analyse factorielle et un regroupement des items définissant des indices susceptibles de résumer les variables» (i.e. les 8 facteurs) p. 21. Remarque: si vous utilisez des instruments publiés et sérieusement testés, cette opération n’est pas nécessaire!

Perception de l’usage pédagogique des TIC

Dans le questionnaire, ce concept est mesuré avec deux séries de questions (échelles).

La perception de l’utilisation pédagogique des TIC se mesure avec deux séries de questions: une première série interroge sur l’attitude des individus à l’égard de «déclarations officielles» sur l’utilisation des ressources informatiques dans l’éducation. La deuxième série mesure l’utilité attribuée à différents types de ressources utilisant l’informatique.

Les deux séries de questions utilisent les mêmes types de réponses: 1=pas du tout d’accord, 2=pas vraiment d’accord, 3=plutôt d’accord, 4=tout à fait d’accord.

A partir de ces questions, trois indices ont été produits (pp.28-9):

• Var_PUP1 ― degré d’importance des outils d’entraide et de collaboration pour les élèves

• Var_PUP2 ― degré d’importance des outils de communication entre élèves

• Var_PUP3 ― accord sur ce qui favorise les apprentissages de type constructiviste

Design de systèmes comparatifs similaires

Ce design est largement utilisé dans l’analyse des comparaisons de politiques publiques. Il permet de comparer les systèmes éducatifs de districts / régions et de pays. Ce design se contente généralement d’utiliser des statistiques descriptives très simples, et souvent des données globales officielles.

Principe (Figure 37):

1. Assurez-vous d’avoir une bonne variance parmi les 'variables opératoires', i.e l’ensemble de toutes les variables dépendantes et indépendantes.

2. Assurez-vous qu’aucune autre variable n’ait de la variance (i.e qu’aucune variable de contrôle cachée ne puisse produire d’effets)

Figure 37: Design de systèmes comparatifs similaires

En d’autres termes, sélectionnez des cas différents en ce qui concerne les variables pertinentes pour votre recherche, mais similaires pour les autres aspects.

Exemple: si vous voulez mesurer les effets des TIC, ne choisissez pas une école prestigieuse qui utilise les TIC et une école normale qui ne les utilise pas. Choisissez soit des écoles prestigieuses, soit des écoles «normales», sans quoi vous ne pourriez savoir si c’est réellement l’utilisation des TIC qui fait la différence.

Avantages et inconvénients de cette méthode:

* fiabilité moins bonne et problèmes de validité de construction  

• meilleur contrôle de variables inconnues en ce qui concerne la plupart des systèmes de designs différents

• validité externe moins bonne (impossibilité à généraliser)

• tests statistiques faibles ou inexistants. La plupart du temps, les chercheurs comparent uniquement des données descriptives et ne peuvent fournir de résultats significatifs sur le plan statistique, car les cas sont trop peu nombreux.

Résumé

Dans ce chapitre, nous avons présenté quelques designs de recherche fondés sur la théorie, que nous résumons dans le tableau ci-dessous avec quelques cas d’utilisation types. Il existe d’autres designs fondés sur la théorie que nous n’avons pas présentés, e.g. les simulations.

Approche	Quelques cas d’utilisation
Designs expérimentaux	Enquêtes psychopédagogiques Interface homme machine
Designs quasi-expérimentaux	Ingénierie pédagogique (dans son ensemble) Psychologie sociale Analyse de politiques publiques Réforme éducative Réforme organisationnelle
Designs statistiques	Les pratiques pédagogiques Patterns (modèles) d’usages
Designs de systèmes comparatifs similaires	Analyse des politiques publiques Education comparative

Bien entendu, vous pouvez combiner plusieurs de ces approches dans un projet de recherche. Vous pouvez également utiliser différents designs pour la même question afin d’obtenir différents éléments de réponse.

Pour pratiquer:

A) Répondez aux questions!

1. Quelle est la différence principale entre un design expérimental et un design quasi-expérimental?

2. Un design quasi-expérimental et une enquête par sondage ont certains éléments en commun. Lesquels?

3. Listez les étapes importantes d’une enquête par sondage.

B) Concevez!

1. Esquissez un design quasi-expérimental pour répondre à la question suivante :

Dans un programme de formation à distance, est-ce qu’un tutorat de bonne qualité augmente la satisfaction à l’égard du programme et diminue le taux d’abandon des étudiants?

2. Formulez une hypothèse de recherche qui traite du lien entre la participation des étudiants en ligne et l’accompagnement apportée aux étudiants. Elaborez pour chacune des deux variables une série de quatre questions. Justifiez chaque question et les éléments de réponse.

Astuce: vous pourriez trouver des outils de sondage dans la littérature.

C) Etude de cas

Téléchargez Poellhuber, B., Chomienne, M., Karsenti, T. (2011). L’effet du tutorat individuel sur le sentiment d’auto-efficacité et la persévérance en formation à distance. Revue des sciences de l'éducation, 37 (3), pp. 569-593. DOI: 10.7202/1014758ar

1. Identifiez la question de recherche centrale

2. Expliquez comment le sentiment d’auto-efficacité et la persévérance ont été mesurés.

3. Résumez les résultats.