Exécution et évaluation d'une recherche design

Manuel de recherche en technologie éducative
Module: Designs de recherche orientés recherche design
◀▬▬▶
⚐ à améliorer	☸ débutant
⚒ 2020/04/07	⚒⚒ 2015/03/27

Introduction

Ce chapitre adresse deux problèmes importants:

• Comment organiser le cadre théorique d'une recherche design ? On proposera d'utiliser les cartes de conjecture de Sandoval
• Comment évaluer un design?

Les cartes de conjecture (Sandoval) pour organiser une RDE

La complexité et le caractère situé de la RDE sont liés à l'idée d'itération, i.e. les «expériences» en RDE ne sont pas réalisées une seule fois. Elles sont affinées puis à nouveau «testées» avec des utilisateurs afin d’essayer de comprendre les conjectures exprimées par les variables intermédiaires.

Selon Sandoval (2004a:2), "La conception d’un environnement d'apprentissage comporte des «conjectures incarnées» sur l'apprentissage et l'enseignement, et l'étude empirique de ce type d’environnements permet d'affiner ces conjectures au fil du temps. Le concept de «conjectures incarnées» est une façon de démontrer la nature théorique de la conception d'environnements d'apprentissage, et d'encadrer les questions méthodologiques liées à l'étude de telles conjectures".

Une conjecture incarnée est une conjecture sur la façon dont des propositions théoriques peuvent être réifiées au sein d'environnements conçus selon des méthodes sensées favoriser l'apprentissage. Les environnements ainsi conçus comprennent des outils (comme les logiciels), des matériels et des structures d'activités (que sont définies comme la combinaison de la structure des tâches, de comment une tâche est organisée, et des structures de participation sociale (Erickson, 1982)).

La RDE peut s'organiser grâce à des cartes de conjecture (Sandoval: 2004). Ces cartes permettent de conduire et d'organiser le projet de recherche avec une sorte de carte conceptuelle. Voici un exemple qui permet d'identifier les plus importantes composantes de recherche d'un cadre de rédaction collaborative. Il montre que la recherche est basée sur un ensemble de théories que nous essayons d'incarner dans un design, et que cela mène à des processus (cognitifs de l'apprenant) et, finalement, à des résultats (Figure 52).

Figure 52: Exemple de carte de conjecture ― cadre de rédaction collaborative

Une telle carte peut et devrait être affinée au fil du temps, i.e. les flèches ne devraient pas simplement aller d'une grosse boîte à une autre, mais aussi relier les petites boîtes entre elles. L'idée est que certaines de ces relations devraient alors être testées avec une méthodologie de recherche sérieuse.

Dans la Figure 53, nous présentons un autre exemple qui montre une carte de conjecture pour une seule question de recherche: Dans quelle mesure la Structure de Support Tutoral aide-t-elle à concevoir un apprentissage socio-constructiviste efficace (Class, 2009)? Cet exemple montre qu'un certain nombre de conjectures théoriques définissent comment une structure de support tutoral devrait être mise en oeuvre. Ces éléments théoriques sont alors instanciés comme des conjectures incarnées, i.e. des règles de design pratiques. Les éléments de conception techno-pédagogiques devraient alors favoriser les processus, i.e. ce que les étudiants font. Ces processus devraient à leur tour mener à un meilleur apprentissage.

Comme vous pouvez certainement le déduire de ces deux exemples, de telles cartes de conjecture sont simplement une forme spéciale de carte conceptuelle pour définir des éléments de design et de recherche qui dépendent les uns des autres. En tant que tels, ils sont hautement idiographiques, i.e. les chercheurs doivent apporter leurs meilleures représentations, et cela dépend de l'objectif de recherche global. Il faut également noter que les cartes de conjecture devraient évoluer au fil du temps. E.g. dans le deuxième exemple, vous pouvez voir que les flèches définissent des relations entre des boîtes spécifiques. Ces relations peuvent alors être testées à l'aide de données (si disponibles).

Figure 53: Carte de conjecture pour une question liée à une structure de support d'apprentissage (Class, 2009)

Évaluation dans une recherche orientée design

L'évaluation n'est pas une problématique propre à la recherche orientée design. Examinons donc le principe général d’une recherche évaluation. Selon Frechtling et al (2002), cité par Randolph (2008:22), il existe un grand nombre de traditions d'évaluation parmi lesquelles choisir, mais une méthode standard pour conduire une évaluation est constituée des étapes suivantes:

• Développer un modèle conceptuel du programme et identifier les points d'évaluation clés,
• Développer des questions d'évaluation et définir des résultats mesurables,
• Développer un design d'évaluation,
• Recueillir les données,
• Analyser les données,
• Partager les résultats de la recherche avec les publics intéressés.

Utilisation de grilles d'évaluation

Les designs d’une recherche évaluation suivent souvent la même logique que les designs de recherche orientés vérification de théorie. En technologie éducative, l'évaluation utilise souvent comme référence une "règle de desogm" et cela peut se traduire par une grille d'évaluation de haut niveau. Les principes premiers de Merrill (First Principles of Instruction) constituent un bon exemple pour cette dernière:

1. L’environnement d’apprentissage utilise-t-il des problèmes authentiques?
2. L’environnement d’apprentissage permet-il d’activer des connaissances ou une expérience préalables?
3. L’environnement d’apprentissage montre-t-il ce qui doit être appris?
4. Les apprenants peuvent-ils pratiquer et appliquer les connaissances ou les compétences acquises?
5. Les apprenants sont-ils encouragés à intégrer (transférer) les nouvelles connaissances ou compétences dans leur vie quotidienne?

Un autre exemple est le LORI (Learning Object Review Instrument) disponible sous forme d'un formulaire en ligne consistant en des rubriques, des échelles d'évaluation et des champs de commentaires. Cet instrument d'évaluation est défini par neuf dimensions:

1. Qualité du contenu: véracité, exactitude, présentation équilibrée des idées et niveau de détail approprié.
2. Alignement de l'objectif d'apprentissage: alignement des objectifs d'apprentissage, des activités, des évaluations et des caractéristiques des apprenants.
3. Feedback et adaptation: contenus adaptatifs ou feedback conduit par une contribution différentielle de l'apprenant ou un modelage de ce dernier.
4. Motivation: capacité de motiver et de stimuler l'intérêt ou la curiosité d'une population d'apprenants identifiée.
5. Design de la présentation: conception des informations visuelles et auditives pour un apprentissage amélioré et un traitement mental efficace.
6. Utilisabilité de l'interaction: facilité de navigation, prédictibilité de l'interface utilisateur et qualité des fonctions d'aide de cette interface.
7. Accessibilité: soutien aux apprenants handicapés.
8. Réutilisabilité: capacité d'être transféré dans d'autres cours ou dans d'autres contextes d'apprentissage sans modification.
9. Conformité aux standards: Respect des standards et des spécifications internationaux

Bien entendu, les règles de design elles-mêmes qui sont derrière de telles grilles d'évaluation peuvent, elles-mêmes, faire l’objet d’une évaluation.

Méthodologies d'évaluation de l'expérience utilisateur

Lors qu'on crée un design on évalue normalement pas seulement l'utilité, mais également son utilisabilité (ergonomie) et son acceptance.

Les questions de recherche types qu'un chercheur pourrait poser sont les suivantes:

• Dans quelle mesure les utilisateurs (e.g. les étudiants et leurs enseignants) sont-ils satisfaits d'un nouveau LMS?
• De quelles façons, d’un point de vue utilisateurs, une nouvelle intervention pourrait-elle être améliorée?

La méthodologie d’une recherche évaluation s'inspire des différentes approches des sciences sociales pour le recueil et l'analyse de données. E.g., Håkansson cite les méthodes de recueil de données suivantes: heuristique, expériences, questionnaires, entretiens, observations, et la pensée à haute voix.

Les méthodologies d'évaluation sont très différentes selon le type d'objet à évaluer et selon l'objectif de l'évaluation. Nous présenterons simplement deux cadres de travail pour l'analyse d'utilisabilité, car les études sur l'utilisabilité font habituellement partie de la recherche orientée design. Les artéfacts développés devraient être utilisables à la fois en termes d'utilisabilité de surface (les utilisateurs sont capables d'utiliser l'interface) et d'ergonomie cognitive (les utilisateurs sont capables d'utiliser l'interface pour réaliser une tâche réelle).

Exemple 1: Le modèle d'étude d'utilisabilité Usability Net

Usability Net (http://www.usabilitynet.org/) fournit un cadre de travail complet pour les études d'évaluation de l'utilisabilité. Les procédures d'utilisabilité sont incorporées à tous les stades de développement:

• Planning et faisabilité: pour garantir que les activités d'utilisabilité soient incorporées de manière efficace au design et au processus de développement, et qu'elles influencent les stades précoces de faisabilité du design et du processus de développement.
• Exigences: les utilisateurs et les développeurs identifient des exigences d'utilisabilité qui peuvent être testées plus tard dans le processus de développement.
• Design: créer et développer un design d'interface utilisateur qui est fondé sur la spécification des exigences, et qui vienne en aide à l'utilisateur dans les tâches à réaliser.
• Mise en oeuvre: garantir que le design détaillé tienne compte des principes d'utilisabilité.
• Tests et mesures: évaluer dans quelle mesure les exigences de l'utilisateur et de l'organisation ont été remplies, et fournir un feedback dans une forme qui peut être utilisée par les designers et les développeurs pour améliorer le design de l'interface utilisateur.
• Après le lancement / la mise en service: suivre l'utilisabilité du système après son lancement pour garantir qu'il répond aux besoins de l'utilisateur sur le terrain. Ce suivi devrait être utilisé comme données supplémentaires dans les exigences pour une nouvelle version ou parution.

La Figure 54: Cadre de travail Usability dresse la liste des méthodes qui peuvent être utilisées à chaque stade du design.

Figure 54: Cadre de travail Usability net ([1])

Pourquoi vous présenter ce modèle? Pour vous montrer que l'évaluation, dans un processus de conception, est fortement liée au processus de conception de l’ensemble de l’environnement. A chaque étape de la conception, il est nécessaire de penser à l'évaluation. Par exemple, si les utilisateurs ne participent pas à la phase "exigences", il sera difficile de mettre en oeuvre un programme de tests et mesures car on ne saura pas clairement quels critères utiliser.

Il existe d’autres approches pour étudier l’utilisabilité. Pour quelques détails, consulter: http://edutechwiki.unige.ch/fr/Utilisabilit%C3%A9 et http://edutechwiki.unige.ch/en/Methodology_tutorial_-_design-oriented_research_designs pour la méthode de Nielson par exemple.

Exemples de thèses de type design

• Class, B. (2009). A blended socio-constructivist course with an activity-based, collaborative learning environment intended for trainers of conference interpreters. Université de Genève. http://archive-ouverte.unige.ch/unige:4780

• Lombard, F. (2012). Conception et analyse de dispositifs d’investigation en biologie : comment conjuguer autonomie dans la validation scientifique, approfondissement conceptuel dans le paradigme et couverture curriculaire ? http://archive-ouverte.unige.ch/unige:24656

• Ortoleva, G. (2015). Writing to share, sharing to learn: Technology-enhanced learning activities to foster professional development in initial vocational education. (Thèse en cours).

Résumé et pratique

Les designs de recherche orientés recherche design couvrent un large spectre de recherches. En technologie éducative, nous pouvons probablement faire la distinction entre trois types principaux:

1. Les «Expériences de design» qui tentent de créer de nouveaux designs pédagogiques. Certains de ces derniers sont à grande échelle, i.e. s'étendraient sur le design d'un cours tout entier.
2. Conception d'artéfacts technologiques, tels que les environnements d'apprentissage multimédia ou les environnements d'apprentissage virtuels.
3. Modèles et langages de design d'apprentissage formels et semi-formels (règles de design).

Pour pratiquer:

---

1. Pourquoi la "recherche design en éducation" a-t-elle émergé dans la technologie éducative au début des années 1990?
2. Pour quelles raisons un chercheur peut-il réaliser une carte de conjectures? Quelles sont les finalités d’une carte de conjectures?
3. Quel est le but du design participatif?

Exercice de révision

1. Conduire une petite étude d'utilisabilité d'un outil pour enseignant afin de définir un design d'apprentissage. Télécharger et installer http://compendiumld.open.ac.uk/ CompendiumLD. Préalablement, il faut installer JAVA (si Java n'est pas déjà installé sur votre machine)
2. Appliquer grossièrement la procédure suivante:
   • Écrire une liste d'exigences / de besoins
   • Concevoir une séquence de formation (une aide est incluse dans le système)
   • Concevoir une séquence de test
   • Réaliser ces tests avec 2 utilisateurs
   • Faire des suggestions sur les fonctionnalités manquantes et les problèmes d'utilisabilité

Étude de cas

1. Télécharger l’article de Class, B. et Schneider. D. (2012). Design, mise en oeuvre et évaluation d’une formation hybride. Distances et Médiations des Savoirs, Vol. 1, p. 1-27. http://archive-ouverte.unige.ch/unige:34461
2. Identifier l’objectif principal de l’étude.
3. Identifier et décrivez la méthodologie utilisée pour conduire cette recherche de type Recherche Design en Education.
4. Identifiez de 1 à 5 règles de design (règles de conception) qui pourraient être intéressantes pour votre contexte. Expliquez en quoi et pourquoi elle(s) pourraient être intéressantes.
5. Esquissez un design de recherche de votre choix (orientée vérification de théorie, formulation de théorie ou design) pour utiliser une des règles de design identifiées comme intéressante pour votre contexte.

Références

Sandoval, William A. & Philip Bell (2004), Design-Based Research Methods for Studying Learning in Context: Introduction, Educational Psychologist, Vol. 39, No. 4: pages 199-201. doi:10.1207/s15326985ep3904_3 [2]

Sandoval, W. (2014). Conjecture mapping: An approach to systematic educational design research. Journal of the learning sciences, 23(1), 18-36. doi: 10.1080/10508406.2013.7782 [3]