EIAH : les learning analytics sont-ils l'avenir de la recherche ?

De EduTech Wiki
Aller à la navigation Aller à la recherche

Hélène Parmentier - Volée Baldur

Résumé

La recherche orientée conception en EIAH a besoin d’analyser les usages des utilisateurs afin de permettre la révision des savoirs scientifiques et des pratiques. L’analyse des traces peut être effectuée à l’aide des learning analytics (LA). Pourquoi les utiliser ? Que mesurent-elles ? Comment évaluer les usages réels des utilisateurs ? Nous verrons que si la recherche en EIAH a besoin d’échantillons plus importants que les LA permettent, elles ne mesurent qu’une dimension de l’usage. Nous aborderons le concept d’appropriation en faisant appel à l'approche instrumentale et nous verrons que l’usage est l'aboutissement d'un processus lent, partiellement interne, et dynamique qui rend difficile son analyse par les LA.

Introduction

« L’EIAH, lorsque abordé comme un champ scientifique pluridisciplinaire, pose des questions spécifiques qui interrogent à la fois l’informatique et les sciences cognitives s’intéressant à l’apprentissage et à l’enseignement » (Tchounikine & Tricot, 2011)

La conception et l’évaluation d’un EIAH dépendent de son objectif initial. Dans la recherche orientée conception, l’évaluation est cruciale car c’est elle qui est visée et qui va permettre la révision des savoirs, l’évolution des pratiques et in fine, le développement d’innovations pédagogiques (Sanchez, 2018). Or, cette évaluation repose sur l’analyse de l’usage de l’EIAH par ses utilisateurs. De nos jours, ces données sont recueillies de plusieurs manières. Dans ce texte, nous nous pencherons sur les learning analytics (LA), ces traces numériques d’usage qui sont de plus en plus utilisées dans la recherche en EIAH. Quel apport les LA peuvent-elles avoir pour la recherche en EIAH? Mesurent-elles réellement l’usage ? Nous tenterons de répondre à ces questions avant de discuter de l'apport des théories de l’activité dans l'analyse des usages.

Learning analytics : analyser les traces d’usage, oui mais… pourquoi ?

Évaluer l’apport des EIAH dans les apprentissages n’est pas aisé. Globalement, les recherches tendent à montrer un effet positif mais modeste des technologies numériques sur l’apprentissage, avec une taille d’effet réduite et une grande variabilité dans les études menées (Leroux et al., 2017). Pour améliorer la qualité de la recherche en EIAH, Leroux (2017) propose d’utiliser des échantillons beaucoup plus importants et des études randomisées, afin d’augmenter la taille d’effet. Or, difficile de travailler sur des entretiens lorsqu’on a un échantillon de très grande taille. Un des avantages des learning analytics, c’est justement de permettre de travailler sur des « big data » (Peraya, 2019) : des volumes de données très importants grâce auxquels les interactions entre l’utilisateur et son EIAH vont pouvoir être analysées statistiquement. L’analyse des traces d’usage peut également permettre de supprimer les biais propres aux observations, aux entretiens et aux questionnaires, rend le recueil de données plus simple et moins coûteux, et permet de réagir de manière agile en phase de conception (Caron, 2018).


Learning analytics : analyser les traces, oui mais… de quoi ?

Toutefois, on peut s’interroger sur la nature des informations dont on dispose lorsqu’on analyse des traces. Pour Michel (2018), celles-ci permettent d'identifier des séquences d’action, dont on peut extraire des classes de comportement en les recodant. Dans cette perspective, ce que l’on mesure, c’est le niveau d’acceptabilité de l’EIAH par l’utilisateur. Or, l’acceptabilité est un facteur de l’usage, et non un synonyme. Plus précisément, l'acceptabilité peut être définie par la compatibilité de l'EIAH avec l’organisation de la classe, du temps, des outils disponibles, des habitudes de travail, des valeurs et des motivations de l'utilisateur (Tchounikine & Tricot, 2011). Ce qui distingue l’utilisation de l’usage, c’est le facteur temporel : l’implicite de l’usage est qu’il est répété. Or, en analysant les traces d’utilisation d’un EIAH, on n’en mesure pas l’usage… Dès lors, comment évaluer les usages ? La réponse pourrait nous être fournie par le concept d’appropriation.

De l’artefact à l’instrument : analyser les schèmes d’usages plutôt que les traces d’utilisation

Selon Michel (2018), l’appropriation est « la manière dont les individus évaluent et adoptent, adaptent et intègrent une technologie dans leurs pratiques quotidiennes ». La « preuve » que cette appropriation a eu lieu réside dans la persistance de l’usage et dans l’existence de schèmes d’utilisation. Ces deux éléments sont rendus possibles par un processus dynamique de coévolution d’un système adaptable et de son utilisateur qui finit par le faire sien. C’est ici que l’approche instrumentale élaborée par Rabardel en 1995 apporte un regard différent sur l’interaction entre l’individu et la machine : l’EIAH au départ n’est qu’un simple artefact. C’est son appropriation, via un processus lent et dynamique de coévolution, qui fait de lui un instrument (Nogry et al., 2013). L’artefact relève du travail technique de l’ingénieur, là où l’instrument relève des schèmes psychologiques d’utilisation de l’usager (Tchounikine & Tricot, 2011). Ainsi, si les LA peuvent permettre de mesurer l'utilisation d'un EIAH par l'apprenant, l'usage réel, lui, nécessite une analyse en contexte plus fine, plus profonde et plus longue afin de déterminer les mécanismes d'appropriation qui interviennent pour faire de l'artefact un instrument (Michel, 2018).

Conclusion

Si la recherche en EIAH ne permet pas d'avoir des résultats très significatifs et sans appel comme le suggère Leroux, c'est peut-être parce que dans ce domaine de recherche, l'objet d'analyse que représente la situation d'apprentissage médiatisée par la technologie est si complexe qu'elle peut difficilement être analysée uniquement par des traces d'utilisation.

« Par exemple, quand on travaille sur la notion de décrochage dans les MOOC, se baser uniquement sur les traces d’utilisation des vidéos, les logs de connexions me semblent insuffisants dans la mesure où l’on ne prend en compte ni le contexte pédagogique, ni le contenu de la vidéo ni l’activité d’appropriation de celui-ci par l’apprenant. (Peraya & Luengo, 2019) »

Les entretiens permettent de prendre en compte la dimension psychologique des mécanismes d'appropriation qui transforme ces séquences d'utilisations en schèmes d'usage, et par là même l'EIAH artefact en EIAH instrument. Bien qu’intéressantes pour les opportunités qu'elles créent pour la recherche (échantillons plus importants, recueil moins coûteux par exemple), les LA à elles-seules ne permettent pas -pour le moment- de réaliser le même travail. Utiliser ces deux sources d'informations de manière complémentaire représente donc une solution optimale à ce jour.

Références

  • Leroux, G., Monteil, J.-M., & Huguet, P. (2017). Abstract. LAnnee psychologique, 117(4), 433‑465.
  • Nogry, S., Decortis, F., Sort, C., & Heurtier, S. (2013). Apports de la théorie instrumentale à l’étude des usages et de l’appropriation des artefacts mobiles tactiles à l’école. Sciences et Technologies de l’Information et de la Communication pour l’Éducation et la Formation, 20(1), 413‑443. https://doi.org/10.3406/stice.2013.1077
  • Peraya, D., & Luengo, V. (2019). Les Learning Analytics vus par Vanda Luengo. Distances et médiations des savoirs. Distance and Mediation of Knowledge, 27, Article 27. https://journals.openedition.org/dms/4096
Récupérée de « https://edutechwiki.unige.ch/fmediawiki/index.php?title=EIAH_:_les_learning_analytics_sont-ils_l%27avenir_de_la_recherche_%3F&oldid=159679 »