Évaluation de l’apprentissage par le Learning Analytics dans Moodle

Introduction

Les technologies émergentes ont fourni à l'éducation des outils pour créer des scénarios éducatifs qui garantissent l'accès à l'information et à la formation pour toutes les personnes.  C’est pourquoi les établissements d’enseignement ont vu la nécessité de répondre aux besoins actuels des élèves. Améliorant leurs méthodologies mise en œuvre par les Technologies de l’information et de la communication (TIC) et par l’analyse des données des utilisateurs, le Learning Analytics (González & et Lugo, 2020).

Les dispositifs numériques mis en œuvre dans un programme d’apprentissage qu’il s’agisse d’une formation présentielle, hybride permettent l’enregistrement de tout ce que les élèves font au moyen d’algorithme d’intelligence artificielle. Ces données sont des traces des activités qui facilitent le suivi de la performance scolaire. Par conséquent, les apprenants doivent être informés d’application et utilisation de leur renseignement (George et al., 2013)

L’évaluation de l’apprentissage traité par les dispositifs informatiques est un défi, non seulement pour les établissements éducatifs, mais aussi pour les enseignants, les tuteurs et les concepteurs pédagogiques. En outre, le droit à la protection des données personnelles doit être pris en compte. La gestion des informations confidentielles exige une énorme responsabilité de la part de l’équipe de formation en ligne. Pour réaliser ce type de contrôle, tout en respectant toutes les limitations précitées, les institutions implémentent divers logiciels. Par exemple Google Analytics, bien connu en marketing pour mesurer les habitudes de consommation, et ainsi améliorer le produit ou les stratégies de vente (Chardonneau, 2012), mais il est également mis en œuvre dans le secteur de l’éducation. Cependant par cet article nous réfléchirons à l’évaluation de l’apprentissage par le module du Learning Analytics de la plateforme formation en ligne Moodle. Nous allons d’abord présenter des fonctionnalités, puis nous analyserons quelques limites par des exemples d’implémentations de cette technologie.  

Analytique de l'apprentissage par Moodle

Traces d'apprentissage

Dans le cadre d'une formation menée par des environnements informatiques pour l'apprentissage humain, les étudiants produisent de grandes quantités de données collectées par des dispositifs d'intelligence artificielle. Ces traces multimodales peuvent être des textes, images, vidéos, etc. classés par des informations liées à la vie scolaire, sur l'utilisation des services et des ressources pédagogiques et, enfin, des renseignements démographiques. Lesquels sont de plus en plus interopérables, c'est-à-dire qu'ils peuvent être analysés par différentes plateformes et entre diverses institutions (González & Lugo, 2020).  Elles nécessitent un ensemble d'activités telles que le traitement, l'analyse, le stockage et la protection des données sensibles (Roussanaly & Blanco, 2018). C'est pourquoi ce sujet mérite la réflexion des chercheurs et des acteurs impliqués dans cette approche pour évaluation des apprentissages numériques.

Analytique des apprentissages numériques

Le Learning Analytics est « Mesure, collecte, analyse et traitement des données relatives aux apprenants et à leurs environnements dans le but de comprendre et optimiser l’apprentissage et les environnements dans lesquels il se produit » (cité par Seclier, 2017). Autrement dit, « mieux comprendre les apprenants et optimiser l’apprentissage » (Seclier, 2017). Par ces outils, il est possible d’examiner le processus au cours du processus d’apprentissage, évaluant la pertinence du programme de formation, dans l’objectif de donner des améliorations. Concevoir également des perditions et offrir des informations pendant un cours des élèves au risque utilisant les rapports pour les encourager à la réussite.

Le module Learning Analytics dans Moodle est activé après l'installation du logiciel. Un aspect positif est les fonctionnalités open source, qui permettent aux développeurs de les modifier et de les ajuster en fonction des besoins de l'institution. Ces plugins vous permettent de créer facilement des indicateurs pour évaluer les compétences des étudiants, qui peuvent être testés par l'enseignant avant de les implémenter dans le programme de formation ; cependant, ces dernières années, la communauté Moodle a mis en place une interface graphique afin de faciliter cela pour les non-développeurs. En plus de créer des prédictions anonymes afin qu'elles puissent être partagées avec d'autres institutions respectant la protection des données personnelles (Dalton, 2019).

Pour l’application de ces analyses il est nécessaire certaines étapes avant son application :

• Construire le jeu de traces :  sur la base des objectifs pédagogiques il faut définir quel type de donnée sont pertinentes à collecter. Par exemple, la participation dans le forum, la fréquence d’utilisation de la plateforme, le temps pris pour rendre un devoir entre autres.
• Collecte des données : à partir de l'ensemble des traces définies, l’administrateur installe des fonctionnalités sur la plateforme. Moodle utilise un modèle de base de données d'intelligence artificielle, une bibliothèque PML d'apprentissage automatique et une base de données PHP pour exécuter ses processus. Ainsi, la collecte de données renvoie à l'observation de l'étudiant et au suivi de ses interactions médiatisées par les outils, au stockage des traces collectées et à l'importation des traces dans les outils d'analyse.
• L'analyse des traces implique la manipulation des données brutes. Par conséquent, un traitement préalable des données est nécessaire pour les nettoyer et vérifier leur fiabilité (Dalton, 2019).  Par cette analyse nous pouvons obtenir les indicateurs suivants :

1.    Proviseur de notes et résultat finaux
2.    Identification d’un cours avec faible potentiel
3.    Apprentissage personnalisé
4.    Impacte des connaissances préalables sur un cours
5.    Changements soudains d'élèves

• Échange : les antérieures étapes sont parfois complétées par une étape de partage de traces, de processus d'analyse, d'indicateurs ou de visualisations produites (MoodleMoot Brésil, 2018).

Nous pouvons voir que l'un des principaux objectifs de la mise en œuvre de Learning Analytics dans l'apprentissage est de concevoir les avertissements, y compris les abandons de formation. Cela se fait en utilisant la méthode de division du temps qui calcule les fréquences par rapport aux périodes. Par exemple, si un élève a manqué une semaine de cours, puis est revenu ou a eu des absences d'autres cours. Avec ces résultats, l'enseignant ou le tuteur peut mieux adapter le cours par semaines, mois ou périodes. D'autre part, le plugin classificateur binaire permet de prédire les élèves à risque d'échec. Il existe d'autres fonctionnalités liées aux activités d’un cours, par exemple, la participation aux forums et le travail collaboratif, étudié par Iglesias-Pradas et coll. (2015). Dans cette étude, les chercheurs ont comparé les interactions à l'acquisition du travail d'équipe. Les résultats fixent certaines limites à ce type d'évaluation des apprentissages, sur lesquelles nous réfléchirons dans la suite.

Limites

L’analytique des activités d’apprentissage instrumentées à certains aspects qui motivent l’intérêt des chercheurs en sciences de l’éducation. Ce sujet est critiqué par des chercheurs en sciences humaines et sociales, par des questions éthiques liées au comportement humain (Peraya, 2019). Ce sont des données sensibles, plus qu'un nom et une adresse postale. Nous traitons des données psychologiques telles que les émotions et le comportement d'une personne dans sa vie quotidienne. Par exemple, un peut imaginer le cycle de sommeil d’une personne qui se connecte toujours à la plateforme pendant la nuit.  Dans la formation nous trouvons un autre exemple, l'effet Pymalion par lequel les élèves qu’ont beaucoup de potentiel se sont encouragé. Mais aussi un étudiant un risque d’échec peut se motiver, car il est averti et le tuteur peut créer des stratégies pour l'aider (Dalton, 2019). Alors, ce n'est pas toujours le cas, au contraire un étudiant classé en risque peut se démotiver, car il pense que c’est un mauvais élève.

Des autres limites sont trouvées par rapport à l’analyses de données brutes. Les données sont des statistiques. Donc, l’enseignant doit savoir les interpréter et passer à la mise en œuvre des stratégies pédagogiques pour profiter de ces informations. L’analyse qualitative de type « lexicométrique se veut complémentaire aux traitements quantitatifs réalisés.  Une étude plus qualitative (par exemple, des entretiens) permettrait de mieux approcher la réalité de l’apprentissage des individus engagés dans un dispositif d’autoformation » (Boumazguida et al., 2018).

En revanche, la mise en œuvre de ces technologies nécessite une grande infrastructure technologique (serviteurs puissants). Certains processus d'intelligence artificielle ne sont pas possibles avec Moodle Learning Analytics, mais il est recommandé de consulter les forums de la communauté Moodle avant son application.  

D'un autre côté, ces dispositifs peuvent créer un faux profil, c’est pourquoi que le logiciel non exécute rien à partir de ces résultats.  Il est nécessaire d’une personne (enseignant ou tuteur) pour manipuler et valider ces analyses générées par la machine e-learning. Cependant pour les enseignants trouver des indicateurs adéquats du développement des compétences reste essentiel pour faire face aux défis dérivés du contexte éducatif (Iglesias-Pradas et coll., 2015)

Enfin, concernant le droit à la protection des données personnelles, nous pensons qu'il mérite d’approfondissement, car l'intelligence artificielle du logiciel prend des données anonymisées de grandes institutions pour créer les profils qui seront utilisés pour créer les prédictions (MoodleMoot Brésil, 2018).

Conclusion

L’évaluation d’apprentissage pour le Learning Analytics dans la plateforme Moodle est un outil puissant qui est en train d’être plus développé. Néanmoins, nous avons vu qu’il existe certaines limites mentionnées par cet article et ainsi que quelques autres non mentionnés. Donc, nous ouvrons la discussion par rapport au traitement des données sensibles. Car la machine Learning, utilise ces informations pour la création des profils de comparaison de manière anonyme.  Mais la façon dont ils sont traités après les résultats statistiques reste à volonté des acteurs involucrés dans la formation.  

Dans la même ligne, le fait que l’information soit donnée par prédictions demande une étude qualitative pour compléter les stratégies pour améliorer les cours. Mais il est vrai que l’intelligence artificielle évolue rapidement et donc dans l'avenir les analyses seront plus exhaustives. Ce sujet doit motiver les chercheurs en éducation à réfléchir les enjeux de cette approche. Finalement, nous suggérons de suivre les cours du Moodle Analytics sur la plateforme https://docs.moodle.org/310/en/Analytics Et par rapport aux préoccupations éthiques, nous vous invitons à étudier les initiatives récentes, telles que Caliper Analytics d'IMS (http://www.imsglobal.org/caliper) ou Experience API (xAPI) (http://www.adlnet.gov/tla/experience-api) afin de surmonter quelques limites (Roussanaly et Blanco,2018).

Références

Boumazguida, K., Temperman, G., & De Lièvre, B. (2018). Questionner les traces d’activités en ligne pour mieux comprendre l’expérience d’apprentissage des étudiants. Revue internationale de pédagogie de l’enseignement supérieur, 34(34 (3))

Chardonneau, R. (2012). Google Analytics. Analice el tráfico de su sitio

Dalton, E. (2019, 14 juin). Introduction to Moodle Learning Analytics for Designers | Elizabeth Dalton | #MootIEUK19 [Vidéo]. YouTube. https://www.youtube.com/watch?v=kLZfFtYed7c

George, S., Michel, C., & Ollagnier-Beldame, M. (2013). Usages réflexifs des traces dans les environnements informatiques pour l’apprentissage humain. Intellectica, 59(1), 205-241.

González, L., et Lugo, C. (2020). Fortalecimiento de la práctica docente con Learning Analytics: estudio de caso. Praxis & Saber, 11(25), 227 - 254. https://doi.org/10.19053/22160159.v11.n25.2020.9075

Iglesias-Pradas, S., Ruiz-de-Azcárate, C., & Agudo-Peregrina, Á. F. (2015). Assessing the suitability of student interactions from Moodle data logs as predictors of cross-curricular competencies. Computers in Human Behavior, 47, 81-89.

MoodleMoot Brasil. (2018, 16 décembre). Análise de aprendizagem no Moodle [Vidéo]. YouTube. https://www.youtube.com/watch?v=zk302Puj26E

Peraya, D. (2019). Les Learning analytics en question. Panorama, limites, enjeux et visions d’avenir. Distances et médiations des savoirs. Distance and Mediation of Knowledge, (25).

Roussanaly, A., et Blanco, L. I. (2018). Projet METAL: Fondements pour la conception d'un entrepôt de données d'apprentissage (Doctoral dissertation, Université de lorraine; CNRS).

Seclier, B. (2017,11 novembre). ​Journées Réseaux de l’Enseignement et de la Recherche​ [Conférence]. Learning Analytics, le big data au service de l'apprentissage, Lorraine. URL https://www.youtube.com/watch?v=eCNWOzKKTx4