UNDERTRACKS

Article écrit par Yannick NGALLI et Thierry GFELLER

Introduction

L’analyse des traces dans les environnements informatiques pour l'apprentissage humain (EIAH) permet aux chercheurs de mieux comprendre les interactions entre les humains et les ordinateurs. Cette analyse fournit des données précieuses pour améliorer la conception, l'évaluation et l'utilisation des plateformes d’apprentissages, et contribue par exemple au développement des interfaces plus intuitives, efficaces et agréables pour tous les utilisateurs. En effet, l’analyse des traces informatiques provenant des EIAH permet de comprendre le comportement des utilisateurs et de comprendre l'évolution de ces comportements, d’évaluer l'utilisabilité de l’EIAH. C’est dans cette catégorie d’outils d’analyse des traces informatiques que s’inscrit UnderTracks.

La plate-forme UnderTracks est un ensemble de logiciels dédiés à la gestion de traces informatiques provenant principalement des EIAH (Environnements Informatiques pour l'Apprentissage Humain). UnderTracks permet le stockage des données, ainsi que le stockage et l’exécution de processus de nettoyage, d’enrichissement et d’analyse des données. L’état actuel d’avancement permet de connecter la plate-forme à un logiciel EIAH pour en récolter et stocker les traces de type événementiel (données datées résultantes d'une interaction entre l'utilisateur et le logiciel). Dans sa partie analyse de données, UnderTracks offre la possibilité d’utiliser des outils d’analyse déjà sur la plate-forme, ainsi que d’en développer de nouveaux. La plate-forme a pour objectif de :

• Stocker les traces afin de les pérenniser à long terme et faciliter le partage et la réutilisation
• Développer des outils d’analyse pour les tester et les exécuter sur la plate-forme
• Utiliser les outils d’analyse offerts par la plate-forme
• Enchaîner les outils d'analyse pour définir des traitements complexes
• Pérenniser et partager ces algorithmes avec d'autres chercheurs

UnderTracks est un outil dédié aux chercheurs soucieux de décrypter et d’étudier les comportements des utilisateurs d’un logiciel de type EIAH.

Fonctionnalités et cycle de vie des données

Fonctionnalités

Undertracks est un logiciel open source qui vous permet de décrypter le comportement des apprenants dans les EIAH (environnements interactifs d'apprentissage humain). En collectant et en analysant les traces d'apprentissage, Undertracks vous offre une vision inédite sur les interactions entre les utilisateurs et les EIAH.

• Collecte de données:
  • Interactions: Undertracks capture les clics, mouvements de souris et saisies clavier des apprenants, révélant leur parcours précis dans l'environnement.
  • Apprentissage automatique: En plus des interactions, Undertracks intègre les prédictions et scores de confiance des modèles d'apprentissage automatique, pour une analyse plus complète.
• Analyse de données:
  • Visualisation: Explorez les données collectées sous forme de diagrammes à barres, courbes et heatmaps pour une compréhension visuelle intuitive.
  • Identification de patterns: Détectez les séquences d'actions fréquentes et les points de frustration, éclairant les forces et faiblesses de l'apprentissage.
  • Rapports: Partagez vos découvertes avec des rapports clairs et précis, facilitant la collaboration et la prise de décision.
• Fonctionnalités avancées:
  • Compatibilité: Undertracks fonctionne avec une large variété d'EIAH, vous offrant une grande flexibilité.
  • Extensibilité: Développez des plugins pour ajouter de nouvelles fonctionnalités et personnaliser Undertracks à vos besoins spécifiques.

Ces fonctionnalités permettent aux utilisateurs d’Undertracks de :

• Étudier l'apprentissage: Comprendre les interactions et les processus cognitifs en jeu dans les EIAH
• Améliorer la conception: Identifier les points d'amélioration et optimiser l'expérience d'apprentissage
• Personnaliser l'apprentissage: Adapter les EIAH aux besoins individuels des apprenants pour un apprentissage plus efficace

Le cycle de vie des données dans UnderTracks

Le schéma ci-dessous illustre les différentes étapes du cycle de vie des données gérées par la plateforme UnderTracks. Ce cycle se décompose en trois phases principales : production, traitement et communication des données.

• Production des données

Cette phase concerne la collecte des données relatives à une expérimentation, y compris les traces et les métadonnées contextuelles (qui, quand, où, etc.).La phase de production se divise en deux étapes :

• • Préparation: Définition du type de données à collecter et des métadonnées associées.
  • Collecte: Acquisition des données via l'API JavaScript ou d'autres moyens.Les données collectées se composent de : traces d'activité, métadonnées décrivant l'expérimentation, données relatives aux droits d'accès.
• Traitement des données

Cette phase regroupe les analyses effectuées par les chercheurs sur les données collectées. Le traitement des données comprend quatre étapes:

• • Validation: Vérification de la qualité et de la cohérence des données collectées
  • Enrichissement: Ajout de métadonnées supplémentaires pour contextualiser les données
  • Analyse: Application d'algorithmes et de techniques d'analyse pour extraire des insights des données
  • Synthèse: Production de rapports et de visualisations pour communiquer les résultats de l'analyse
• Communication des données

L'archivage des données est transversal à toutes les phases du cycle de vie. Il permet de stocker et de partager les données de manière sécurisée et pérenne. Le processus proposé est itératif, permettant de revenir à une étape antérieure si nécessaire.

• API JavaScript

Une API JavaScript est fournie aux développeurs pour faciliter la collecte en ligne des traces et leur stockage automatique dans l'entrepôt de données.

• Points clés
  • Le cycle de vie des données dans UnderTracks est composé de trois phases principales : production, traitement et communication
  • La production des données se divise en préparation et collecte
  • Le traitement des données comprend la validation, l'enrichissement, l'analyse et la synthèse
  • L'archivage est transversal et permet de stocker et de partager les données
  • Le processus est itératif et permet de revenir en arrière
  • La phase de production concerne la collecte des données d'expérimentation
  • La phase de traitement concerne les analyses effectuées par les chercheurs
  • Une API JavaScript facilite la collecte des traces en ligne

cycle de vie des traces

Exemple d’analyse des données avec Undertracks

Dans le cadre de cette partie, nous appuierons sur les travaux de VERMEULEN (2018) . Afin de faciliter l’analyse des traces par les enseignants, l’auteur a choisi de représenter graphiquement les chemins des apprenants avec des bâtonnets de couleur unique pour chaque pas (figure 2). Ces bâtonnets sont placés suivant l’ordre chronologique de passage des apprenants sur les pas.

Visualisation du chemin d’un apprenant réalisée avec Undertracks

Pour chaque catégorie proposée, l’auteur présente la visualisation des traces conçue avec Undertracks. Par exemple, la figure 3, il affiche les chemins de neuf apprenants qui ont obtenu un game over dans un jeu pédagogique.

Visualisation avec Undertracks des chemins des 9 étudiants ayant obtenu un game over

Il a réalisé avec ces derniers une analyse des chemins pour chaque catégories. Pour lui, les enseignants des apprenants qui ont joués ont très vite reconnu des séquences spécifiques, dont certaines présentent l’intérêt d’être associée à des pas repérés comme des pas d’abandon des apprenants. Cette reconnaissance visuelle associée à une catégorisation préalable a permis l’identification de séquences fréquentes. Pour montrer l’intérêt de cette démarche réalisée avec les enseignants (catégorisation et visualisation), l’auteur s’est focalisé notre analyse sur une partie précise très souvent présente dans les chemins des apprenants du learning game “Estimation du bien-être en entreprise” : la séquence [AB, AC, AU, AF] (Figure 4).

Une erreur majeure visible dans le parcours d’un étudiant (visualisée avec Undertracks) et la représentation sous forme de graphe associée

Cette séquence représente une erreur importante des apprenants réalisée après un temps de jeu important. Les séquences attendues par les enseignants (considérées comme correctes du point de vue de l’acquisition ou du renforcement de connaissances et/ou compétences) sont les séquences [AB, AF] et [AB, AC, AU, AS, AF].

Comparaison et limites

Comparaison

Le tableau ci-dessous compare les différents outils d’analyse des traces d’apprentissage Tableau comparatif des fonctionnalités des logiciels de fouille de données

Logiciel	Fonctionnalités principales	Types d'apprentissage automatique	Interfaces graphiques	Langages de programmation
RapidMiner	Prétraitement de données, apprentissage automatique, exploration de données, visualisation de données	Supervisé, non supervisé, apprentissage par renforcement	Oui	Python, R
Weka	Prétraitement de données, apprentissage automatique, exploration de données, visualisation de données	Supervisé, non supervisé	Oui	Java
SPSS	Statistiques, analyse prédictive, exploration de données	Supervisé, non supervisé	Oui	Python, R
KNIME	Prétraitement de données, apprentissage automatique exploration de données, intégration de workflows	Supervisé, non supervisé	Oui	Python, R
Spark MLlib	Bibliothèque d'apprentissage automatique pour Apache Spark	Supervisé, non supervisé	Non	Scala, Java, Python, R
ENA	Plateforme d'analyse de données pour les sciences sociales	Analyse statistique, exploration de données, visualisation de données	Oui	Python, R
Undertracks	Collecte et analyse de traces d'apprentissage dans les EIAH	Analyse de séquences, exploration de données	Non	Python
KTBS4LA	Plateforme d'apprentissage automatique pour l'analyse du comportement	Analyse de séquences, apprentissage par renforcement	Oui	Python

Les fonctionnalités des différents logiciels montrent qu’Undertracks contrairement aux autres plateformes, met un accent particulier dans l’analyse des traces d’apprentissages. Les autres aspects évalués (Types d'apprentissage automatique, Interfaces graphiques, Langages de programmation) ne montrent pas une grande différence entre les différentes plateformes.

Avantages

Pour l'analyse des traces d'apprentissages, Undertracks présente plusieurs avantages:

• Flexibilité et adaptabilité : Undertracks est un outil flexible et adaptable qui peut être utilisé pour analyser une grande variété de traces d'apprentissages, quel que soit leur source ou leur format. Il peut être utilisé aussi bien pour des analyses quantitatives que qualitatives.
• Suivi des données et des analyses : Undertracks permet de suivre facilement les données et les analyses des traces d'apprentissages. Il offre une vue d'ensemble claire des données, ainsi que des détails sur chaque analyse individuelle.
• Collaboration et communication: Undertracks facilite la collaboration et la communication entre les chercheurs et les analystes. Il permet de partager des données, de commenter des analyses et de suivre les modifications.
• Rapports: Undertracks permet de générer des rapports et des analyses sur les traces d'apprentissages. Ces rapports peuvent être utilisés pour visualiser les données, identifier les tendances et tirer.
• Facilité d'utilisation : Undertracks est un outil facile à utiliser et à apprendre. Il est accessible aux chercheurs et aux analystes de tous niveaux, même à ceux qui n'ont aucune expérience en analyse de données.

Limites

Les limites que nous avons relevées d’Undertracks- sont les suivantes :

• Collecte de données: Undertracks se concentre principalement sur la collecte de données d'interaction, telles que les clics et les mouvements de souris. Il ne prend pas en charge la collecte d'autres types de données, telles que les données physiologiques ou les données d'apprentissage automatique
• Analyse de données: Les outils d'analyse d'Undertracks sont relativement basiques. Ils permettent de visualiser les données et d'identifier les patterns simples, mais ils ne sont pas adaptés à des analyses plus complexes.
• Manque de documentation: La documentation d'Undertracks difficile à retrouver en ligne et elle n'est pas aussi complète que la documentation d'autres logiciels de même type. Cela rend la connaissance du logiciel difficile pour les utilisateurs potentiels.
• Communauté relativement petite: La communauté d'utilisateurs se limite presque au laboratoire d'Informatique de Grenoble, ce qui signifie qu'il peut être plus difficile de trouver de l'aide et du soutien que pour d'autres logiciels d'apprentissage automatique plus populaires

Conclusion

Undertracks est un logiciel Collecte et analyse de traces d'apprentissage dans les EIAH. Il offre un large éventail de fonctionnalités pour aider les utilisateurs à comprendre rapidement leurs données et à identifier des modèles. Ses principales fonctionnalités sont l’exploration de données, la visualisation de données, l’apprentissage automatique et l’interprétabilité des modèles. Cet outils pour avantages sa facilité d’utilisation et sa flexibilité. Mais il présente aussi quelques limites dont se trouve au niveau de ses fonctionnalités que ce soit dans la collecte ou l’analyse des données, la deuxième est au niveau de sa faible documentation et la troisième est la petitesse de sa communauté d’utilisateurs.

Bibliographie

Bouhineau, D., Luengo, V., Mandran, N. (2013). Open platform to model and capture experimental data in Technology enhanced learning systems. Alpine Rendez-Vous 2013. Villars-de-Lans, Vercors, France. .

Hachicha, W., Ghorbel, L., Champagnat, R., Rabah, M., Nowakowski, S., & Zayani, C. (2023, May). Proposition d’une architecture utlisant le trace clustering pour recommander un parcours d’apprentissage. In 41e Congrès INFORSID (pp. 146-164).

Lebis, A., Lefevre, M., Guin, N., & Luengo, V. (2015). Capitaliser les processus d’analyses de traces d’apprentissage indépendamment des plates-formes d’analyses de traces. Technical report, LIG-LIRIS. ANR Project HUBBLELEARN.

Luengo, V., Guin, N., Bouhineau, D., Daubias, P., Bruillard, E., Iksal, S., ... & Kuzniak, R. (2019). Hubble, un observatoire des analyses des traces (Doctoral dissertation, ANR (Agence Nationale de la Recherche-France)).

Lejeune, S. (2020). Exploiter les traces d'apprentissage en ligne au service de l'apprentissage-une étude du potentiel pédagogique et réflexif d'un" tableau de bord".

Mandran, N., & Dupuy-Chessa, S. (2017, September). THEDRE: a traceable process for high quality in human centred computer science research. In 26th International Conference on Information Systems Development, ISD 2017.

Mandran, N., Ortega, M., Luengo, V., & Bouhineau, D. (2015, March). DOP8: merging both data and analysis operators life cycles for technology enhanced learning. In Proceedings of the Fifth International Conference on Learning Analytics And Knowledge (pp. 213-217).

Vermeulen, M. (2018). Une approche meta-design des learning games pour développer leur usage. Theses, Sorbonne Université, Faculté des Sciences et Ingénierie. https://tel. archives-ouvertes. fr/tel-01871048.