D3KODE

Article écrit par Chloé Gérard, Jenny Freimüller et Pauline Hébert, volée drakkar.

Introduction

Cette page EduTechWiki a été réalisée dans le cadre du cours Méthode du Master MALTT, cours ayant pour objectif de mener les étudiants à comprendre le domaine des analytics et également des Learning Analytics, mais aussi leur possible application dans le domaine de l'éducation. Cet article tend à présenter un des outils disponibles permettant de stocker et exploiter des traces dans le domaine de l'apprentissage. L'outil en question, D3KODE, permet le stockage et la transformation de traces dans le but de mieux les comprendre, les analyser et les exploiter. De part la possibilité de transformer les traces à différents niveaux d'abstraction, l'outil mène à une compréhension plus profonde des traces d'activité dans l'apprentissage. Cette article aura pour objectif de présenter l'outil, ses objectifs, son fonctionnement, ainsi que ses limites et avantages.

Learning Analytics

Les Learning Analytics, comme expliqué par Elias (2011) sont un domaine émergeant, faisant usage d'outils d'analyse sophistiquée afin d'améliorer l'apprentissage et l'éducation. Elles peuvent être définies comme "la mesure, la collecte, l'analyse et la communication de données sur les apprenants et leurs contextes, dans le but de comprendre et d'optimiser l'apprentissage et les environnements dans lesquels il se déroule" (Romero et Ventura, 2020). Selon Romero et Ventura (2020), les données, l'analyse et l'action sont les éléments cruciaux de l'analytique de l'apprentissage. Les LA, proche des Educational Data Minig (EDM) s'en détache par leur tendance à être: "axé sur la prise de décision fondée sur des données et sur l'intégration des dimensions techniques et sociales/pédagogiques de l'apprentissage par l'application de modèles prédictifs connus" (Romero et Ventura, 2020).

Le fonctionnement des LA est régit par un modèle cyclique représenté par le schéma ci-après:

Schéma cyclique des Learning Analytics (Roméro et Ventura, 2020)

Le schéma démarre de connaissances, ou nouvelles connaissances, qui sont intégrées et/ ou transmises par des instructeurs, des environnements d'apprentissage et des étudiants. Ces acteurs interagissent avec ces connaissances et, ces interactions sont collectées sous forme de données, de traces. Là, interviennent les LA qui vont permettre l'analyse de ces traces par un processus en trois étapes: le prétraitement des données, le traitement des données par application de méthodes et de techniques propres aux LA et, enfin, l’interprétation et application de ces résultats.

Le prétraitement des données permet de sélectionner le type de données utiles et correspondant au problème soulevé, mais aussi de les convertir en une forme analysable. Le traitement des données, lui, applique des méthodes et des techniques des LA aidant à la résolution de problème. Ces méthodes inclues notamment la visualisation, la classification et le regroupement de données. Enfin, l'interprétation des résultats d'analyse a pour but de tirer de nouvelles connaissances qui, appliquées, permettront l'amélioration des performances d'apprentissage (Romero et Ventura, 2020).

Définition

D3KODE, signifiant Define Discover and Disseminate Knowledge from Observation to Develop Expertise, est un prototype ouvert et évolutif, avec une maintenance simple, sous forme de plateforme web de type client. Il a été conçu en 2012 dans le cadre de la thèse d'Olivier Champalle, dirigée par Alain Mille et Karim Sehaba (Lefevre et al., 2018), dans un but d'évaluation en situation réelle au sein de l'Unité de proFessionnalisation pour la Performance Industrielle (UFPI) d’Électricité De France (EDF). Cependant, dès le départ, D3KODE a été porté et anticipé pour une utilisation au-delà de ce contexte afin de permettre à d'autres chercheurs d'exploiter ses propriétés et d'enrichir la littérature scientifique (Champalle, 2014).

C'est pourquoi, cet outil, visant un public large non informaticien quelle que soit leur implantation géographique, a une interface graphique simple et adaptée facilitant l'analyse de traces numériques. Afin de toucher un public international, D3KODE propose la gestion de plusieurs langues telles que l'anglais et le français. Afin de faciliter son élargissement et sa réutilisation, les outils et langages utilisés sont sous licence libre (Champalle, 2014).

De plus, afin de gérer le problème éthique d'analyse de données de formation, un mécanisme d'accès restreint aux données a été intégré à l'outil (Champalle, 2014). Selon Champalle (2014), pour permettre le partage de connaissances entre des profils de formateurs différents, l'outil devait aussi gérer les trois profils d'utilisateurs suivants :

• le stagiaire : jeune formateur, qui peut observer les données des profils "expert" sans les modifier et peut utiliser uniquement des modèles de traces et de transformations créés par les autres profils.
• l'expert : formateur confirmé, qui possède les droits du profil "stagiaire" et peut créer ou modifier des modèles de traces et de transformations.
• l'administrateur : formateur confirmé, qui possède les droits du profil "expert" et a la possibilité de consulter ou supprimer des modèles de traces, des traces modélisées, des modèles de transformations et des transformations.

Il a été conçu autour du modèle général de la trace modélisée et le modèle générique de transformation (Champalle, 2014). Selon Lefevre et al. (2018), ces modèles représentent des connaissances d'analyse que d'autres utilisateurs peuvent utiliser pour extraire des informations plus générales à partir de nouvelles données similaires. Cet outil permet de modeler ces informations recueillies a posteriori sous forme de représentation visuelle graphique simple et interactive.

Objectifs

Objectifs pré-conception

Selon Champalle (2014), les principaux enjeux de D3KODE reposent sur les objectifs suivants :

• Procurer les moyens nécessaires pour exploiter et analyser tout type de données numériques modélisées suivant les principes de la trace modélisée
• Faciliter l'inscription de connaissances d'exploitation et d'analyse dans un but de partage et de réutilisation

Pour ce faire, l'outil devait satisfaire les contraintes suivantes (Champalle, 2014) :

• Permettre à plusieurs utilisateurs d'utiliser l'application en même temps
• Eviter les installations sur les postes clients et faciliter l’accès au travers d’un navigateur web
• Centraliser les modèles de traces et de transformations dans un but de réutilisation et de partage entre les utilisateurs
• Stocker à un seul endroit les traces modélisées dans un but d’historique et d’analyse a posteriori d’un grand nombre de traces

Objectifs post-conception

Selon Lefevre et al. (2018), en finalité D3KODE remplit les objectifs suivants :

• Permettre de stocker, de transformer et de visualiser plusieurs niveaux de traces numériques sur la base du concept de traces modélisées
• Créer facilement des modèles de traces, des transformations, d’importer des traces, d’exécuter des transformations et de visualiser les résultats

Aspects techniques

Programmation

D3KODE utilise une architecture centralisée de type client-serveur, développée en Java et adaptée à plusieurs environnements serveur (windows, unix, macintosh). La librairie Hsqldb.jar permet de gérer une base de données relationnelle et évolutive (Champalle, 2014). L'application D3KODE est un fichier D3kode.war, qui est déployé sur un serveur de servlet (c'est une classe Java qui permet de créer dynamiquement des données au sein d'un serveur HTTP) Tomcat (Champalle, 2014).

D3KODE a été conçu suivant les principes du Modèle Vu Contrôleur (MVC) sur la base du framework de présentation Struts2 (Framework maintenu et développé par la communauté Apache) (Champalle, 2014). "Celui-ci permet un découpage architectural et modulaire rependu au sein des développements web. Ce découpage sépare les données, les traitements et la présentation permettant ainsi une modularité accrue et une maintenance et une évolutivité facilitée" (Champalle, 2014, p. 117).

Selon Champalle (2014), cette implémentation est découpée en cinq modules :

• Gestion des modèles de traces
• Gestion de la M-Trace Première
• Gestion des modèles de transformations
• Gestion de l'exécution des transformations
• Gestion de la visualisation

Cet outil est basé sur un récepteur de traces kTBS. Cependant, la première version de kTBS n’est plus en activité. Cette version a été augmentée pour D3KODE (de SPARQL 1.0 à SPARQL 1.1) (Lefevre et al., 2018).

Interface et Graphique

L'interface de D3KODE génère une représentation graphique d’un corpus M-Trace, qui permet de consulter les informations nécessaires afin de conforter les observations des utilisateurs, d’analyser l'activité et de mener des débriefings entre formateurs et apprenants (Champalle, 2014). Elle engendre une visualisation graphique de type Time Line riche. Cette traçabilité permet également aux utilisateurs de comprendre comment les niveaux d'abstractions et leurs observés sont construits. Les niveaux sont construits via des règles créées au travers d’une interface dédiée et les règles sont réutilisables et partageables entre utilisateurs (Lefevre et al., 2018).

Il existe plusieurs interfaces permettent aux utilisateurs de créer graphiquement des modèles de traces, de transformations, d’importer des traces et d’exécuter les transformations. Pour simplifier l'analyse, l'illustration graphique est interactive. L'utilisateur peut sélectionner une transformation et consulter sa description afin d'appréhender les connaissances utilisées et de les comprendre. Cela lui permet de créer un observable plus complexe. Chaque observable est également lié visuellement à ses sources, ce qui permet aux utilisateurs d'explorer les différents niveaux de l'activité et d'en saisir plus profondément le sens (Lefevre et al., 2018).

• 

  Architecture et fonctionnalités de D3KODE (Lefevre et al., 2018)

• 

  Interface de création de modèle de trace (Lefevre et al., 2018)

• 

  Interface de création d’une règle de transformation (Lefevre et al., 2018)

• 

  Exemple de synthèse visuelle sur 3 niveaux (Lefevre et al., 2018)

• 

  Exploration interactive des traces de la synthèse visuelle (Lefevre et al., 2018)

Fonctionnalités

Lors du démarrage de D3KODE, chaque utilisateur se voit attribuer dans le SGBTm une base de traces liée à son login. Les fonctionnalités de l'outil auxquelles ont accès les utilisateurs sont régies en fonction des trois profils d'utilisateurs existants: Admin, Expert et Stagiaire.

1) Création de modèle de traces:

Pour débuter l'utilisation de D3KODE, l'utilisateur est invité à créer un modèle de M-Traces, et ce, de deux manières possibles. Il peut en créer un au travers d’une interface graphique, ou en importer un sous la forme d’un fichier CSV. Dans les deux cas, il pourra modifier le modèle par la suite et/ou y ajouter des données. La visualisation sur D3KODE se fait sous forme d'arborescence avec un dossier "Root" comportant la liste de toutes les bases présentes dans le serveur.

Figure 1: Arborescence de l'interface de D3KODE (Champalle, 2014)

2) Création et gestion des m-traces:

Une fois le modèle créé ou importé, l'utilisateur passe à la création et gestion des M-traces. Ces M-Traces "brutes" (non-transformées) sont appelées M-Traces premières. Pour les créer, l'utilisateur doit importer des données dans l'outil. Ces données doivent être conformes au modèle de traces préexistant afin de pouvoir être lues par D3KODE, de ce fait elles doivent être formatées au préalable. L'outil, afin de faciliter le processus, offre un formulaire où l’utilisateur rentre le libellé de la trace, le fichier CSV des observés, le modèle auquel la trace correspond et facultativement une intervalle de dates (pour le début et la fin de la trace).

Figure 2: Formulaire de formatage des traces importées (Champalle, 2014)

3) Création et gestion des modèles de transformations:

D3KODE propose un système de transformation des traces ayant pour but d'atteindre différents niveaux d'abstraction. Ce système permet de produire des nouveaux observés d'une Trace-cible à partir des observés d'une Trace-source. Le processus de transformation des traces demande de créer des transformations et des règles à appliquer pour cette transformation.

• Création des transformations

Afin de créer un modèle de transformations sur l'outil, les informations suivantes doivent être renseignées par l'utilisateur : le libellé du modèle de transformation, le modèle de la M-Trace source sur lequel portera la transformation, le modèle de la M-Trace cible qui sera créé par la transformation ainsi qu'une description du modèle de transformation.

Une fois ces informations renseignées, l'utilisateur doit à présent créer les règles propres à la transformation.

Figure 3: Patron pour la création de règles de transformation (Champalle, 2014)

• Création des règles de transformation

Pour créer des règles, l'utilisateur a deux possibilités : soit il peut en créer une de toute part grâce à un formulaire (figure 3), soit il peut exploiter une règle déjà construite par lui ou un autre utilisateur. Dans le cadre d'une "copie" d'une règle qui existe, c'est l'IHM qui se charge de proposer des règles existantes pouvant être copiées dans le modèle de transformation souhaité. L'utilisateur peut, en la sélectionnant, modifier la règle.

Dans le cadre d'une création "complète" de la règle, un patron est proposé à l'utilisateur contenant deux catégories : Construction et Sélection. Ces deux catégories sont des listes dans lesquelles l'utilisateur peut sélectionner un choix de types d'observés. Ces choix sont basés sur les modèles respectifs des M-Traces cibles et des M-Traces sources (Figure 4 et 5).

• 

  Figure 4: Listes des types d'observés sélectionnables (M-Traces cibles) (Champalle, 2014)

• 

  Figure 5: Liste des types d'observés sélectionnables (M-Traces sources) (Champalle, 2014)

4) Gestion des transformations et des M-Traces transformées:

Pour créer des M-Traces d'activité, qui ne sont pas des M-Traces premières comme exposées précédemment, l'utilisateur doit exécuter un modèle de transformation sur une M-Trace source. Pour ce faire, l'utilisateur doit remplir un formulaire de création de M-Traces. Dans ce formulaire, l'utilisateur sélectionne la M-Trace source qu'il souhaite transformer, puis il choisit dans la liste proposée, le modèle de transformation qu'il aimerait lui appliquer. Il renseigne enfin le libellé que portera la nouvelle trace créée. Une M-Trace obtenue par transformation peut être à son tour transformée selon le même processus.

5) Gestion de la visualisation des M-Traces:

L'outil D3KODE propose une "conversion des résultats" en représentation graphique SVG afin de visualiser les résultats et les transformations effectuées sur les diverses traces. Les visualisations peuvent être lues de bas en haut et de gauche à droite selon une échelle de temps paramétrable par l'utilisateur. Chaque M-Trace, délimitée par un rectangle bleu, contient les observés classés horizontalement par ordre chronologique d'apparition. L'utilisateur peut attribuer une représentation graphique de son choix (symbole) pour chaque type d'observés. Sur la visualisation, les transformations effectuées sont identifiables (et délimitées) par un rectangle en pointillés noirs. Les règles quant à elles sont symbolisées par de petits rectangles avec une lettre « R » de couleur rouge. Enfin, une ligne épaisse noire relie les observés sources et cibles à la règle qui les a construits. Tous ces éléments de paramétrage et de présentation ont pour but de faciliter la lecture et l'analyse des données présentées. Dans une même optique, les transformations, les règles et les observés sont interactifs, l'utilisateur peut cliquer sur l'élément qui l'intéresse et obtenir des informations sur l'élément en question. Par exemple, si l'utilisateur clique sur une transformation, il aura accès à sa description, à des informations sur son fonctionnement et son utilité.

Figure 6: Visualisation des corpus de traces sur D3KODE (Champalle, 2014)

Avantages

Avec les objectifs visés par D3KODE, cet outil permet donc - en stockant, transformant et visualisant différents niveaux de traces - d’assister les formateurs dans l'analyse d'activités exercées par les stagiaires.

Ainsi pour Champalle et Sehaba (2012), les avantages de D3KODE résident dans sa capacité à fournir une analyse approfondie des données de simulation et à faciliter le processus d'apprentissage pour les stagiaires.

Voici quelques-uns des avantages principaux :

1. Exploration interactive des niveaux de traces: D3KODE permet à l'utilisateur, notamment aux formateurs, d'explorer les différents niveaux de traces de manière interactive. Cela offre une vue détaillée de l'activité des stagiaires, permettant aux formateurs d'analyser et de cibler les lacunes et les défis rencontrés par chaque apprenant (Champalle & Sehaba, 2012).
2. Configuration flexible: La configuration de D3KODE est flexible, permettant aux utilisateurs de créer, modifier, supprimer et consulter des modèles de traces et des règles de transformation. Cette flexibilité permet d'adapter l'outil aux besoins spécifiques de chaque session de simulation (Champalle & Sehaba, 2012).
3. Facilité d'injection des données: D3KODE simplifie le processus d'injection des données en permettant aux formateurs de collecter les données provenant de diverses sources de traçage et de les organiser selon un protocole spécifié dans un fichier CSV. Cette facilité de collecte et de prétraitement des données rend l'outil accessible et efficace (Champalle & Sehaba, 2012).
4. Analyse automatisée des activités des stagiaires: Une fois les données chargées dans D3KODE, l'outil analyse automatiquement l'activité des stagiaires en exécutant les règles de transformation définies lors de la configuration. Cela permet de générer des traces de haut niveau à partir de la trace initiale, facilitant ainsi le débriefing et l'identification des objectifs pédagogiques atteints (Champalle & Sehaba, 2012).
5. Visualisation détaillée des traces: La visualisation dans D3KODE offre aux formateurs la possibilité d'explorer les différents niveaux de traces selon deux dimensions : horizontale et verticale. Cette visualisation détaillée permet aux formateurs de comprendre les relations entre les observations et les raisons, des succès ou des échecs des stagiaires, facilitant ainsi l'analyse et l'amélioration des processus d'apprentissage (Champalle & Sehaba, 2012).

Limites et améliorations

A la suite de sa thèse, Champalle (2014), a pu relever le fait que l'outil D3KODE présente des limites et pourrait être amélioré sur certains points.

En effet, la présentation visuelle des traces peut présenter des limites lorsque le nombre d'observables est élevé, rendant la lecture difficile pour les utilisateurs. Pour améliorer cette fonctionnalité, une solution pourrait consister à permettre une synthèse individuelle par observable à la demande de l'utilisateur. De plus, les utilisateurs pourraient avoir accès à différentes formes de synthèse, telles que des indicateurs graphiques, des réseaux de pétri ou des graphiques, qu'ils pourraient choisir en fonction de leurs attentes. Une amélioration supplémentaire consisterait à adapter automatiquement la forme de la synthèse et les possibilités de navigation entre les observés, afin de faciliter la compréhension et l'exploitation des données (Champalle, 2014).

Selon Champalle (2014), la création de modèles de traces pourrait bénéficier d'une représentation visuelle pour faciliter la compréhension. Une méthode de copié-collé pourrait également être ajoutée pour simplifier et accélérer le processus de création.

En ce qui concerne la création des modèles de règles et de transformations, des améliorations pourraient consister à limiter le temps de saisie des utilisateurs, à introduire une méthode de glisser-déposer pour plus de convivialité et à permettre la création automatique de règles. Il serait également utile d'identifier des schémas de règles réutilisables pour simplifier leur création. Cependant, il convient de noter qu'il peut y avoir des limites à cette approche, comme l'apparition de parasites suite à l'exécution de certaines règles, ce qui nécessiterait une attention particulière pour garantir la fiabilité des résultats (Champalle, 2014).

Enfin, selon Champalle (2014), pour la comparaison de traces, une amélioration pourrait consister à permettre une comparaison et une analyse multiples des traces, afin de faciliter la détection de schémas et de tendances significatifs.

Aisni, en intégrant ces améliorations, l'outil D3KODE pourrait offrir une expérience plus complète et efficace aux utilisateurs, en maximisant l'utilité des données d'observation pour le développement de l'expertise.

Liste des références

Bouvier, P., Sehaba, K., Lavoué, E., & George, S. (2013, July). Approche qualitative pour identifier et qualifier l'engagement des joueurs à partir de leurs traces d'interaction. In Conférence en Ingénierie des Connaissances (IC 2013) (pp. 16-p).

Champalle, O. (2014). Capitalisation et partage de connaissances d’analyse de traces numériques d’activités: assister le suivi de l'activité dans les environnements de formation à base de simulateur pleine échelle (Doctoral dissertation, Université Claude Bernard-Lyon I).

Champalle, O., & Sehaba, K. (2012). Assistance aux formateurs pour l’observation et l’analyse des activités des opérateurs-stagiaires sur simulateurs pleine échelle de conduite de centrale. Intégration Technologique et Nouvelles Perspectives d’Usage, 17. p.25

Champalle, O., Sehaba, K. & Mille, A. (2013). Capitalize and Share Observation and Analysis Knowledge to Assist Trainers in Professional Training with Simulation

Case of Training and Skills Maintain of Nuclear Power Plant Control Room Staff. Proceedings of the 5th International Conference on Computer Supported Education, 627-632. DOI:10.5220/0004388806270632

d3kode  Define, Discover and Disseminate Knowledge from Observation to Develop Expertise. (s. d.). https://projet.liris.cnrs.fr/d3kode/D3KODE/D3KODE_Presentation.html

Elias, T. (2011). Learning analytics. Learning, 1-22.

Lefevre, M., Iksal, S., Broisin, J., Champalle, O., Fontanieu, V., Michel, C., & Yessad, A. (2018). DNE-GTnum2 Learning Analytics-Etat de l’art sur les outils et méthodes issus de la recherche française (Doctoral dissertation, Ministère de l'éducation nationale).

Romero, C., et Ventura, S. (2020). Educational data mining and learning analytics: An updated survey. Wiley Interdisciplinary Reviews-Data Mining and Knowledge Discovery, 10(3). https://doi.org/10.1002/widm.1355