KTBS4LA

Introduction

Dans le cadre du cours Méthode I du master MALTT, les étudiants ont pour objectif de « comprendre les fondements et domaines d’application de l’analytique de l’apprentissage ». Notre groupe composé de Emma et de Ana, a choisi de présenter un outil d’analyse des traces nommé KTBS4LA, qui est un outil permettant la traçabilité, c’est-à-dire le suivi des actions engendrées par les apprenants dans une activité de groupe. Cet outil permet d’analyser les traces numériques d’interactions et d’en inférer les comportements d’apprentissage par rapport à chaque profil d’apprenants ; profils qui ont été décelés lors de l’analyse des traces. Dans cet article, nous décrivons l’outil KTBS4LA pour l’analytique de l’apprentissage ainsi que sa méthodologie. Nous explorons ensuite ses domaines d’application, ses avantages  et ses limites.

Learning Analytics

Figure 1 – Processus cyclique de découverte des connaissances en Educational Data Mining et Learning Analytics. Reproduit à partir de « Educational data mining and learning analytics: An updated survey », par Romero, C. et Ventura, S., 2020, Wiley Interdisciplinary Reviews-Data Mining and Knowledge Discovery, 10(3), p. 8.

Les Learning Analytics (LA ou analytique de l'apprentissage en français) sont définis par Romero et Ventura (2020) comme étant la mesure, le recueil, l’analyse et la communication de données à propos des apprenants et leurs contextes, dans le but de comprendre et d’optimiser les environnements d’apprentissage. Les trois éléments essentiels de l’analytique de l’apprentissage selon Romero et Ventura  (2020) sont les données, l’analyse et l’action. Les Learning Analytics s'appuient sur un processus cyclique/itératif qui peut être schématisé comme dans la Figure 1.

Dans ce processus cyclique, on commence par recueillir les données à analyser qui proviennent de l'interaction entre les instructeurs, les étudiants et les données administratives de l'éducation, les données démographiques, etc. Ensuite, on passe par le processus des Learning Analytics qui sont fondés sur un modèle théorique.

Pour finir, grâce à l’analyse faite sur les traces, on parvient à faire une interprétation de l’analyse des données. Cette nouvelle connaissance des environnements d'apprentissage permet de prendre les mesures nécessaires afin d'optimiser ces environnements pour les apprenants. Ces connaissances peuvent ensuite être utilisées par les enseignants pour concevoir de nouveaux environnements informatiques d’apprentissage (EIAH), et par les apprenants eux-mêmes en modifiant leur comportement en fonction des recommandations faites à l’issue des Learning Analytics.

kTBS

kTBS (kernel for Trace Based Systems) est basé sur TBS (Trace Based System) qui collecte des traces d’interactions et les transforme en indicateurs interprétables et mesurables (Brahim et Lotfi, 2020).

Selon Guin et al. (2016), kTBS est un système basé sur des traces qui exploite les connaissances disponibles dans les traces d’interaction des utilisateurs. Ces traces comprennent les actions et les évènements du joueur qui peuvent être une source riche d’informations sur la méthode que les apprenants utilisent pour améliorer leur niveau (Brahim et Lotfi, 2020).

kTBS4LA

Lorsque l’on combine kTBS avec les Learning Analytics, on obtient kTBS4LA (kernel for Trace Based Systems for Learning Analytics). Son objectif est de permettre à un analyste d'utiliser kTBS afin d'interpréter les traces d'apprentissage (Guin et al., 2016). kTBS4LA est plus facile à utiliser que kTBS, car elle ne nécessite pas de maîtriser des technologies telles que RDF ou SPARQL (Casado et al., 2017).

C’est une application web conçue par l’équipe TWEAK du laboratoire LIRIS pour proposer une modélisation de systèmes à base de traces qui permettent de stocker et de manipuler différentes traces d’interaction (Marie Lefevre, 2018).  La plateforme était initialement disponible en ligne, actuellement, elle peut être téléchargée via ce lien https://ktbs.readthedocs.io/en/latest/tutorials/install.html

Les données collectées sont téléchargées sur la plateforme et différents outils dédiés au traitement des données sont disponibles (Bonvin et Sanchez, 2017). Les utilisateurs peuvent « définir un modèle des traces qu'ils souhaitent analyser, visualiser ses traces pour les explorer, effectuer des transformations de traces et calculer des indicateurs sur l'activité des apprenants » (Marie Lefevre, 2018, 1).

Elle permet à un utilisateur qui n’est ni informaticien ni analyste de :  

• « visualiser les traces,

• comprendre ce que les traces disent de l’activité des apprenants tracés,
• construire ou découvrir des connaissances sur l’activité des apprenants, en manipulant les traces et en calculant des indicateurs » (Guin, 2023)

Concrètement, kTBS4LA permet de collecter des données, de les analyser, de les visualiser et de les interpréter. Cette visualisation se fait sous la forme d’un schéma ou graphique qui représente la dimension temporelle de l’évolution des traces et peut se faire avec des couleurs et des formes (voir l’étude de Classcraft).

La plateforme s’adresse surtout aux chercheurs, car elle leur permet de comprendre ce qui se passe en termes de conduites et d’apprentissage (Guin, 2023), mais l’analyse des traces qui en résulte est une ressource pour les élèves et les enseignants pour suivre leur parcours et identifier les facilités et les difficultés rencontrées (Casado et al., 2017). Guin (2023) ajoute que les traces apportent un support à l’apprenant et lui permettent de recevoir un retour sur son travail et sur son avancement au sein du groupe. Tandis que l’enseignant peut suivre la progression de manière globale ou individualisée afin d’identifier les erreurs des élèves et les stratégies mises en place.

Les fondements théoriques de l'outil

Un méta-modèle a été proposé par Champin et al., (2013) pour construire un système à base de traces exploitant les connaissances présentes dans les traces d’interaction. Casado et al. (2017, 2) définit un système à base de trace comme étant « un système qui exploite la connaissance présente dans des traces d’interactions ».

« La notion centrale de ce méta-modèle est celle de m-trace » (Guin, 2023). Une trace représente une activité et une m-trace est une liste d’éléments observés (obsels). Chaque obsel est décrit par un type, un ensemble d’attributs, et un temps de début et de fin permettent de définir des relations entre différents types d’obsels. Chaque m-trace est associée à un modèle de traces spécifiant les types d’obsels que contiennent la trace et les attributs de chaque type d’obsels.

Par exemple, on pourrait imaginer des traces d’interaction d’un cours en ligne avec trois types d’obsels : la consultation d’un cours, la réponse à un exercice et la demande d’une aide pendant un exercice. Un attribut identifiant l’apprenant est relié à ses trois types d’obsels.

La modèle théorique s’inspire d’une démarche dans laquelle on déclare a priori le modèle de trace permettant le recueil de données. Il s’agit alors d’une démarche déductive, basée sur des hypothèses d’observation.

Il permet de modéliser ce que fait l’apprenant au niveau comportemental et au niveau épistémique (trouver une signification en termes d’apprentissage de son comportement) par des analyses statistiques en identifiant par exemple des patterns ou des relations.

Étapes de l'utilisation de kTBS4LA

Pour arriver à une visualisation, plusieurs étapes sont nécessaires selon Casado et al. (2017) pour qu’un analyste puisse interpréter les traces et en tirer des indicateurs.

1. Importer dans kTBS des traces enregistrées au préalable au format csv, en partant du principe que chaque ligne du fichier doit donner lieu à un obsel dans la trace modélisée résultante. On décrit ainsi d’abord syntaxiquement le fichier, puis on explicite sa sémantique sous la forme d’un modèle de traces et pour finir on importe son contenu sous la forme d’une m-trace. Dans l’image suivante, on peut observer la colonne « type » qui définit les types d’obsels (t1, t2, t3…) qui ont chacun deux attributs (attr1 et attr2) et un horodatage (temps).
   

   Figure 2 – Schéma explicatif du fonctionnement de l'outil d'importation de traces de kTBS4LA. Reproduit à partir de « kTBS4LA : une plateforme d'analyse de traces fondée sur une modélisation sémantique des traces », par Casado, R., Guin, N., Champin, P., Lefevre, M. Atelier ORHEE Rendez-Vous, Font-Romeau France, p.3.
2. L’analyste va ensuite « organiser son système à base de traces en créant des bases kTBS, notamment à l’aide d’une visualisation sous forme de graphe » (Casado et al., 2017). On peut par exemple utiliser des histogrammes pour avoir un aperçu du contenu des traces, afin de visualiser de manière synthétique l’activité des apprenants dans une dimension temporelle prédéfinie (Guin, 2023).
   

   Figure 3 – Visualisation d'une trace sous forme d'un histogramme pour chaque mois le nombre d'obsels générés par chaque apprenant. Reproduit à partir de « Construction interactive de connaissance pour l'analyse de traces d'interaction», par Guin,N. 2023. Article en préparation, p.11.
   Dans l’image ci-dessous, on peut voir une base de traces pour chaque EIAH avec en rouge les bases de traces, en jaunes les modèles de traces et en bleu les traces.
   

   Figure 4 – Capture d'écran d'un composant de la plateforme kTBS4LA destiné à la gestion des différents éléments stockés dans kTBS. Reproduit à partir de « kTBS4LA : une plateforme d'analyse de traces fondée sur une modélisation sémantique des traces », par Casado, R., Guin, N., Champin, P., Lefevre, M. Atelier ORHEE Rendez-Vous, Font-Romeau France, p.3.
3. Puis, l’analyste va « explorer les traces importées via un outil de visualisation qui se présente sous la forme d’une timeline » (Casado et al., 2017). Cette une visualisation qui permet une analyse plus poussée et détaillée de la temporalité des différents obsels. On peut ainsi voir l’activité de l’apprenant en observant quelles actions ont eu lieu après quelle autre. L’utilisateur qui analyse ces obsels peut définir la représentation de chaque type d’obsels en leur attribuant un symbole (ex. losange) et une couleur (ex. rouge); ce qui permet d’attirer l’attention sur un ou plusieurs obsels. Dans la figure 3, on observe par exemple que les obsels verts et bleus sont plus présents que les rouges. Par exemple, dans la figure 4, on trouve des obsels de type « PlayerJoin » qui sont représentés par un losange jaune.
   

   Figure 5 – Capture d'écran d'un composant de la plateforme kTBS4LA destiné à la visualisation de traces. Reproduit à partir de « kTBS4LA : une plateforme d'analyse de traces fondée sur une modélisation sémantique des traces », par Casado, R., Guin, N., Champin, P., Lefevre, M. Atelier ORHEE Rendez-Vous, Font-Romeau France, p.3.
   L’avantage de ce processus de définition par l’utilisateur d’une « feuille de style » avec des « règles de visualisation » est que celle-ci peut être enregistrée et réutilisée ensuite pour une nouvelle trace ayant le même modèle (Guin, 2023, 13)
4. Pour finir, l’analyste va « récupérer le “filtrage » effectué au niveau de la timeline pour créer une méthode de transformation qui pourra être appliquée sur d’autres traces similaires” (Casado et al., 2017). Créer de nouvelles traces permet de se concentrer sur les éléments pertinents, d’utiliser de nouvelles visualisations et d’effectuer de nouvelles transformations pour détailler l’analyse (Guin, 2023).

kTBS4LA permet donc de sélectionner des obsels spécifiques parmi les données collectées et d’en extraire les obsels qui sont considérés comme étant intéressants pour la recherche. Cette visualisation se fait sous forme d’une ligne de temps avec différentes couleurs et formes qui peuvent être utilisées pour faire apparaître des caractéristiques spécifiques. Le même protocole est appliqué à chaque ensemble de données afin d'obtenir des résultats cohérents et discutables. (Guin, 2023) .

Pour finir, Bonvin et al. (2019) on fait évoluer l’outil pour qu'il puisse satisfaire aux besoins des analystes en permettant une démarche de conception participative.

Selon Schwendimann et al., (2017) un tableau de bord est « a single display that aggregates different indicators about learner(s), learning process(es) and/or learning context(s) into one or multiple vizualisation ». En effet, la visualisation, sous forme de tableau de bord, des différentes traces permet de mieux observer les différents indicateurs du comportement des personnes étudiées et de leurs stratégies d’action (d’apprentissage). Dans les contextes de Learning Analytics, les utilisateurs peuvent être des  enseignants, des apprenants, des administrateurs et des chercheurs. Le type d’indicateurs que kTBS4LA permet de recueillir est lié à l’apprenant et à ses actions, ses résultats, son contexte d’apprentissage, ses interactions sociales avec les autres apprenants ou l'enseignant.

Classcraft

Jusqu’à présent, KTBS4LA n’a été utilisé en science de l’éducation que pour l’analyse de traces dans des jeux de collaboration (Tamagocours) ou de gestion de classe (Classcraft). Dans la section qui suit, nous présentons brièvement quelques traitements de l’étude du comportement des élèves avec le jeu Classcraft :

Classcraft est une application dédiée à la gamification de la gestion de classe, dont l’objectif est de « comprendre la manière dont le comportement des élèves est influencé par le jeu » (Bonvin, et al., 2019, 61). La recherche effectuée par Sanchez et Bonvin (2017) pour analyser les traces numériques d’interaction grâce à la plateforme kTBS4LA a permis de comprendre les interactions qui se produisent en classe. L’analyse sous forme de timeline a permis d’obtenir des indications sur le temps, sur les actions et sur le type de joueur. Cette visualisation a permis de faire des interprétations sur le comportement des joueurs. Les analystes  ont donc pu conclure (voir Figure 6) en disant qu’il y avait une différence significative dans la manière de jouer entre les filles (représentées par des ronds) et les garçons (représentés par des carrés) au niveau du rôle dans le jeu (mage, guerrier ou guérisseur) et de l'utilisation des pouvoirs collaboratifs (représentés en vert) et des pouvoirs individuels (représentés en rouge). En effet, les résultats de l’analyse des obsels montrent que les filles utilisent moins de pouvoirs que les garçons, mais sont plus efficaces et utilisent plus de pouvoirs collaboratifs que les pouvoirs individuels.

Pour arriver à cette conclusion, les analystes ont importé les obsels (événements de jeu horodatés) qui les intéressaient comme l'occurrence des pouvoirs collaboratifs, des pouvoirs individuels et les actions différenciées entre garçons et filles dans kTBS4LA. La plateforme a ensuite calculé ces obsels avec un traitement statistique et a permis de les visualiser.

Figure 6 – Timeline avec la visualisation des obsels de genre et de type de pouvoir. Reproduit à partir de « Analyse des traces numériques d’intéraction de Classcraft avec kTBS4LA », par Bonvin, G. et Sanchez, E.,  2017, Séminaire de recherche du CERF, diapositive 15.  

Ainsi grâce à la plateforme kTBS4LA et notamment grâce à sa visualisation sous forme de timeline et à la manipulation des traces, les chercheurs ont pu identifier l’engagement des élèves et son évolution tout au long du jeu (Guin, 2023).

Les avantages de l'utilisation de kTBS4LA

kTBS4LA est un outil d’exploration des données qui permet la visualisation et l’analyse de manière très rapide et profonde d'une très grande quantité de données (d’un ensemble de données à un obsel). Il permet également de simplifier la répétition des analyses en important-exportant des feuilles de style. C’est un outil intuitif et évolutif, qui peut être continuellement amélioré grâce au travail collaboratif des chercheurs et des informaticiens (Bonvin et Sanchez, 2017).

La plateforme « se présente sous la forme d’une application web et repose sur une architecture à base de web components » (Guin, 2023, 22). Elle permet à un utilisateur qui n’est pas informaticien de définir un modèle des traces qu’il souhaite analyser, de les visualiser pour les explorer et d’effectuer des transformations de ces traces en calculant les indicateurs sur l’activité des apprenants.

Trois éléments apparaissent comme étant spécifiques à kTBS4LA et c’est la combinaison de ces trois éléments qui font l’intérêt de kTBS4LA. Premièrement, pour comprendre l’activité des apprenants et leur évolution dans le temps, il est primordial de passer par la temporalité. La visualisation sous forme de timeline permet de voir de manière détaillée l’évolution de l’activité au cours du temps. Deuxièmement, pour permettre d’assister l’utilisateur dans l’interprétation du contenu des traces, il est nécessaire de passer par une explication de la sémantique des traces, sous forme de modèle de traces. En effet, c’est le modèle qui est utilisé pour paramétrer les différentes visualisations. C’est en manipulant et en transformant les éléments sémantiques avec la personnalisation de la timeline que l’outil peut être considéré comme un outil de reformulation et d’interprétation des traces. Dernièrement, la manipulation directe des traces assure l’analyse de traces concrètes. Par ailleurs, le retour immédiat des manipulations sur la timeline permet de confirmer ou d’infirmer la pertinence des manipulations qui seraient, sans cet outil, difficiles à interpréter (Guin, 2023).

kTBS4LA permet par ailleurs à un analyste d'expliciter le cadre interprétatif retenu pour l’analyse sous la forme d’un modèle de traces, ainsi que de rendre la méthodologie transparente en contrôlant les différentes étapes et en les ajustant selon les besoins de l’analyste.

Les limites de l'utilisation de kTBS4LA

Une des difficultés qui a été relevée lors de l’utilisation de kTBS4LA était de savoir ce qu’était une trace d'interaction. Est-ce qu’un obsel est un événement représentant une action de l'apprenant ou est-ce qu’elle est une rétroaction donnée par l’environnement ? De plus, un autre problème réside dans le fait que certaines informations ne varient pas dans le temps, mais auxquelles les obsels font référence (Guin, 2023).

Par ailleurs, à l’heure actuelle il est possible d’analyser l’activité de l’apprenant, mais pas son activité cognitive. En effet, il n’est pas encore possible de recueillir des informations sur les erreurs qu’il effectue qui sont essentielles pour faire un lien entre l'activité tracée et son activité cognitive (Guin, 2023).

Même si kTBS4LA est accessible à des utilisateurs qui ne sont ni des analystes ni des informaticiens, il reste qu’il nécessite des connaissances et des compétences approfondies en sciences de l’éducation. Il n’est ainsi pas prévu pour être utilisé par les enseignants.

Un autre désavantage de l’utilisation de la plateforme réside dans le fait qu’elle nécessite une grande préparation des données avant son utilisation (Bonvin et al, 2017).

Pour finir, il existe à l’heure actuelle encore peu de recherches utilisant cet outil. Il est donc difficile à comprendre pour quelqu’un de nouveau dans le domaine des Learning Analytics.

Ressources pertinentes

• Visualisation de kTBS4LA https://liris-ktbs01.insa-lyon.fr:8000/public-ui/#/page/home/
• Documentation de kTBS4LA https://ktbs.readthedocs.io/en/latest/index.html

Bibliographie

Bonvin, G., Gonçalves, C., et Sanchez, E. (2019, juin). Ludicisation de la gestion de classe avec Classcraft : une étude empirique. Communication présentée à 9e Conférence sur les Environnements Informatiques pour l’Apprentissage Humain, Paris, France. http://hdl.handle.net/20.500.12162/3191

Bonvin, G., et Sanchez, E. (2017, 29 août). Analyse de traces numériques d’interaction avec kTBS4LA [pdf].  https://eduihm.afihm.org/wp-content/uploads/2017/10/IHM_2017_kTBS4LA-Classcraft_site.pdf

Bonvin, G., et Sanchez, E. (2019, avril). Modéliser l’intégration d’un dispositif ludique de gestion de classe: le cas du jeu Classcraft. Communication présentée à Colloque scientifique Ludovia#CH, Yverdon-les-Bains, Suisse. http://hdl.handle.net/20.500.12162/3190

Brahim, B., et Lotfi, A. (2020). A trace based system helping to assess knowledge level in e-learning system. Journal of King Saud University - Computer and Information Sciences, 32(8), 977‑986. https://doi.org/10.1016/j.jksuci.2018.10.008

Casado, R., Guin, N., Champin, P. et Lefevre, M. (2017). kTBS4LA : une plateforme d’analyse de traces fondée sur une modélisation sémantique des traces. Atelier ORHEE Rendez-Vous. Font-Romeau, France.

Champin, P.-A., Mille, A., et Prié, Y. (2013). Vers des traces numériques comme objets informatiques de premier niveau. Intellectica - La revue de l’Association pour la Recherche sur les sciences de la Cognition (ARCo), 59(1), 171-204. https://doi.org/10.3406/intel.2013.1090

Guin, N. (2023). Construction interactive de connaissances pour l’analyse de traces d’interaction. Article soumis pour publication.

Guin, N., Casado, R., et Champin, P. A. (2016, septembre). Semantic Analysis of Learning Traces. Dans French corner-EC-TEL (European Conference on Technology Enhanced Learning).

Lefevre, M. (2018, 3 avril). Rencontre des jeunes chercheurs en EIAH [Conférence] KTBS4LA a kernel for Trace-Based Systems for Learning analytics. Besançon. https://rjceiahatelierdne.files.wordpress.com/2018/04/demo-ktbs4la.pdf

Romero, C., et Ventura, S. (2020). Educational data mining and learning analytics: An updated survey. Wiley Interdisciplinary Reviews-Data Mining and Knowledge Discovery, 10(3). https://doi.org/10.1002/widm.1355

Schwendimann, B., Rodriguez-Triana, M., Vozniuk, A., Prieto, L., Boroujeni, M., Holzer, A., Gillet, D., et Dillenbourg, P. (2017). Perceiving learning at a glance : A systematic literature review of learning dashboard research. IEEE Transactions on Learning Technologies, 10(1), 30–41.