TaBAT
Contexte
Dans l’enseignement supérieur, l’apprentissage en ligne est de plus en plus présent. Cela confronte les établissements à de nombreux défis tels que le taux d’abandon. Safsouf et al. (2021) affirment que dans ce contexte, l’analyse des apprentissages, aussi couramment appelée Learning Analytics (LA), est devenue une nécessité. Ils affirment également qu'elle permet de comprendre le parcours d’un apprenant [...] [et] vise à exploiter le potentiel des quantités de plus en plus importantes de données décrivant les informations personnelles, les données d’interaction et les données académiques générées par l’utilisation des environnements d’apprentissage en ligne” (p.239).
Il existe un certain nombre d'outils des LA qui permettent de fournir aux enseignants de précieuses informations sur le processus d’apprentissage des élèves afin d’améliorer l’environnement d’apprentissage. Les apprenants bénéficient également de ces outils puisqu’ils leur offrent l’opportunité d’observer et de suivre leurs performances ainsi que leurs évolutions.
Cependant, il existe une grande variété des contenus pédagogiques, des environnements d’apprentissage en ligne et de plateformes de communication. De plus, les données d’apprentissages proviennent souvent de diverses sources, ce qui complique fortement l’analyse des traces d’apprentissage (Safsouf et al., 2021).
Yassine Safsouf a alors décidé de créer TaBAT (Tableau de Bord d’Analyse des Traces d’apprentissage), un outil d’analyse, de représentation et de communication visuelle des traces d’apprentissages destiné aux élèves et enseignants. Le présent article vise à présenter cet outil. Pour cela, nous commencerons par une vue d'ensemble, en présentant ses diverses fonctionnalités, puis nous procéderons à une analyse critique, notamment afin de mettre en évidence ses limites.
Présentation de l'outil
Afin de rédiger l'ensemble de cette section, nous nous sommes basées sur la description de l'outil qu'on rédigés Safsouf et al. (2021) dans leur article. L’outil TaBAT fonctionne avec plusieurs EAL (environnements d'apprentissage en ligne) sous forme de tableau de bord. Il offre aux enseignants et aux apprenants la possibilité de visualiser leur progression d'apprentissage. TaBAT permet de retracer les événements survenus lors du cours en ligne, d'identifier les étudiants susceptibles de réussir ou d'échouer, de comprendre les raisons derrière le décrochage des étudiants, et enfin, d'obtenir des recommandations sur les actions à entreprendre pour favoriser la progression et le succès des étudiants dans le cours en ligne.
TaBAT comprend cinq phases de processus de fonctionnement s’articulant comme présenté sur la Figure 1 ci-dessous.
La première phase consiste à récupérer les différentes données. La deuxième phase correspond à une phase d’analyse. La préparation des données constitue la troisième phase. La phase suivante vise la présentation des résultats. Finalement, la dernière phase est celle proactive. Nous allons à présent décrire chaque phase plus précisément.
1. Phase de récupération des données
L'objectif de cette phase est la collecte ainsi que la récupération des données relatives aux traces d'apprentissage qui seront exploitées dans les étapes suivantes. Ces données sont généralement stockées soit dans une base de données (telles que MySQL, MariaDB ou PostgreSQL) dans des tables dédiées appelées logstores (typiquement utilisées dans le cadre de la plateforme Moodle), soit dans des fichiers journaux. Elles peuvent éventuellement être localisées dans les deux formats. Pour accéder à ces traces d'apprentissage, l'utilisateur dispose d'options de configuration où il peut sélectionner la plateforme utilisée, établir la connexion à la base de données en fournissant les informations telles que le préfixe des tables et les identifiants de connexion nécessaires à l'accès à la base de données.
2. Phase d’analyse
Cette deuxième phase vise à concevoir des algorithmes d'analyse des activités des apprenants, en se basant sur les données collectées lors de la phase précédente ainsi qu’en utilisant les indicateurs dérivés de notre modèle théorique. Ces indicateurs sont classés selon les six catégories suivantes :
I. Catégorie cours
Le nombre d’étudiants inscrits au cours, le nombre de sections prévues ainsi que le nombre de ressource et/ou activités créées sont les trois indicateurs de cette catégorie
II. Catégorie participation
Cette catégorie se concentre sur les activités entreprises dans le cours permettant de qualifier un élève comme actif au sein de celui-ci. Deux types d'activités sont distinguées : celles de consultation et de contribution. Quatre indicateurs ont été sélectionnés : la date de la dernière activité réalisée, la durée totale des activités effectuées lors de la dernière session, la durée totale des activités effectuées depuis le début du cours ainsi que le nombre d'activités effectuées par un élève pour chaque type d'activité. Le niveau de participation est alors calculé pour chaque étudiant.
III. Catégorie section de cours
Cette catégorie comprend deux indicateurs : les ressources ou activités consultées par l'élève (telles que les leçons, les quiz, les devoirs, les URL, les chats, les fichiers, etc.), ainsi que le nombre total d'activités disponibles dans chaque section de cours. Ces deux indicateurs sont utilisés pour évaluer le niveau de progression de l'étudiant dans chaque section de cours.
IV. Catégorie progression
La progression d'un étudiant reflète son avancement dans le cours. Trois indicateurs ont été sélectionnés pour calculer cette dernière : le nombre d'activités déjà complétées par l'élève, le nombre d'activités non effectuées par rapport à une date limite, et le nombre total d'activités initialement définies par l'enseignant. Ils permettent de connaître la progression individuelle de chaque élève. Ces indicateurs permettent de construire le niveau de progression.
V. Catégorie sociale
L’activité sociale d’un élève durant le cours est l’objet de cette catégorie. Pour cela, le niveau social est calculé sur la base de deux indicateurs : le nombre de messages envoyés sur la plateforme (par exemple à travers le chat ou le wiki) ainsi que le nombre total de messages existant pour la même activité.
VI. Catégorie succès
Cette catégorie vise à fournir une estimation du degré de succès d’un élève pour le cours en question. Le niveau de progression avec succès (note supérieure à la moyenne) des activités ainsi que le niveau de réussite de l’apprenant sont les deux indicateurs choisis afin de fournir cette estimation. Les auteurs de cet outil, se basant sur les résultats du modèle e-LSAM, ont défini ces indicateurs selon les calculs suivants :
Continuité = (0,4 x niveau social) + (0,6 x niveau de participation)
Succès = (0,3 x progression avec succès) + (0,7 x continuité)
Grâce à ces résultats, on peut définir si un élève participe activement, s’il pourrait être plus impliqué ou s’il ne participe pas assez.
3. Phase de préparation des données
Cette troisième étape sert de relais entre les phases d’analyse et de présentation des résultats. Elle est indispensable, car elle permet de rendre l’outil opérationnel sur différentes plateformes. Elle vise à regrouper, transformer et générer des fichiers JSON (JavaScript Object Notation) de nomenclature standardisée contenant les données importantes tout en cachant leur provenance. Elle permet également d'offrir la possibilité d’étendre l’outil à d’autres EAL en utilisant d’autres langages de programmation comme PHP ou Python.
4. Phase de présentation des résultats
Pour cette étape, des rapports conçus à partir des fichiers JSON sont conçus pour les différentes parties prenantes, soit les enseignants et les apprenants. Ils sont construits sous forme de tableaux de bord.
I. Rapport enseignant
Le rapport destiné aux enseignants présente différentes données telles que des données statistiques provenant des indicateurs de la catégorie cours, des graphiques de synthèse sur la consultation et la contribution des étudiants issus des indicateurs des catégories participation, section et sociales ainsi que le calcul du progrès et de la réussite des élèves provenant des indicateurs des catégories progression et succès. Une vue d'ensemble des tableaux de bord présentés dans le rapport enseignant est disponible en Figure 2.
La première page (1) propose un résumé du cours (en haut au milieu au milieu) comprenant le nombre d'étudiants inscrits, d'étudiants participant activement au cours, de sections et d'activités et ressources, différentes statistiques sur les connexions des élèves (au milieu) ainsi que le nombre de consultation globale pour les différentes activités et ressources. Sur la deuxième page (2), les enseignants peuvent trouver une analyse détaillée des quiz. Celle-ci comprend une liste des élèves, avec pour chacun d'eux si chaque quiz est effectué (en rouge si le test n'est pas validé ou en vert s'il l'est) ou non (en violet), le nombre que questions répondues sur le nombre de questions total, le score final (en pourcentage) ainsi que le temps effectué pour terminé le test. La troisième page (3) comprend une analyse des devoirs pour chaque élève présentée sous forme de titre (du devoir) ainsi que son statut (remis, non remis ou en retard). Enfin, la dernière page (4)présente pour chaque élève une estimation du temps passé sur le cours, l'état de progression (en pourcentage par rapport à la totalité du cours), le niveau de réussite (en pourcentage également) ainsi qu'une flèche dirigée vers le bas ou le haut signalant une augmentation ou une diminution du niveau de réussite par rapport à la dernière valeur enregistrée (si le niveau reste inchangé, la flèche n'apparaît pas). Ces informations sont présentées sous forme de tableau dans lequel il est possible de sélectionner l'affichage en fonction du type de prédictions (toutes, risque de décrochage, risque minime ou réussite scolaire).
Afin de simplifier la lecture, un code couleur est utilisé pour différencié les devoirs remis de ceux qui ne le sont pas ou en retard, des quizz effectués ou non ainsi que pour le niveau de progression et le statut de prédiction.
II. Rapport élève
Le rapport destiné aux élèves offre une présentation concise des résultats. Le but étant de les présenter de manière efficace tout en étant épuré. Les données sont tirées des différents indicateurs présentés précédemment dans les catégories participation, section, progression et sociales. Les pages de ce rapport sont présentées dans la Figure 3 ci-dessous.
La première page (1) présente à l’élève un résumé de progression (rectangle en haut à droite) contenant son niveau de progression global (ici 39%), la date et la durée de sa dernière connexion progression ainsi qu’une estimation du classement par rapport à l’avancement des autres étudiants (ici “Votre score est supérieur à 30% des scores de tous les membres de votre classe”). Cette page expose également un tableau de comparaison des progressions (en haut à gauche sur l’image) . Il permet à l’élève de comparer son niveau de progression par rapport au meilleur élève et à l’élève moyen pour chaque section de cours. Enfin, cette première page présente un classement de comparaison des élèves (au centre). Ce dernier classe tous les élèves de la classe selon leur état d’avancement. Selon les auteurs, ce tableau vise à soutenir les processus métacognitifs et d’autorégulation des élèves afin de les motiver. Sur la deuxième page (2), l'élève peut examiner les aspects détaillés de sa progression dans le cours en ligne, ainsi que les détails de sa progression dans chaque section du cours. Sur l’image de la Figure 3, on peut voir un graphique présentant le niveau de progression pour chaque section du cours ainsi qu’un tableau détaillant pour chaque section du cours si les différentes ressources que quoi il s’agit (devoir, leçon, quizz, ressource, etc.), si elles sont faites ou non ainsi que le niveau de progression.
5. Phase proactive
Cette phase finale offre à l'enseignant la possibilité d'entrer en contact avec les élèves soit manuellement, soit en programmant des notifications automatiques. Les trois dernières pages du rapport enseignant (2, 3, 4), illustrées dans la Figure 2, permettent à l'enseignant de choisir les élèves qui recevront automatiquement des suggestions ou des notifications concernant leurs réalisations, les devoirs à soumettre, les quiz à compléter, les ressources à consulter ou les leçons à visionner. Chaque page propose également un bouton pour contacter l'élève par courrier électronique. La dernière page (3) du rapport élève, présenté dans la Figure 3, vise à orienter l'élève à travers diverses suggestions et actions à entreprendre. Elle lui permet de consulter les notifications automatiques envoyées, marquées comme non lues, triées par type (connexion, ressources, social, leçon, quiz et devoir).
Analyse critique de l'outil
Avantages
TaBAT permet de suivre la participation et le progrès. En effet, ces deux aspects sont d’une importance capitale dans le processus d'apprentissage en ligne, tant pour les apprenants que pour les enseignants. L'analyse de l'apprentissage offre à l'enseignant un aperçu des activités des apprenants à distance, telles que leur parcours, le temps passé sur chaque étape ainsi que leur historique. Tous ces éléments lui permettent d'évaluer les progrès globaux de sa classe et les compétences acquises. Pour les apprenants, la possibilité de consulter leurs progrès, de se situer par rapport à leurs pairs et de développer leurs compétences d'autoévaluation sont des éléments importants. Ainsi, TaBAT fournit des rapports qui répondent aux aspects de participation et de progression, pour les élèves et les enseignants. Le rapport étudiant permet une visualisation détaillée et synthétique des activités ou ressources réalisées par l'apprenant, ainsi qu'une vue d'ensemble du progrès de la classe, permettant à chaque élève de se situer par rapport à ses pairs. D'autre part, le rapport enseignant regroupe diverses interfaces permettant à l'enseignant de suivre la présence et la progression des apprenants, de consulter les travaux rendus et les résultats des quiz, d'accéder aux prédictions sur la réussite scolaire ou le risque d'échec, et également de communiquer avec les apprenants.
Limites
Il existe toutefois certaines limites à cet outil. La principale réside dans le nombre restreint de participants. Afin d’étendre la portée de la recherche, des ressources supplémentaires seraient nécessaires. En raison de cette contrainte de taille d'échantillon, des analyses statistiques plus approfondies n'ont pas été effectuées. De plus, son test dans d'autres institutions éducatives nécessiterait des autorisations et une logistique supplémentaire pour se faire. TaBAT nécessite un accès complet à la base de données de la plateforme afin de pouvoir récupérer et analyser les données de suivi des apprenants. C'est la raison pour laquelle ils ont développé leur propre plateforme d'apprentissage afin de résoudre les problèmes liés à la confidentialité des données. Enfin, selon Dawson et al.(2019), cet outil ne permet d'observer que le niveau 1 du modèle comportemental. En effet, il renseigne sur le nombre de personnes connectées, les temps et durées de connexion ainsi que les ressources examinées, mais il ne rend pas compte des stratégies, procédures, processus adaptatifs, ainsi que des analyses d'erreurs des autres niveaux du modèle comportemental.
Bibliographie
Safsouf, Y. (2021). Contribution à l'élaboration de modèles décisionnels pour l'amélioration de la réussite des apprenants dans un système d'apprentissage en ligne [Thèse de doctorat, Université Bretagne Sud]. https://theses.hal.science/tel-03531760/document
Safsouf, Y., Mansouri, K., & Poirier, F. (2021). Conception et expérimentation de tableaux de bord d’apprentissage pour les enseignants et les apprenants. HAL open science, 238-249. https://hal.science/hal-03292923
Dawson, Shane et al, « Augmenter l'impact de l'analyse de l'apprentissage » dans la série d'actes de la conférence internationale ACM (Association for Computing Machinery, 2019)