MOCLog

Analytique et exploration de données
⚐ brouillon	☸ débutant
⚒ 2021/05/14

Introduction

MOCLog est un plugin de Moodle développé par Riccardo Mazza, Marco Bettoni, Marco Faré, Luca Mazzola de l'Université de la Suisse italienne de Lugano en 2012. Ce plugin a pour objectif de proposer un outil d'analyses et de rapports basé sur des journaux de données d'un serveur Moodle. Le développement s'est appuyé sur un système préexistant dans Moodle nommé GISMO permettant le monitoring et le tracking des étudiants participants à des cours en ligne. L'approche choisie par MOCLog n'est pas uniquement le décompte ou la visualisation du nombre d'interaction ou de clics mais également sur le processus d'apprentissage et ses résultats. Le plugin va travailler uniquement au niveau des données générées par le système (log files) plutôt que prendre en compte les entrées des étudiants directement.

Un outil pour quatre type d'utilisateurs

• Les étudiants dont l'objectif est de pouvoir suivre leur propre progression.
• Les enseignants ayant pour but de monitorer le processus d'apprentissage des étudiants et s'assurer le bon déroulement méthodologique du cours
• Le manager de programme d'études qui va surveiller l'usage des étudiants et des enseignants des outils à disposition.
• L'administrateur qui va observer l'usage de la plateforme dans son ensemble.

L'équipe de MOCLog a voulu prendre en compte l'expérience eLearning des futurs usagers de leurs outils en compte lors de la conception. Ainsi, MOCLog repose sur des use cases des différents utilisateurs afin de pouvoir offrir des services au plus proche de leurs besoins. Prenons l'exemple d'un étudiant. Celui-ci souhaite principalement avoir un compte-rendu de ses tests et devoirs, de savoir la matière où il possède le plus de difficulté et d'avoir un aperçu de sa performance en lien avec la moyenne de sa classe. C'est ainsi que MOCLog a été conçu, en implémentant les visualisations les plus pertinentes pour un type d'utilisateur en particulier.

MOCLog peut être divisé en deux parties notamment selon le type d'utilisateur. La partie utile aux étudiants et enseignants s'appuie sur GISMO pour la plupart des indicateurs destinés aux enseignants. L'équipe de conception a implémenté les composants manquants afin d'étendre les fonctionnalités de certains composants existants.

La seconde partie de MOCLog s'adresse aux administrateurs et aux managers des programmes d'études. Ces deux rôles nécessitent d'autres informations telles que l'activité globale des utilisateurs, l'évolution de l'usage des outils de Moodle ou l'activité globale d'un cours.

Fonctionnalités

MOCLog permet donc de visualiser l'activité d'un étudiant, d'un cours ou global selon le rôle de l'utilisateur connecté. En tant qu'administrateur, il est possible de configurer ces visualisations selon :

• Une catégorie de cours
• Des cours en particulier
• Des rôles (étudiants, enseignant, les deux)
• Un type de rapport (activité lié au cours ou aux outils)
• Entre une certaine période dans le temps
• Un certain groupe d'utilisateur
• Un profil comportant des critères spécifiques pour le calcul d'activités

Pour détailler la notion de profil, il est possible de déterminer des scores d'utilisations ou de contributions. Par exemple, la lecture d'un document pourrait rapporter 2 points alors que la lecture d'un wiki en ramènerait 8. Cela permet donc de personnaliser la notion de score de contribution ou d'utilisation pour ensuite pouvoir visualiser les résultats sur l'ensemble des utilisateurs désirés.

La visualisation des analyses peut se présenter sous la forme d'un histogramme, d'un graphique secteur (ou camembert) ou d'un tableau de données selon les préférences de l'utilisateur.  

Analyse de l'outil

Limitations techniques

Il convient de préciser qu'à ce jour, ce plugin de Moodle est toujours téléchargeable cependant, lors de son installation, Moodle bloque son usage en stipulant que ce plugin est défectueux et obsolète. Je n'ai pas réussi l'installation d'une version précédente de Moodle acceptant ce plugin. Le site du projet MOCLog étant indisponible, il est convenable de présumer que ce plugin ne sera pas remis au goût du jour sur les dernières versions de Moodle et ne sera donc pas supporté dans le futur.

Je me base donc uniquement sur ce que j'ai pu lire et voir sur cet outil. La documentation étant très restreinte sur cet outil (deux articles proches et un webinaire), il est difficile d'avoir un avis tranché sur cet outil.  

Limitation d'usage

Ce plugin ayant été développé pour Moodle et utilisant un autre composant également lié à Moodle, celui-ci n'est pas utilisable pour d'autres LMS. La seule caractéristique prévue à cet effet est de pouvoir exporter en format csv des données afin de pouvoir les exploiter autrement.

L'outil ne propose pas, à première vue, de tableau de bord où plusieurs graphiques et tableaux pourraient être affichés en simultané. A l'usage, je pense que cet outil doit être assez contraignant et frustrant.  

Choix des logs par rapport aux données brutes

MOCLog a décidé de traiter uniquement les données générées par le serveur lorsque, par exemple, un étudiant contribue à un forum ou visionne un contenu sur le cours en ligne. L'avantage d'utiliser les données systèmes réside dans l'intégrité des données fournies. En effet, le système va toujours générer les données dans un format qui lui est propre ou se baser sur les données fournies par les administrateurs ou enseignants comme référence.

Visualisations

MOCLog fourni des visualisations sur l'usage des ressources et de ce fait il reste au niveau 1 de l'analyse comportementale sans chercher à comprendre les stratégies ou les procédures réalisées par les étudiants ni de travailler au niveau épistémique. Pourtant, avec des logs, il serait envisageable de pouvoir traiter également ces aspects et même d'offrir des représentations graphiques d'analyses épistémiques comme l'identification de patterns étant donné que les logs possèdent une chronologie. De ce point de vue-là, je trouve que cet outils est très limité, il n'offre que la possibilité d'analyser grossièrement ce qu'ont réalisé les participants ou enseignants et de formuler un score selon des critères définis.

L'outil permet tout de même de pouvoir analyser la pertinence du modèle didactique mis en place mais toujours en se basant uniquement sur les usages (ou le manque d'usage) des outils ou cours ce qui facilite le travail du manager de programme d'étude et de l'administrateur.

Références

Mazza, R., Bettoni, M., Faré, M., & Mazzola, L. (2012). Moclog–monitoring online courses with log data.

Bettoni, M., Sadiki, J., Mazza, R., & Mazzola, L. (2012). Didactical Interpretation of Log Data: The MOCLog Model. In 1st Moodle Research Conference.

Marco Bettoni & Riccardo Mazza (13.12.2012). MOCLog - monitoring online courses with logfiles [Webinaire]. Swiss Distance University of Applied Sciences (FFHS) & USI – Università della Svizzera Italiana

             https://tube.switch.ch/videos/d5385093