MOCLog

Analytique et exploration de données
⚐ brouillon	☸ débutant
⚒ 2021/05/14

Introduction

MOCLog est un plugin de Moodle développé par Riccardo Mazza, Marco Bettoni, Marco Faré, Luca Mazzola de l'Université de la Suisse italienne de Lugano en 2012. Ce plugin a pour objectif de proposer un outil d'analyse et de rapport basé sur des journaux de données d'un serveur Moodle. Le développement s'est appuyé sur un système préexistant dans Moodle nommé GISMO permettant le monitoring et le tracking des étudiants participants à des cours en ligne. L'équipe de MOCLog a voulu prendre l'expérience eLearning des futurs usagers de leurs outils en compte lors de la conception. Ainsi, MOCLog repose sur des use cases de différents utilisateurs afin de pouvoir offrir des services au plus proche de leurs besoins. Prenons l'exemple d'un étudiant. Celui-ci souhaite principalement avoir un compte-rendu de ses tests et devoirs, de savoir la matière où il possède le plus de difficulté et d'avoir un aperçu de sa performance en lien avec la moyenne de sa classe. C'est ainsi que MOCLog a été conçu, en implémentant les visualisations les plus pertinentes pour un type d'utilisateur en particulier. MOCLog a la particularité de travailler uniquement avec les données générées par le système Moodle (logs).

Un outil pour quatre type d'utilisateurs

• Les étudiants dont l'objectif est de pouvoir suivre leur propre progression.
• Les enseignants ayant pour but de monitorer le processus d'apprentissage des étudiants et s'assurer le bon déroulement méthodologique du cours
• Le manager de programme d'études qui va surveiller l'usage des étudiants et des enseignants des outils à disposition.
• L'administrateur qui va observer l'usage de la plateforme dans son ensemble.

Un développement découpé en deux sections

Le développement de MOCLog peut être divisé en deux parties notamment selon le type d'utilisateur. La partie utile aux étudiants et enseignants s'appuie sur GISMO pour la plupart des indicateurs destinés aux enseignants. L'équipe de conception a implémenté les composants manquants afin d'étendre les fonctionnalités de certains composants existants.

La seconde partie de MOCLog s'adresse aux administrateurs et aux managers des programmes d'études. Ces deux rôles nécessitent d'autres informations telles que l'activité globale des utilisateurs, l'évolution de l'usage des outils de Moodle ou l'activité globale d'un cours. Cette section là a dû être développée de zéro contrairement à la première partie car GISMO n'offrait pas les fonctionnalités recherchées.

Fonctionnalités

(Figure 1) Formulaire de paramètrage des visualisations - MOCLog Source : Webinaire https://tube.switch.ch/videos/d5385093

MOCLog permet donc de visualiser l'activité d'un étudiant, d'un cours ou globale selon le rôle de l'utilisateur connecté. En tant qu'administrateur, il est possible de configurer ces visualisations selon (Figure 1) :

• Une catégorie de cours
• Des cours en particulier
• Des rôles (étudiants, enseignant, les deux)
• Un type de rapport (activité lié au cours ou aux outils)
• Entre une certaine période dans le temps
• Un certain groupe d'utilisateur
• Un profil comportant des critères spécifiques pour le calcul d'activités

Pour détailler la notion de profil, il est possible de déterminer des scores d'utilisations ou de contributions. Par exemple, la lecture d'un document pourrait rapporter 2 points alors que la lecture d'un wiki en ramènerait 8. Cela permet donc de personnaliser la notion de score de contribution ou d'utilisation (Figure 2) pour ensuite pouvoir visualiser les résultats sur l'ensemble des utilisateurs désirés.

(Figure 2) Paramétrage des scores - MOCLog Source : MOCLog – Monitoring Online Courses with log data

La visualisation des analyses peut se présenter sous la forme d'un histogramme, d'un graphique secteur (ou camembert) ou d'un tableau de données selon les préférences de l'utilisateur.  

Analyse de l'outil

Limitations techniques

Il convient de préciser qu'à ce jour (14.05.2021), ce plugin de Moodle est toujours téléchargeable cependant, lors de son installation, Moodle bloque son usage en stipulant que ce plugin est défectueux et obsolète. Il n'a pas été possible lors de la rédaction de cet article d'installer une version précédente de Moodle acceptant ce plugin sans que d'autres problèmes techniques ne surviennent. Le site du projet MOCLog étant indisponible, il est convenable de présumer que ce plugin ne sera pas remis au goût du jour sur les dernières versions de Moodle et ne sera donc pas supporté dans le futur.

La critique de cet outil se base donc uniquement sur la documentation très restreinte sur celui-ci (deux articles relativement similaires et un webinaire) ce qui rend difficile d'avoir un avis tranché sur cet outil.  

Limitation d'usage

Ce plugin ayant été développé pour Moodle et utilisant un autre composant également lié à Moodle, celui-ci n'est pas utilisable pour d'autres LMS. La seule caractéristique prévue à cet effet est de pouvoir exporter en format csv des données afin de pouvoir potentiellement les exploiter via d'autres logiciels.

L'outil ne propose pas, à première vue, de tableau de bord où plusieurs graphiques et tableaux pourraient être affichés en simultané. A l'usage, cet outil doit être assez contraignant et frustrant notamment pour la navigation entre les différentes visualisations.  

Choix des logs par rapport aux données brutes

MOCLog a décidé de traiter uniquement les données générées par le serveur lorsque, par exemple, un étudiant contribue à un forum ou visionne un contenu sur le cours en ligne. L'avantage d'utiliser les données systèmes réside dans l'intégrité des données fournies. En effet, le système va toujours générer les données dans un format qui lui est propre ou se baser sur les données fournies par les administrateurs ou enseignants comme référence.

Visualisations

MOCLog fourni des visualisations sur l'usage des ressources et de ce fait il reste au niveau 1 de l'analyse comportementale sans chercher à comprendre les stratégies ou les procédures réalisées par les étudiants ni de travailler au niveau épistémique. Pourtant, avec des logs, il serait envisageable de pouvoir traiter également ces aspects et même d'offrir des représentations graphiques d'analyses épistémiques comme l'identification de patterns étant donné que les logs possèdent une chronologie. De ce point de vue-là, les limitations de l'outil se font ressentir vu qu'il n'offre que la possibilité d'analyser grossièrement ce qu'ont réalisé les participants ou enseignants et de formuler un score selon des critères définis.

L'outil permet tout de même de pouvoir analyser la pertinence du modèle didactique mis en place mais toujours en se basant uniquement sur les usages (ou le manque d'usage) des outils ou cours ce qui facilite le travail du manager de programme d'étude et de l'administrateur.

Références

Mazza, R., Bettoni, M., Faré, M., & Mazzola, L. (2012). Moclog–monitoring online courses with log data.

Bettoni, M., Sadiki, J., Mazza, R., & Mazzola, L. (2012). Didactical Interpretation of Log Data: The MOCLog Model. In 1st Moodle Research Conference.

Marco Bettoni & Riccardo Mazza (13.12.2012). MOCLog - monitoring online courses with logfiles [Webinaire]. Swiss Distance University of Applied Sciences (FFHS) & USI – Università della Svizzera Italiana

             https://tube.switch.ch/videos/d5385093