Outils d'évaluation dans Moodle

Cet article est incomplet.

Il est jugé trop incomplet dans son développement ou dans l'expression des concepts et des idées. Son contenu est donc à considérer avec précaution.

Introduction

Il existe différentes acceptations de la notion d'évaluation. Selon Stéphane Jacquemet (exposé oral, EPFL Mars 2018):

• La mesure: évaluation chiffrée (approche quantitative) qui cherche à comparer une grandeur par rapport à une autre
• le contrôle: évaluation de vérification par rapport à une norme ou à un standard attendu, notamment un référentiel
• Le suivi: action de soutien intervenant à la suite de la formation dans le but de documenter (administration) ou de renforcer (transfert) les acquisitions
• L'évaluation au sens plus large du terme: ensemble des actions engagées dans le cadre d’un processus formel afin d’exprimer soit la qualité d’une action ou d’un projet, soit les effets d’une formation sur les apprenants (impact), soit l’efficacité durable sur un système.

L'évaluation des apprentissages a plusieurs facettes (ou étapes) dont les plus importantes sont l’évaluation préventive (avant la formation) formative (pendant, pour donner du feedback) et l'évaluation sommative (à la fin de la formation pour certifier les connaissances).

Survol des outils d'évaluation de Moodle

Moodle 3.x et 4.x contiennent plusieurs outils liés à l'évaluation des apprenants (c.-à-d. leurs productions et/ou leur apprentissage). On peut distinguer plusieurs groupes d'outils et on peut les utiliser à des fins diverses (diagnostic, feedback formatif, évaluation sommative ...). En vrac:

1. Évaluation de travaux, tests, scores et notes
   1. Le carnet des notes: Contient les notes: En plus, on peut définir des catégories de notes (par ex. devoirs, quiz), notes maximales par catégorie, objectifs pédagogiques au niveau du cours, etc.
   2. Les barèmes: Définir des échelles qui résument une évaluation.
   3. Outils de quizzing: Évaluation par ordinateur. Le plus connu est l'activité "test", mais on peut aussi déployer des "objets e-learning" qui contiennent des quiz (SCORM 1.2) ou encore créer des objets H5P. Le test est également disponible dans les "leçons".
   4. Grilles et guides d'évaluation ("rubrics" et "marking guides" en Anglais): disponibles pour évaluer des devoirs (Angl. assignments)
2. Suivi et de progression de compétences: À utiliser avec le système de création de référentiels. Alternativement, on peut aussi utiliser le système plus ancien des objectives.
   1. Achèvement de compétences (lié à l'achèvement d'activités ou de cours).
   2. Progression dans un plan d'étude (lié à l'achèvement des compétences en fin de cours)
3. Pistage général
   1. rapports d'activités: Qui a fait quoi dans un cours ?
   2. Analytics: quelques modèles prédictifs (lesquels dépendent de la version du Moodle), par exemple identifier les étudiants qui risquent d'abandonner. Ces modèles doivent être entraînés.
4. Achèvement (doit être activée dans un cours)
   1. Est-ce qu'un apprenant à réussi une activité ?
   2. Est-ce qu'un apprenant a réussi (ou terminé) le cours ?
5. Micro-certification
   • Badges système: On peut décerner manuellement au automatiquement des badges électroniques
6. Évaluation non formelle (feedback): Utilisation de forums, annotations dans un wiki, etc.
7. Autres: les sondages, consultation (les instruments de sondages standardisés pour mesurer l'expérience d'apprentissage)

Dans une perspective formative, on peut considérer que ces outils servent d'instruments de suivi (il faut compléter la liste de ces derniers par les rapports du cours et autres "analytics", les notifications. etc.).

La figure suivante résume les outils les plus importants et les met en relation avec les activités Moodle et les acteurs. Il faut savoir que certaines fonctionnalités ne sont pas mises à disposition des enseignants dans une configuration standard de Moodle. L'administrateur doit les autoriser. Ensuite, certaines tâches (comme la définition d'une grille de compétences) sont réservées à l'administrateur. On peut donner le droit aux enseignants, mais cela nécessite un travail de configuration un peu pénible...

Outils d'évaluation dans Moodle 3.x (Version 1 de cette figure - à peaufiner)

Au-delà de ces outils de base, on peut:

1. Installer ou faire installer d'autres outils (extensions) mais qui ne vont pas forcément survivre les mises à jour (donc attention).
2. Évaluer des portfolios crées dans Mahara
3. Utiliser des outils en ligne via le mécanisme LTI (IMS Learning Tools Interoperability)

Presque chaque activité autorise au moins une forme d'évaluation ou est elle-même une évaluation (comme les tests). Il existe peu d'outils que l'on peut utiliser pour évaluer des cours.

Voir aussi:

• Outils compétences dans Moodle
• Grilles d'évaluation dans Moodle

Les scores et les barèmes

Moodle distingue entre les points qu'on pourrait aussi appeler scores (Angl. grade points) et les barèmes (Angl. Grading scales) qui sont des échelles de notation. Les points chiffrent une production avec un simple nombre entier. Un barème soutient une façon d'évaluer avec une échelle plus "parlante", par exemple: classer les apprenants, évaluer par objectifs, évaluer la progression, etc. Utiliser un barème (donner une note) permet de communiquer le résumé d'une évaluation et aussi d'orienter l'apprenant.

Les points (Angl. grade points)

(1) Dans Moodle, un point (score) est un chiffre sur une échelle numérique allant de 0 à une limite supérieure (max. 250) que vous pouvez définir. Dans le système américain, on note souvent une performance sur une échelle de 100 qui indique un % des objectifs à atteindre. Ces pourcentages peuvent aussi représenter la position d'un apprenant par rapport aux autres dans une même classe. La note (Angl. grade) est ensuite calculée à l'aide d'une grille de correspondance entre ce score et un barème (une échelle de notation).

Exemple simple: non-acquis, acquis, excellent

<60 points = non acquis
 60 points = acquis
 90 points = excellent

Exemple, notes américaines:

À+	Excellent           100.00
A	Very good	     92.00
A-	Almost very good     89.00
B+	Pretty good	     85.00
B	Good	             82.00
B-	Reasonably good	     79.00
C+	Fair	             75.00
C	Rather weak / minim. 72.00
C-	Minimalist / Weak    69.00
D+	Very weak            65.00
D	Pass	             62.00
F	Fail	             61.00

(2) Un barème (échelle de notation) permet de noter une production étudiante (devoir, contribution forum, etc.). Soit on passe via un score comme les Américains, soit on donne directement une note. Une échelle de notation peut être qualitative ou quantitative. Par défaut, Moodle inclut quelques échelles qualitatives (à vérifier lesquelles). Avant d'utiliser les outils d'évaluation, il faut s'assurer que les échelles que vous aimeriez utiliser soient présentes dans le système.

Notice: Si on a bien compris, chaque nombre entre 1 et 100 correspond aussi à un barème. Si vous déclarez que vous allez utiliser un barème qui va à 6, vous allez pouvoir utiliser les notes 1,2,3,4,5,6 mais pas des demis ou de quarts de notes.

Si vous désirez directement utiliser des barèmes utilisés en Suisse, en France, etc. il est impératif de rentrer toute l'échelle qui va de 0 à la note maximale (y compris les quarts de notes). Par exemple, un Français, qui aime utiliser le barème de 0 à 20 avec des quarts de notes, doit rentrer 80 chiffres ! Sinon, le résultat de certaines opérations de Moodle devient imprévisible pour des raisons qu'on n’expliquera pas ici. Un enseignant peut créer un barème pour un cours dans l'outil "carnet de notes", un administrateur peut le faire au niveau du système. Ci-dessous vous pouvez par exemple copier la liste du barème français.

Dans Moodle 3.x:

• Cliquer sur Notes (dans le menu en haut à gauche) pour afficher le carnet de notes, ensuite sélectionner le TAB "Barèmes"

Exemples de barèmes divers.

Acquisition

Pas fait-0, pas acquis-1, en route d'acquisition-2, acquis-3

Barème Satisfaisant

Insatisfaisant, Satisfaisant, Excellent

Barème Suisse

0.0, 0.25, 0.5, 0.75, 1.0, 1.25, 1.5, 1.75, 2.0, 2.25, 2.5, 2.75, 3.0, 3.25, 3.5, 3.75, 4.0, 4.25, 4.5, 4.75, 5.0, 5.25, 5.5, 5.75, 6.0

Barème Français

0, 0.25, 0.5, 0.75, 1, 1.25, 1.5, 1.75, 2, 2.25, 2.5, 2.75, 3, 3.25, 3.5, 3.75, 4, 4.25, 4.5, 4.75, 5, 5.25, 5.5, 5.75, 6, 6.25, 6.5, 6.75, 7, 7.25, 7.5, 7.75, 8, 8.25, 8.5, 8.75, 9, 9.25, 9.5, 9.75, 10, 10.25, 10.5, 10.75, 11, 11.25, 11.5, 11.75, 12, 12.25, 12.5, 12.75, 13, 13.25, 13.5, 13.75, 14, 14.25, 14.5, 14.75, 15, 15.25, 15.5, 15.75, 16, 16.25, 16.5, 16.75, 17, 17.25, 17.5, 17.75, 18, 18.25, 18.5, 18.75, 19, 19.25, 19.5, 19.75, 20

On est gentils, voilà le programme JavaScript qui génère cela (copier/coller dans une console javascript)

text = '';
for (i = 0; i < 20.0; i = i + 0.25) {
  text += i + ', ';
}
document.write(text+"20");

Malheureusement, il existe pas mal de confusion autour du système de points et de notes:

• Il y a déjà un problème de traduction et d'ergonomie. Côté ergonomie, les tests n'autorisent pas le calcul direct d'une note faisant partie d'un barème (ce qui est compatible avec le système Américain). Donc on ne peut utiliser qu'un score simple (une échelle composée de nombres entiers. Au lieu d'appeler cela "points" ou "score", les traducteurs ont mis "note" (une traduction tout à fait juste, mais frustrante pour quelqu’un qui aurait aimé coller des quarts de points selon le système suisse).
• Certains outils (comme les grilles d'évaluation) essayent de normaliser le calcul de notes en fonction de la dispersion des résultats. En gros, une note obtenue par un étudiant ne correspond pas à la somme des points. Cette logique a du sens pour les gens qui maîtrisent les théories avancées du testing et qui ont du temps pour calibrer un outil, c.-à-d. à peu près personne....

Résumé: La plupart des activités peuvent être évaluées:

• soit avec une note qui est un simple score (échelle de nombre entier),
• soit avec une note qui fait partie d'un barème de notes. Si vous utilisez une grille d'évaluation, faites attention au mode de calcul (lire Grilles d'évaluation dans Moodle).

On peut aussi décider de ne pas évaluer. Donc vous avez trois choix.

Pour finir, un dernier conseil:

• Soit vous travaillez toujours avec une simple échelle de 0 à 100 et vous calculez vos notes plus tard, soit vous définissez des barèmes qui vont de 0 à 6 (suisses) ou de 0 à 20 (français) et dans ce cas il faut absolument entrer tous les quarts de notes !
• Pour les évaluations formatives, considérez l'utilisation de barèmes non "chiffrés" comme "à faire / à perfectionner / satisfaisant" / parfait"

Outils de quizzing

Moodle 3.4 de base contient le support pour au moins trois types de quizzing. Pour explorer leurs fonctionnalités, il faut se mettre en mode édition (par la "roue action" en haut à droite) et ensuite Ajouter une activité ou une ressource

Le module test

Le module Test (appelé Quiz en Anglais) permet de créer des quiz en format propriétaire de Moodle. Il se trouve dans liste des activités que l'on peut ajouter.

D'après la documentation Moodle (ci-dessus), le démarche conseillée est la suivante (suivez les liens)

(1) Créer une (ou plusieurs) catégories dans une banque de questions

• Menu Administration -> Plus -> Banques de question -> Catégories

Si vous affichez le bloc administration, il y un accès plus direct

(2) Créer des questions (dans le même outil, banque de question).

• Dans Moodle 3.4 vous avez le choix entre 17 formes de questions.
• Documentation pour chaque type de question

(3) Créer un test qui utilise des questions définies dans une banque de données. Cela se fait en deux étapes.

• Créer et paramétrer un test: Pour commencer, ajoutez une activité test sans paramétrer grand chose et enregistrez.
• Construire un test: Cliquez sur l'activité test pour ajouter des questions. Plus tard, il va falloir utiliser le menu déroulant à droite.

Malheureusement Moodle n'implémente pas la norme QTI. Autrement dit, le format de Moodle est propriétaire et ne permet pas l'exportation vers une autre plateforme. Il semble possible par contre d'exporter/importer vers un autre Moodle de la même famille de version.

Attention: Avant de fixer la note de passage, il est conseillé de créer les questions (sinon Moodle peut refuser d'enregistrer les paramètres de cours). Il est possible de fixer manuellement un maximum, mais il faut trouver cela ....

Le quiz Scorm 1.2

SCORM (Sharable Content Object Reference Model) est une collection de spécifications qui permettent l'interopérabilité, l'accessibilité et la réutilisation de contenu d'apprentissage basé sur le Web. (Paquetage SCORM).

Un paquetage SCORM est une ressource sous forme de fichier *.zip qui peut contenir des quiz interactifs.

Moodle ne soutient que la version la plus simple, en:SCORM 1.2 (en Anglais).

Le paquetage IMS

Le paquetage IMS, disponible comme "Ressource" dans le menu ajouter une activité ou une ressource une fois que vous êtes en mode édition, permet de déployer des quiz d'auto-évaluation que l'on peut intégrer dans un paquetage. Les résultats ne sont pas communiqués à Moodle.

Devoirs, critères et grilles d'évaluation

L'activité Devoir (Angl. Assignment) permet aux apprenants de déposer des devoirs en téléversant un ou plusieurs fichiers. On peut aussi leur demander de taper un texte dans un formulaire simple. Vous pouvez évaluer le devoir de trois façons:

• Avec des points ou avec une note (échelle qualitative ou quantitative)
• Avec un guide d'évaluation, c.-à-d. une liste de critères (Angl. marking guide)
• Avec une grille d'évaluation, c.-à-d. une liste de critères avec des indicateurs de performance (Angl. rubric)

Évaluer des devoirs avec des grilles d'évaluation présente un certain nombre d'avantages. Une fois la grille créée, la procédure sera plus rapide. Le feedback critérié peut être plus clair et il y a (en tout cas en surface) une meilleure homogénéité de la correction.

Moodle ne permet pas la création de ces grilles par un menu d'administration. Il faut d'abord créer un devoir et ensuite créer ou reparamétrer la grille d'évaluation.

• Lire Grilles d'évaluation dans Moodle

Achèvement d'activités et de cours

Moodle permet de dire qu'une activité ou qu'un cours est achevé, soit automatiquement, soit manuellement. Pour que cela fonctionne, l'administrateur doit autoriser les enseignants-concepteurs à utiliser le suivi d'achèvement (voir la documentation).

Pour chaque activité on peut définir un critère d'achèvement. Par exemple on peut décider que le simple fait afficher une activité suffit ou, au contraire, exiger qu'une certaine note soit atteinte.

Un enseignant-concepteur peut ensuite définir les conditions qui définissent si un apprenant a achevé un cours entier. Selon la documentation officielle, «L'achèvement du cours montre si un cours est terminé. Il peut montrer le progrès d'un étudiant dans le cours par rapport à des critères spécifiques. Les critères peuvent inclure d'atteindre un certain résultat à une activité ou de cocher manuellement « Terminé » (par l'enseignant ou l'étudiant). Le rapport peut aussi montrer si l'étudiant a terminé d'autres cours ayant un impact sur la complétion de ce cours (par exemple, si la réussite de ce cours est conditionnelle à la réussite d'un autre cours). »

Avec l'outil "réglages d'achèvement du cours" on peut déterminer selon quels critères le cours est achevé (par exemple après obtention de l'achèvement de certaines activités ou encore après une auto-évaluation). On peut trouver cet outil dans le "menu actions" -> Achèvement de cours (ou encore dans le bloc administration du cours, s'il est affiché)

Lire:

• Achèvement des activités (documentation Moodle)
• Achèvement du cours (documentation Moodle)

Les compétences

Parallèlement à un système d'évaluation classique par activité et par cours on peut installer un système qui mesure l'achèvement de compétences. Ce système existe seulement dans les versions de Moodle 3.2 et supérieures.

L’administrateur ou d'autres personnes ayant obtenu le droit peuvent définir des grilles sophistiquées de compétence. Les enseignants peuvent associer l'achèvement de certaines activités à l'achèvement d'une compétence. Ils peuvent aussi faire manuellement des "attestations".

• Lire Outils compétences dans Moodle

Voir aussi: Objectifs (une sorte de grille de compétences simplifié) que l'on peut définir dans le carnet de notes dans Moodle 4 et dans les paramètres dans Moodle 2 et 3. Ce système semble être peu utilisé.

Les badges

Moodle permet de discerner automatiquement ou manuellement des badges pédagogiques, c'est-à-dire des représentations numériques d'une compétence ou encore de réussites d'apprentissage ou d'expériences. Il s'agit d'une forme de microcertification.

D'après la documentation officielle (mars 2018), «Les badges sont un bon moyen de conclure le passage d'une étape, par exemple l'achèvement d'un cours, et marquer ainsi une progression par une récompense. Les badges peuvent être décernés selon un ensemble varié de critères. Ils sont entièrement compatibles avec Open Badges (Mozilla). Les badges peuvent être créés dans Moodle et seront visibles dans le profil de l'utilisateur ou poussé vers leur sac de badges Open Badges. Les collections Open Badge publiques qu'ils détiennent dans leur sac à badges Open Badges seront également publiées sur leur profil.»

Lire:

• Badge pédagogique
• Badge dans Moodle
• Badges (Moodle)

Autres outils de suivi

Voici quelques liens:

• Rapports de cours. Plusieurs types.
• Analytics A configurer et à former
• Rapports de site
• Sondages
• Sondages standardisés, notamment COLLES (Constructivist On-Line Learning Environment Survey) et ATTLS (Attitudes to Thinking and Learning Survey),

Voir aussi: Outils de suivi dans Moodle 2 et autres LMS (à mettre à jour) et Suivi dans Moodle 3

Liens

Documentation officielle en français

La documentation de Moodle en français est parfois incomplète, car Moodle est un système gratuit. La documentation repose sur la (pas si) bonne volonté des utilisateurs francophones. Donc si la documentation manque, il faut basculer en Anglais.

• Vue d'ensemble documentation de Moodle 3.x

Documentation de modules:

• Test permet de créer des quiz en format propriétaire de Moodle
• Paquetage SCORM permet d'importer des paquetages Scorm 1.2 (pas Scorm 2004) et qui peuvent contenir de simples quiz dont le résultat sera ensuite communiqué à Moodle.
• Atelier permets d'implémenter une forme spécifique d'une stratégie "tutorat par des pairs".

Des extensions permettent d'ajouter d'autres fonctionnalités, par exemple Présence permet de pister la présence des étudiants à des séances présentielles.

Tutoriels Moodle

• 100 tutoriels vidéos pour Moodle (probablement pas encore mis à jour pour Moodle 3.x / en mars 2018)

Bibliographie

• Leclercq, D. (1986). La conception des questions à choix multiple. https://orbi.uliege.be/bitstream/2268/17835/1/La_conception_des_QCM_avril_2008.pdf