Grilles d'évaluation dans Moodle
Cet article est incomplet.
Il est jugé trop incomplet dans son développement ou dans l'expression des concepts et des idées. Son contenu est donc à considérer avec précaution.
Introduction
A partir de Moodle 2.2 (déc 2011) on peut utiliser des grilles d'évaluation (en Anglais: Rubrics). Cet article explique comment les utiliser. Toutefois, les copies d'écran devraient être mis à jour pour les versions 2.3 et plus: Traduisez "rubrique" en "grille d'évaluation"...
Ce type d'évaluation fonctionne pour les devoirs (assignments) uniquement.
Si vous cherchez des idées pour construire des grilles d'évaluation, voir les liens dans Learner assessment (EduTechWiki Anglais).
Points très importants à retenir si vous utilisez une logique Suisse ou Française ou Allemande etc.:
- Il faut d'abord définir des barèmes dans Moodle (par exemple une échelle de 1/4 de points qui va de 0 à 6 pour les Suisses. Dans notre Moodle, ce barème est défini au niveau système (chacun peut l'utiliser). Ce barème doit commencer à zéro et il doit être ascendant (finir à la note maximale) ... et pas dans l'autre sens ni dans le désordre. Il faut entrer tous les quarts de notes, même si vous ne pensez jamais les utiliser !
Echelle Suisse 0-6 - 1/4 de points
0.0, 0.25, 0.5, 0.75, 1.0, 1.25, 1.5, 1.75, 2.0, 2.25, 2.5, 2.75, 3.0, 3.25, 3.5, 3.75, 4.0, 4.25, 4.5, 4.75, 5.0, 5.25, 5.5, 5.75, 6.
- Les scores minimaux et maximaux qu'on peut obtenir avec la grille doivent correspondre exactement au barème des notes. Donc scores = notes.
- Le barème doit commencer par 0, sinon vous cherchez des problèmes. Vous n'avez qu'à ne pas utiliser ces 0 plus tard si cela vous pose un problème.
- Le score obtenu avec une grille d'évaluation est un pourcentage normalisé (c'est pour cela qu'il faut définir des minima = 0). Ce score est invisible et sera multiplié avec la note maximale du barème. Le résultat sera arrondi vers la note la plus proche.
Read on ...
Procédure pour utiliser une grille dans Moodle 3.x
Prérequis: Soit créer un devoir, soit éditer un devoir qui existe déjà.
Définir un barème pour le devoir
- Activer le mode édition
Dans la section "Note":
- Définir un barème ascendant (par exemple une échelleSuisse 1/4 de points de 0 à 6 ou une échelle française de 0 à 20.
- Il est vital que l'echelle soit ascendante: donc de 0 à 6 et ne pas de 6 à 0. Le minimum doit être "0" et pas "1". Sinon, Moodle va flipper.
- Changer la méthode d'évaluation en Grille d'évaluation
- Afficher le devoir
Créer la grille
Si vous avez fait fini la procédure (sans revenir au cours) ci-dessus vous devez vous retrouver dans l'outil Évaluation avancée : .... (Devoirs rendus). Sinon
- Vérifiez que vous êtes en train de modifier le devoir
- Cliquez sur Définir grille d'évaluation dans le menu administration du devoir.
Ensuite il va falloir définir les critères et les niveaux (indicateurs de performance)
Dans l'éditeur de grilles vous pouvez définir:
- des niveaux d'évaluation avec
Ajouter niveau - des critères de performance avec
Ajouter critère
Calibrer la grille
Si vous désirez vous simplifier la vie, faites de sorte à ce que le maximum possible des points correspond à la note maximale. Les raisons sont expliqués plus bas.
Exemple:
Procédure pour utiliser une grille dans Moodle 2.x
Définir la méthode d'évaluation
- (1) Si le devoir existe déjà
- Activer le mode édition
- Éditer le devoir (petite icône "modifier")
Dans la section "Note":
- Définir un barème (moi par exemple j'utilise Suisse 1/4 de points de 0 à 6 fait sur mesure pour notre Moodle). Il est important de bien choisir, car le total maximal des critères d'évaluation devraient ne pas trop dépasser cette échelle.
- Il est vital que l'echelle soit ascendante: donc de 0 à 6 et ne pas de 6 à 0. Sinon, Moodle va flipper.
- Changer la méthode d'évaluation en "rubrique"
- (2) Nouveau devoir
- En créer un
- Choisir le barème
- Sélectionner méthode d'évaluation en "rubrique"
- Sauver et afficher et cela vous demande d'associer une grille
La capture d'écran suivante montre l'écran d'édition pour un devoir (assignment):
Note: Dans une première version "rubric" a été traduite en "rubrique". Il faut impérativement mettre à jour Moodle (ou juste le language pack) pour corriger. La version actuelle 22-STABLE affiche correctement "Grille d'évaluation".
Définir une liste de critères
La grille se définit ailleurs, mais il faut rester dans l'outil "devoirs" (cela changera peut-être dans Moodle 2.3). Dans la même page, à gauche dans la boite Réglages, cliquer sur Définir rubrique sous Evaluation avancée. Cela donne accès à l'outil de définition de grilles.
La capture d'écran suivante montre l'écran d'édition pour un devoir (assignment) et la boîte Réglages à gauche:
Dans l'éditeur de grilles vous pouvez définir:
- des niveaux d'évaluation avec Ajouter niveau
- des critères de performance avec Ajouter critère
Voici une capture d'écran de l'outil de définition de grilles d'évaluation:
Pour éditer un champ du formulaire (critère ou niveau):
- Cliquer dessus
Ajouter des critères est assez facile, il suffit de remplir le premier champs déjà affiché ("Cliquer pour ajouter un critère") et ensuite il faut cliquer sur "Ajouter critère")
Voici un exemple de quelques critères d'évaluation (voir la capture d'écran plus bas pour le rendu dans Moodle)
- Respect des délais
- Respect des contraintes
- Participation à EduTechWiki
- Qualité technique
- Documentation interne
- User experience
- Thématique MALTT
- Buts et atteinte de buts
- Complexité / difficulté / originalité
- Qualité du rapport
Bien réussir une grille (Moodle 2.x et Moodle 3.x
Définir des niveaux
Ajouter des niveaux est plutôt pénible, car il faut le faire pour chaque critère (rubrique) sans pouvoir recopier. Ceci dit, si vous définissez plusieurs niveaux pour le premier item, il vont être répliqués dans la suite. Ensuite, il n'y pas moyen de multiplier (pondérer) un score de critère (niveau) et il faut donc ajuster les points.
Ensuite, il faut impérativement choisir entre un modèle où on additionne les scores de chaque critère pour obtenir la note et un modèle Anglo-Saxon/Moodelesque où on calcule un score normalisé. Ou exprimé plus simplement: Il faut choisir entre un système ou score = note et un système américain ou note = f (pourcentage). Le système score = note est très mal implémenté dans Moodle mais on peut gérer la situation. Par contre, les solutions entre les deux sont très pénibles à gérer !
On explique avec des exemples. Voici la formule utilisée pour calculer un score normalisé pour une grille (rien à faire, il faut accepter ce biais culturel de Moodle):
- gi est le score obtenu pour un critère
- min i est le score (niveau) minimal qu'on peut obtenir pour un critère
- max i est le score (niveau) maximal qu'on peut obtenir pour un critère
Ce score normalisé n'est affiché nul part, mais il va déterminer le score obtenu pour un devoir, c-a-d il sera multiplié avec votre barème.
Exemple "Australien":
Vous avez 2 critères:
- volume avec 4 niveaux: 2, 4, 5, 6
- qualité avec 4 niveaux: 2, 4, 5, 6
Un étudiant qui obtient 5 pour "volume" et 4 pour "score" obtient:
( 5-2 + 4-2 ) / ( 6-2 + 6-2) ) = 5 / 8 = 0.625
donc 62.5% en gros, pas très utile/parlant pour nous.
Exemple "Suisse":
Vous avez 2 critères:
- volume avec 5 niveaux: 0, 2, 4, 5, 6
- qualité avec 5 niveaux: 0, 2, 4, 5, 6
Un étudiant qui obtient 5 pour "volume" et 4 pour "score", et donc une note de 4.5 obtient:
( 5-0 + 4-0 ) / ( 6-0 + 6-0) ) = 9 / 12 = 0.75
Inutile aussi, mais on peut récupérer. Multiplier le score avec la somme des notes maxi (6+6) et diviser par 2 (le nombre de critères).
0.75 * 12 / 2 = 4.5
Ou plus simple si vos critères ont un max. de 6
0.75 * 6 = 4.5
Pour faire simple et "Suisse", il faut donc adopter la procédure suivante:
(1) Rappelez-vous d'abord qu'il faut aussi choisir une échelle appropriée pour noter le devoir (par exemple Suisse 0-6 1/4 de points), 20 points en France, 100% aux EU, etc. Donc il faut adapter mes conseils à votre échelle de notes.
(2) En fonction de la note maximale qu'un élève peut obtenir (genre la note de 6 en Suisse ou la note de 20 en France), il faut planifier les sommes. En gros, si un élève obtient le niveau max. il ne devrait normalement ne pas dépasser la note maximale.
Ceci dit, dans mes cours un étudiant devrait pouvoir dépasser la note maximale car j'aime bien donner plusieurs chemins pour briller. Si par chance (et cela n'arrive qu'une fois tous les 5 ans, un étudiant dépasse, son score serait arrondi vers le bas. Dans ce cas, vous devez ensuite faire des calculs plus compliqués dans le gradebook, quelque chose que les Anglo-Saxons ont habitude de faire. Moi, je préfère être efficace, donc dans Moodle je me plie à leur logique compliqué. Lire aussi plus loin, lorsqu'on explique comment interpréter les scores dans le carnet des notes.
(3) Il est impératif de définir un minimum = 0 pour chaque critère.
Autre conseils:
- Si vous voulez pondérer le poids des critères, il faut jouer avec les points.
- Pour rapidement aller vers le niveau (ou critère) suivant, appuyez sur TAB
Voici une capture d'écran d'une grille partiellement remplie:
Publier
Vous pouvez:
- "enregistrer" comme brouillon
- "Enregistrer" (et utiliser localement)
- Une fois qu'une grille est enregistrée, elle peut également être publié comme modèle.
La capture d'écran suivante montre l'écran d'une grille déjà enregistré. Elle montre aussi une grille de 10 critères qui on à peu près le même poids. La somme théorique maximale dépasse la note 6 (cela donne une chance aux étudiants de briller dans des domaines un peu variés et quand-même obtenir une bonne note). Par contre, ce type d'échelle est très difficile à gérer au niveau des calculs de la note finale. A éviter plutôt.
Réutiliser un modèle
C'est facile: au lieu de définir un formulaire, vous pouvez en créer un à partir d'un modèle. Attention les modèles sont tous affichés dans une longue page (faut dérouler vers le bas) et on se demande comment Moodle va gérer cela une fois qu'il y en a une centaine...
Une fois que vous avez défini une grille pour un devoir et vous voulez la remplacer avec un modèle, c'est moins évident, c-a-d quelque chose n'est pas net dans l'interface. Remettez le devoir en évaluation simple, puis de nouveau en "rubrique".
Utilisation d'une rubrique
Une fois que vous avez réussi à définir une grille et à l'associer à un devoir, son utilisation est assez simple. Dans mon cas, la page Moodle est très simple (le vrai programme de cours est dans ce wiki) il n'y a aucun contenu dans les devoirs et il faut ouvrir le carnet de notes.
- Cliquer sur le devoir à corriger et ensuite cliquer sur Afficher les évaluations et feedbacks des devoirs (en haut à droite)
- Une fois le carnet ouvert, cliquer sur une "note" et la grille va s'afficher
Capture d'écran du carnet de notes:
Là vous pouvez simplement sélectionner des indicateurs de performance (niveaux) pour chaque critère et ajouter éventuellement un commentaire. En bas de la page vous pouvez aussi ajouter une évaluation qualitative globale.
Capture d'écran d'une partie de la grille:
Vous pouvez voir qu'il faut soit travailler avec un écran large, soit garder les descriptifs des niveaux très courts....
Ajustements dans le carnet des notes
Si vous avez fait comme je conseille (toujours définir un niveau=0 pour chaque critère et faire de sorte à ce que le total maximal possible corresponde à la note maximale), tout marche automatiquement. Sinon, vous devez trouver un algorithme pour calculer la note finale pour le cours.
Voyons un exemple compliqué qui ne respecte pas le principe que le total possible doit correspondre à la note maximale:
- Une échelle avec 10 critères et un barème suisse de 0 à 6 avec des 1/4 de notes.
- Les indicateurs de performance pour chaque critère varient entre 0 et 0.7
0.6 + 0.6 + 0.7 + 0.6 + 0.6 + 0.6 + 0.7 + 0.6 + 0.7 + 0.7 = 6.4 (somme des maximums)
- Un élève obtient:
0.6 + 0.5 + 0.5 + 0.55 + 0.6 + 0.5 + 0.6 + 0.6 + 0.5 + 0.6 = 5.5 (sa note en ce qui me concerne)
- Cela donne le score de grille invisible, c-a-d: 5.5 / 6.4 = 0.86 = 86%. Ce pourcentage est ensuite utilisé pour calculer la note....
- Sur une échelle de 6, cela donne 6 * 0.86 = 5.16. Si vous avez utilisé une échelle à 1/4 de points, ce sera arrondi à 5.25. Autrement dit, l'élève perd un 1/4 de point.
Donc, respectez mes conseils (et adaptez à votre pays, genre le maxi doit être 20 pour la France) ! En tout cas, le total de la grille doit être identique à la note maximale et le minimum est toujours 0.
- Une échelle avec 10 critères. Les indicateurs de performance pour chaque critère varient entre 0 et 0.6. En tout cas, le total doit être 6.
0.6 * 10 = 6 (somme des maximums)
- Un élève obtient:
0.6 + 0.5 + 0.5 + 0.55 + 0.6 + 0.5 + 0.6 + 0.6 + 0.5 + 0.6 = 5.5
- Cela donne le pourcentage de réussite normalisé de: 5.5 / 6.0 = 0.91666 (91.666 % du maximum)
- Sur une échelle de 6, Moodle calcule donc le score de 6 * 0.91666 = 5.5 (donc la note juste).
Ajustement des styles
Évidemment, une vraie grille est difficile à remplir étant donné que les styles par défaut de Moodle bouffent surtout du vide. "Scroller" latéralement une formulaire est une expérience pénible. Merci les "designers" ! Pour les styles par défaut, même un écran 27 avec une résolution WQXGA (2560 x 1600) ne le fait pas ....
Solution: Ajuster le CSS. Malheureusement, comme les thèmes par défaut changent tout le temps, il faut répéter cela après certaines mises à jour. Pour Moodle 2.7x, dans le menu Administration du site->Présentation->Thèmes->Clean
.gradingform_rubric {max-width:100%; font-size:smaller}
Diminuer la tailler de la fonte n'est pas forcément nécessaire. Tout dépend tu nombre des indicateurs de performance et de la taille de vos écrans.
Discussion
L'outil rubrics de Moodle 2.2
Mieux que rien, mais pas génial et culturellement biaisé ...
- "Rubics" en Anglais est traduit en "rubrique" ce qui ne veut rien dire
- La définition d'une grille est plutôt pénible: On ne peut pas copier/coller une série de "niveaux".
- On ne peut pas déplacer un niveau ou insérer un nouvel élément entre les colonnes. Ceci dit, lorsqu'on sauve une grille et ensuite édite de nouveau, on peut faire afficher les niveaux dans un ordre ascendant (ceci résout plus ou moins ce problème)
- Pour afficher une grille avec des niveaux un peu différenciés, il faut un écran très large et modifier le CSS de Moodle comme cela (lire l'article en:Moodle)
.gradingform_rubric{max-width:1200px};
- Lorsqu'on publie une grille comme modèle et il faut faire des corrections, il faut recréer un formulaire cloné pour chaque exercice. Donc, il faut bien réfléchir avant. Il devrait avoir quelque chose comme un "formulaire réutilisable" (ce n'est pas la même chose qu'un modèle que l'on peut cloner).
- Le score calculé est un score normalisé. Personnellement, je n'aime pas du tout cette méthode, car elle est culturellement biaisé vers la pensée quizzing des Américains. En gros, au lieu de calculer la simple somme, ils calculent la somme de chaque (score - le minimum) et on doit se compliquer la vie dans le carnet des notes (gradebook).
- J'aimerais bien pouvoir utiliser des vraies notes, c-a-d 5.5 au lieu de 0.55 mais pour cela il faudrait pouvoir indiquer un coefficient de multiplication pour la grille ...
Attention:
- Il faudrait refaire les copies d'écran (car "rubrique" a été remplacé par "grille d'évaluation") ... pas le temps.
- Il faut impérativement mettre à jour le "language pack" français (plus récent que décembre 20 2011) ! Dans les versions précédentes, il y a une erreur d'affichage.
Voir aussi:
- Moodle 2.2 is out and it includes grading rubrics (ma petite critique en Anglais).
- Daniel K. Schneider 7 décembre 2011 à 19:37 (CET)
Grilles
Ci-dessous un type de grille à utiliser pour un cours technique organisé sous forme de mini-projets où chacun est évaluée selon 10 critères qui ont le même poids. Le maximum possible est de 6 et le minimum est de 0 et cela correspond donc aux notes Suisses. La grille finale qui a été utilisée est plus compliquée. Je la partagerai une fois qu'elle sera mieux testée. - Daniel K. Schneider 8 décembre 2011 à 20:09 (CET)
L'exemple montré ici correspond bien à un modèle pédagogique très spécifique, c.a.d. un cours technique qui vise à développer à peu près 10 sortes de compétences qui se retrouvent dans chaque mini-projet (exercice). Dans d'autres cas on travaille avec des grilles plus simples. On peut trouver des centaines d'exemples sur des sites Américains où chaque activité apprenant est normalement évaluée avec une liste de critères (y compris dans les designs orientés projets).
Voici une autre grille à titre d'exemple faite dans le LMS Blackboard. Blackboard a l'avantage de simplement calculer la somme. Cela correspond plus aux normes d'ici ....
Liens
Chez Moodle:
- Rubrics
- Rubric (Wikipedia)
- en:learner assessment
Modification du copyright
Ce texte ou des parties de ce texte (y compris les images) peuvent être réutilisés dans la documentation officielle de Moodle (http://docs.moodle.org/). Même pas besoin de nous citer.