Evaluation par les pairs

De EduTech Wiki
Aller à la navigation Aller à la recherche

Définition

L’évaluation par les pairs est une forme d'évaluation centrée sur l'apprenant. Il s'agit, comme son nom l’indique, d'une évaluation d’un étudiant réalisée par d’autres étudiants. Elle peut prendre la forme d’un feeback formatif ou d’une évaluation sommative. Plus précisément, Topping (1998) définit l’évaluation par les pairs (peer assessment) comme « an arrangement in which individuals consider the amount, level, value, worth, quality, or success of the products or outcomes of learning of peers of similar status » (p. 250).

Typologie

A partir d’une revue de la littérature, Topping (1996) a élaboré une typologie décrivant dix-sept critères correspondant aux caractéristiques propres à l’évaluation par les pairs dans un contexte d'éducation supérieure. Ces critères sont les suivants :

  1. Le domaine d’étude et le sujet d’étude : l’évaluation par les pairs peut se faire dans tous les domaines et sujets d’études.
  2. Les objectifs de l’utilisation de l’évaluation par les pairs : pour des questions de temps et d’argent ou pour ses valeurs cognitive et métacognitive.
  3. Le type d’évaluation : formative, sommative ou les deux.
  4. La production évaluée : performance à un test (score, note), textes écrits, présentations orales, travaux de groupes, etc.
  5. La relation avec l’évaluation du corps enseignant : supplémentaire ou de substitution.
  6. Le poids de l’évaluation : s’il y en a un, quelle est sa proportion dans l’évaluation globale.
  7. La direction de l’évaluation : unidirectionnelle, mutuelle ou réciproque.
  8. La confidentialité: anonyme, confidentiel ou public.
  9. Le contact des personnes impliquées : à distance ou en face-à-face.
  10. L’année d’étude : des étudiants de la même année d’études ou non.
  11. L’habilité des étudiants : identique ou certains sont considérés comme plus experts qui évaluent les moins experts.
  12. L’organisation des évaluateurs : individuelle, en paire ou en groupe.
  13. L’organisation des étudiants évalués : individuelle, en paire ou en groupe.
  14. Le lieu de l’évaluation : dans la salle de classe ou hors de la salle de classe.
  15. Le moment (temps) de l’évaluation : pendant le temps de classe, le temps libre ou de manière informelle.
  16. Le recrutement des évaluateurs : de manière volontaire ou obligatoire.
  17. La récompense : des crédits de cours, d’autres récompenses ou aucune.

Avantages

La méthode de l’évaluation par les pairs comporte un certain nombre d’avantages sur plusieurs niveaux tels que ceux listés ci-dessous.

Métacognitif

Tout comme pour l’auto-évaluation, l’évaluation par les pairs permet d’adopter un regard critique sur ses propres processus tant pour l’évaluateur que pour l’évalué. En premier lieu, l’évaluateur, pour réaliser l’évaluation d’un travail de l’un de ses pairs, développe ses capacités à se poser et formuler de bonnes questions (intelligentes et adaptées) à propos de l’ensemble et la forme du travail ainsi que sur des éléments précis et le fond du travail. L’évaluateur pourra donc utiliser cette capacité pour son propre travail en prenant l’initiative de s’auto-évaluer et ainsi de prendre la responsabilité de son propre apprentissage (Bostock, 2000). En second lieu, l’évalué, suite à son évaluation par l’un de ses pairs pourra, comme pour toute évaluation, se remettre en question, détecter les parties les plus importantes de son travail, etc. (Topping, 1998).

Social

Les interactions possibles entre l'évaluateur et l'évalué lors d'une évaluation par les pairs formative suscitent des échanges entre les étudiants à propos de l'objet de l'évaluation. Cette dimension sociale, que l'on peut rapprocher du socio-constructivisme permet aux étudiants de se joindre dans la construction d'un savoir par le discours.

Affectif

L’évaluation par les pairs permet également la présence d’échanges affectifs entre les différents acteurs (Sadler & Good, 2006) et engendre ainsi un travail d’équipe dans lequel la communication verbale ou écrite, la négociation et l’acceptation des critiques sont importantes (Topping, 1998).

Logistique

L’évaluation par les pairs est avantageuse pour des questions plus techniques comme un gain de temps pour le corps enseignant (Boud, 1989) ou l’obtention d’un feedback plus rapide pour les étudiants, puisqu’ils peuvent s’évaluer de manière simultanée (Sadler & Good, 2006).

Limites

Lors de l’utilisation de l’évaluation par les pairs, il faut faire attention à certaines limites qui peuvent gêner l’exercice. D’une part, la personne évaluée peut ne pas accepter les critiques formulées par ses pairs et d’autre part, l’évaluateur peut ne pas souhaiter endosser cette responsabilité, être inhibé ou contraint dans son évaluation (Topping, 1998).

De plus, la question de la validité et de la fiabilité des évaluations réalisées par des pairs se pose tant au niveu de leur valeur que de leur précision. Toutefois, il est possible de contrer cette limite par la création par le corps enseignant et/ou des étudiants de critères d’évaluation clairs et précis ainsi que par la mise en place d’une évaluation groupée (plusieurs personnes évaluent une même production) (Bostock, 2000).

De plus, dans le cas d’une évaluation sommative par les pairs, il y a de grands risques pour que les notes attribuées ne soient pas suffisamment précises et que les productions soient sur ou sous-évaluées.

Finalement, la question de l’anonymat de l’évaluation par les pairs se pose également tant pour les évaluateurs que pour les étudiants évalués. En effet, certaines caractéristiques et expériences personnelles des deux acteurs peuvent influencer l’évaluation que cela soit en bien ou en mal.

Text mining appliqué à des évaluations par les pairs

Problématique

L’évaluation par les pairs est une méthode d’évaluation couramment utilisée dans l’enseignement, et notamment dans l’enseignement supérieur. L’évaluation par les peut être utilisée par les enseignants pour ses avantages logistique et/ou pour ses avantages cognitifs et métacognitifs. Dans le premier cas, l’évaluation par les pairs permet un gain de temps pour un enseignant face à un grand nombre d’étudiant. On peut notamment retrouver cette configuration dans les MOOC (Massif Open Online Course) qui utilisent l’évaluation par les pairs en raison du nombre très élevé d’étudiants inscrits dans chaque cours. Dans le second cas, l’évaluation par les pairs a pour but le développement de connaissances et de compétences spécifiques des étudiants.

Lorsque l’évaluation par les pairs est utilisée pour des raisons logistiques ainsi que pour des raisons cognitives et métacognitives, l’enseignant ne peut pas toujours lire l’ensemble des évaluations et ne peut donc pas s’assurer que les apprentissages visés sont atteints. L’utilisation d’une analyse de type text mining permet donc à l’enseignant d’avoir une tendance globale du contenu de l’évaluation sans devoir lire tout le corpus. En plus de cela, cette technique permet à l’enseignant de repérer certains passages qu’il peut lire plus précisément.

En effet le text mining est une technique d’analyse automatique permettant une exploration statistique d’un corpus de textes de grand volume. Il permet de mettre en avant et de structurer un certain contenu, des thèmes, des informations importantes et des relations textuelles dans une approche d’analyse rapide. Grâce à cette technique, l’enseignant peut donc avoir un aperçu global de l’ensemble des évaluations rédigées par les étudiants sans perdre du temps à tout lire en détail.

Corpus

Le corpus de textes sur lequel nous allons effectuer une analyse de text mining est tiré du cours BASES 2013-2014 (promotion tetris) donné au sein du master MALTT. Ce cours était encadré par un enseignant mais principalement géré par les étudiants eux-mêmes. Le rôle de l’enseignant était d’organiser le cours, de donner les consignes, d’être disponible pour d’éventuelles questions et d’évaluer les productions des étudiants de manière sommative, une fois le cours achevé. Le rôle des étudiants était de réaliser deux types de production – une carte conceptuelle et une vidéographie la présentant – sur un sujet choisi parmi certains articles dans le domaine de la psychologie et des sciences de l’éducation sur Edutech Wiki. En plus de cela, chaque étudiant devait commenter les productions de six collègues afin de les évaluer de manière formative en jugeant leur production et en leur proposant des pistes d’amélioration. Dans ce cas, l’évaluation par les pairs peut être rapprochée au socio-constructivisme dans le sens où les interactions qu’elle suscite permettent aux étudiants de co-construire le savoir par le discours. La question est donc de savoir quels types de commentaires rédigent les étudiants, s’ils concernent plutôt la forme ou le fond (théorie) des productions.

Il est donc intéressant de regarder et mettre en avant plusieurs indices dans les commentaires. Tout d'abord, les termes qui reviennent le plus fréquemment peuvent nous donner des informations sur le contenu même des commentaires. Ensuite, l'analyse des adjectifs utilisés dans les commentaires devrait permettre de mettre en avant les critères de jugement utilisés par les étudiants. Finalement, l'analyse du nombre d'intervenants et de nombre de messages postés par intervenant permet de connaître les activités de chaque utilisateur et de sa place dans la possible construction d'un savoir.

Les productions et les commentaires sont tous postés dans la page discussion correspondant à l'article Edutech Wiki du sujet traité. Dans cette analyse, nous ne prendrons pas en compte toutes pages de discussion. Sur une trentaine de pages, nous en retenons quatre, choisies au hasard et qui ne concernent pas toujours les mêmes étudiants. Ces pages sont les suivantes: Discussion:Apprentissage multimédia, Discussion:Développement moral et psychosocial, Discussion:Flow et Discussion:Psychologie différentielle. Dans chaque page, les étudiants commentent les productions de deux de leurs pairs (soit quatre productions par page). Afin de garantir l'anonymat des étudiants concernés, nous avons décidé de remplacer leur nom par un nombre pouvant aller de 01 à 07 en fonction du nombre d'intervenants sur la page. Les deux étudiants chargés réalisés les productions sont toujours signalés par Utilisateur01 et Utilisateur02.

Extraction des données

Le corpus de texte retenu pour effectuer les analyses est issu de pages de discussion sur Edutech Wiki. Afin d'extraire et exporter les pages au format .xml, il convient de suivre la démarche suivante:

  • Sur le bandeau situé à gauche des pages Edutech Wiki, sélectionner dans la partie concernant les outils, les "pages spéciales"

Exporter une page Edutech Wiki (1)

  • Une fois dans les pages spéciales, descendre sous l'onglet "Outils pour les pages" et cliquer sur "Exporter des pages"
  • Ensuite, dans le plus grand champ de texte, écrire le nom de la page souhaitée et cocher les cases qui vous intéressent (exporter sans l'historique, inclure les modèles et/ou enregistrer dans un fichier), puis cliquer sur "exporter" pour enregistrer le fichier .xml.

Questions

  1. Quel est le nombre d'intervenants sur une page? Combien de fois chaque étudiant intervient dans une page?
  2. Quels sont les termes qui reviennent de plus souvent dans les messages des intervenants?
  3. Quels sont les adjectifs utilisés par les intervenants?

Analyses

Question 1 : nombre d'intervenants par page et nombre d'interventions par intervenant

Afin de connaître le nombre de participants et le nombre de fois que chaque participant est intervenu, nous utilisons l’outil en ligne Voyant Tools et notamment sa fonctionnalité "Words in the entire corpus". Cette fonctionnalité permet de mettre en avant la fréquence d'apparition d'un mot dans le corpus. Les résultats sont triés par fréquence décroissante. Nous pouvons donc mettre en avant le nombre de fois que chaque mot « utilisateur » suivi du numéro attribué à chacun des étudiant apparaît dans le corpus. En effet, dans notre corpus, chaque message est introduit par le nom de l’utilisateur et la date à laquelle le message a été posté. Ainsi, le nom d’utilisateur ne peut apparaître qu’une et une seule fois par message.

La fonctionnalité "Words in the entire corpus" est présente, par défaut, en bas à gauche de la page. Pour une recherche plus rapide, on peut directement chercher le terme voulu dans la barre de recherche située un bas à gauche de la fenêtre dédiée à la fonctionnalité. Dans notre cas, nous avons cherché le mot « utilisateur » pour obtenir la liste de tous les intervenants de la page.

Pour connaître le nombre d’intervenants dans la page, il suffit de compter le nombre d’entrées. Dans notre cas, nous utilisons cette fonctionnalité puisque le nombre d’intervenants n’est pas conséquent. Cependant, dans le cas d’un nombre plus important d’utilisateurs, il faudrait utiliser un autre programme de text mining proposant plus de possibilités que Voyant Tools (R, par exemple).

En ce qui concerne le nombre d’interventions par intervenant, il faut regarder sous la colonne "count" qui indique le nombre de fois que chaque utilisateur apparaît dans le texte. Nous regardons ces deux informations pour chaque page du corpus.

1. Apprentissage multimédia

Références bibliographiques

Bostock, S. (2000). Student peer assessment. Learning Technology.

Boud, D. (1989). The role of self-assessment in student grading. Assessment and Evaluation in HigherEducation, 14, 20–30.

Sadler, P. M. & Good, E. (2006). The Impact of Self- and Peer-Grading on Student Learning. Educational Assessment, 11.1, 1-31.

Topping, K. (1998). Peer assessment between students in Colleges and Universities. Review of educational research, 68, 249-276.