BASES DISCUSSION:Cours BASES 2021-22/Comment les enseignants peuvent utiliser les fonctionnalités inhérentes aux serious games pour évaluer leurs élèves ?

Introduction par Florent Dupertuis

Cette fiche a consisté en un travail de réflexion réalisé à partir d'articles, revues de littérature et ouvrages sur le concept de serious game, et plus particulièrement sur les aspects en lien avec l'évaluation des joueurs-apprenants, en tentant de se placer du point de vue de l'enseignant. Cet onglet discussion peut être utilisé pour évaluer la fiche sur la base de la grille mise à disposition sur la page du cours BASES 2021-22/Evaluation par les pairs. Tout commentaire permettant de l'améliorer est le bienvenu!

Evaluation par Kelly Weibel

Critères	Evaluation selon l'échelle de Likert à 4 points (supprimer les mentions inutiles)	Critiques constructives	Suggestions d'amélioration
La question générale (problématique) est clairement énoncée	Tout à fait d'accord D'accord Pas d'accord Pas du tout d'accord	Point positif : La problématique était très bien articulée rendant le texte d'introduction complet et générant un désir de lire l'ensemble du texte suivant. J'ai trouvé intéressant et pertinent l'inclusion du facteur anxiété comme facteur inquiétant dans la construction de l'estime de soi de l'élève. Il n’y a aucun doute qu'il s'agit d'un problème social actuel et l'école devrait s'efforcer de minimiser ce sentiment autant que possible.
L’importance de cette question est clairement établie par rapport au thème de travail du groupe mais également au thème du cours BASES	Tout à fait d'accord D'accord Pas d'accord Pas du tout d'accord	Point positif : L'importance de la question est établie par rapport au thème de travail du groupe et aussi par rapport au thème du cours.
Les questions de recherche sont clairement énoncées	Tout à fait d'accord D'accord Pas d'accord Pas du tout d'accord	Point positif : Le tableau rend la lecture des sous-questions de recherche très claire.
La relation entre ces questions et la problématique (question générale) est claire	Tout à fait d'accord D'accord Pas d'accord Pas du tout d'accord	Point positif Analyse très claire et cohérente.
La relation entre ces questions et les trois dimensions relatives aux technologies éducatives (apprentissage, enseignement et pédagogie, technologies) est bien décrite	Tout à fait d'accord D'accord Pas d'accord Pas du tout d'accord	Point positif : Les relations sont claires et brièvement décrites dans la partie "Questions de recherche".
Le contenu des réponses aux questions de recherche est pertinent et bien argumenté	Tout à fait d'accord D'accord Pas d'accord Pas du tout d'accord	Points positifs : L'aspect numérique présente une excellente suggestion sur la manière de mesurer le résultat de l'évaluation par le biais du serious game. L'observation de la limitation technologique actuelle concernant la transformation des données de performance du joueur en note est pertinente et donne lieu à approfondir cette thématique. L'axe pédagogique était très bien ancré présentant quelles sont les manières d'évaluer à travers le serious game. En tant qu'enseignante, je me demande si, en plus d'utiliser un outil d'évaluation, je devrais compléter l'investigation de l'apprentissage par d'autres instruments, si ce travail exhaustif est possible et réalisable dans le quotidien scolaire. L'axe psychologique aborde la question classificatoire de l'évaluation par le jeu qui est extrêmement délicate à tout niveau d'enseignement.  Je trouve cette observation fondamentale.
Les réponses sont bien documentées et chaque référence apporte un éclairage particulier	Tout à fait d'accord D'accord Pas d'accord Pas du tout d'accord	Point positif : Toutes les réponses sont cohérentes avec les références pertinentes, ce qui rend la lecture fluide et agréable.
Les réponses sont rédigées de façon cohérente et s’enchaînent de façon fluide	Tout à fait d'accord D'accord Pas d'accord Pas du tout d'accord	Point positif : Le contenu des réponses est pertinent dans son ensemble.
Les concepts abordés et les recherches mentionnées sont clairement décrits	Tout à fait d'accord D'accord Pas d'accord Pas du tout d'accord	Point positif: Les concepts étaient bien justifiés et sont clairement décrits
La discussion fait bien ressortir les principales réponses apportées à la question générale	Tout à fait d'accord D'accord Pas d'accord Pas du tout d'accord	Point positif: on voit un résumé de les données plus relevant sur le sujet.
La discussion présente des préconisations intéressantes à mettre en œuvre	Tout à fait d'accord D'accord Pas d'accord Pas du tout d'accord	Point positif : Le fait d'avoir des exemples concrets d'outils existants qui remplissent le rôle de ce que la théorie propose valide le texte et l'argumentation.
Le nombre de références est raisonnable (ni trop, ni trop peu)	Tout à fait d'accord D'accord Pas d'accord Pas du tout d'accord	Point positif : 9 références me semblent une quantité ni trop élevée ni trop faible, c'est un équilibre correct.
Les références sont correctement présentées selon les normes APA autant dans le texte que dans la bibliographie	Tout à fait d'accord D'accord Pas d'accord Pas du tout d'accord	Cela me semble correct.
Le ton du document dénote une attitude scientifique rigoureuse	Tout à fait d'accord D'accord Pas d'accord Pas du tout d'accord	Oui, les choix faits servent tout à fait au propos de la question principale et mettent en évidence une approche rigoureuse.
Le style est clair et agréable à lire ; il n’y a pas de fautes d’orthographe	Tout à fait d'accord D'accord Pas d'accord Pas du tout d'accord	Le style est très agréable à lire.
Autre (commentaire libre)		L'idée d'ajouter des images pour illustrer le texte est excellente.

Evaluation par Lorain Freléchoux

Critères	Evaluation selon l'échelle de Likert à 4 points (supprimer les mentions inutiles)	Critiques constructives	Suggestions d'amélioration
La question générale (problématique) est clairement énoncée	D'accord	La question principale n'est pas textuellement énoncé mais les 3 axes oui. On comprend toutefois bien de quoi elle retourne. De mon point de vue, c'est clair et complet. Le fait de mentionner le terme d' "educationnal game" est particulièrement opportun et enrichira notre travail de groupe, je ne l'avais à titre personnel pas encore rencontré!	L'énoncer textuellement. Valable pour nos trois fiches je pense mais idéalement il me paraîtrait pertinent de proposer des liens directs pour passer de l'une à l'autre de nos fiches dans cette partie.
L’importance de cette question est clairement établie par rapport au thème de travail du groupe mais également au thème du cours BASES	Tout à fait d'accord	C'est le cas
Les questions de recherche sont clairement énoncées	Tout à fait d'accord		peuvent-ils (Q1) educational game (Q2) un outil de communication interposé (Q3)
La relation entre ces questions et la problématique (question générale) est claire	Tout à fait d'accord	Limpide
La relation entre ces questions et les trois dimensions relatives aux technologies éducatives (apprentissage, enseignement et pédagogie, technologies) est bien décrite	Tout à fait d'accord		Expliciter "les enjeux liés à l'estime de soi".
Le contenu des réponses aux questions de recherche est pertinent et bien argumenté	Tout à fait d'accord	La question des données collectée est cruciale à mon sens et je n'avais pas encore rencontrer le terme d'educational data mining dans la littérature, cela va m'aider à creuser dans ce sens! (Q3)-impact de l'estime de soi --> uniquement émotions négatives ou positives pour certains?	Une combinaison pré/post test (Q1)?
Les réponses sont bien documentées et chaque référence apporte un éclairage particulier	Tout à fait d'accord
Les réponses sont rédigées de façon cohérente et s’enchaînent de façon fluide	Tout à fait d'accord D'accord Pas d'accord Pas du tout d'accord		(Q3) Bien que certains jeux ....à leurs apprenants
Les concepts abordés et les recherches mentionnées sont clairement décrits	D'accord	(Q1) et (Q3) assez peu de détails sur les méthodologies de recherche recherche sur lesquelles s'appuient tes réponses. (Q2) l'exemple de Bugmann est beaucoup plus explicite	Donner quelques détails sur les méthodologies.
La discussion fait bien ressortir les principales réponses apportées à la question générale	D'accord	La synthèse me semble limpide.	"illustrative" (premier paragrpahe): j'ai pas vérifié plus loin mais ça sonne bizarre à mes oreilles.
La discussion présente des préconisations intéressantes à mettre en œuvre	Pas d'accord	La partie offline assessment me convainc moyennement parce que j'ai un peu l'impression qu'on tourne en rond. D'un côté on attend de l'educational game qu'il permette de mettre en oeuvre une tâche complexe mais parallèlement on voudrait valider sa pertinence en offline mais du coup : comment? En faisant du contrôle de connaissance? --> quizz intégré au jeu ont pour moi peuvent le s'en charger. En mettant l'apprenant en face d'une tâche complexe réelle comparable?--> a la limite mais dans ce cas si on ne veut pas biaisé il faut faire comparé tout le processus d'apprentissage/évaluation depuis l'enseignement de la même matière sur un mode traditionnelle avec évaluation en tâche complexe puis dans le serious game en comparaison étude avec une formation via le serious game puis contrôle en tâche complexe ensuite. Sur le principe je ne dis pas non mais du coup il faut calculer (comment?) les deux taux de transferabilité de l'un vers l'autre...	Je sais pas si on peut trouver quelque chose qui va dans ce sens mais un point de vue qui me paraîtrait plus intéressant serait de partir du postulat inverse. Dans ce qui est présenté: l'apprenant n'apprend rien tant qu'on a pas prouvé qu'il apprenait qqch. Ma proposition: L'apprenant apprend tant qu'on a pas prouvé qu'il n'apprenait pas--> consiste à vérifier que la performance de l'élève est bien corrélée avec les notions abordées au travers du jeu. SI oui -> à priori il apprend. Si non, est-ce qu'un expert du domaine dans les mêmes conditions performe ?-> Si oui, l'apprenant n'apprend pas, la plus value du serious game peut être questionnée. Si non, la conception du serious game est vraisemblablement inadaptée.
ombre de références est raisonnable (ni trop, ni trop peu)	Tout à fait d'accord
Les références sont correctement présentées selon les normes APA autant dans le texte que dans la bibliographie	Tout à fait d'accord
Le ton du document dénote une attitude scientifique rigoureuse	Tout à fait d'accord
Le style est clair et agréable à lire ; il n’y a pas de fautes d’orthographe	Pas d'accord	Je n'ai pas relu très attentivement mais j'ai signalé les coquilles dans les suggestions d'améliorations dans les rubriques précédentes.
e (commentaire libre)

Re: Evaluation par Lorain Freléchoux -- Florent Dupertuis (discussion) 4 février 2022 à 17:49 (CET)

Salut Lorain,

Merci pour tes commentaires et tes suggestions que j'ai prises en compte pour la plupart. Les autres m'ont permis d'approfondir mes recherches et nous aideront à cadrer notre production collective, mais j'explique ci-dessous pourquoi ça ne me semble pas opportun de les intégrer dans ma production individuelle.

En ce qui concerne ta réflexion en lien avec les préconisations faites dans la partie discussion, je la trouve intéressante mais elle me semble s’éloigner de l’objectif de cette fiche, celle-ci développant avant tout le « comment l’educational game permet d’évaluer des apprentissages » sans avoir d’attente préalable vis-à-vis de cet outil. C'est un questionnement ouvert qui pourrait à la limite partir du postulat suivant: « L’apprenant apprend à partir du serious game, mais est-ce que le serious game lui-même peut le prouver ? »

Par rapport aux deux exemples que tu donnes pour répondre à la question du « comment » :

• Contrôle de connaissances type quizz : c'est effectivement une manière d'évaluer certains types de connaissances qui peut être appliquée dans un jeu, pour autant que la fonctionnalité ait été pensée au moment de sa conception, ce qui nous renvoie à la première recommandation faite dans la partie discussion, à savoir d’intégrer les enseignants dans le processus de développement de jeux;
• Réalisation d’une tâche complexe : effectivement c’est ce qui est recherché pour aller au-delà du quizz, et c’est là que la réponse apportée dans cette fiche consiste à dire que, en l’état, les serious game ne sont pas autosuffisants : à la question initiale de « comment » les serious games permettent d’évaluer, la fiche conclut sur le fait que la manière dont ils le font aujourd’hui est insuffisante pour réellement faire office d’évaluation, et donc que cela doit être complété par de l’offline assessment. Par contre, ma conclusion consiste aussi à dire que les serious games ont le potentiel en termes de fonctionnalités pour mieux prendre en charge la dimension évaluation (ton feedback m'a par ailleurs amené à poursuivre mes lectures sur cet aspect).

L’étude comparative que tu décris comme nécessaire pour pouvoir répondre sur ce point ne me semble pas appropriée car la réflexion ne porte pas sur « est-ce que le serious game permet de mieux apprendre, mieux évaluer et/ou mieux transférer ses apprentissages que la forme d’enseignement-apprentissage traditionnelle ?» ; à nouveau, elle porte sur « est-ce que le serious game permet d’évaluer et si oui comment » ? Ces questions nous renvoient à deux postures épistémologiques différentes, la première s’inscrit plutôt dans un champ de recherche expérimentale alors que la deuxième relève plutôt de la recherche exploratoire. Cela m’amène à réagir au commentaire que tu fais à juste titre vis-à-vis du manque de détails donnés sur les méthodologies des recherches que j'ai utilisées : mes lectures ayant porté plus sur des états de l'art et définitions conceptuelles que sur des expérimentations, elles décrivaient peu leurs propres cadres méthodologiques, j'ai donc eu du mal à les faire ressortir dans mon texte (ce qui n'invalide pas ta remarque pour autant).

Discussion à suivre durant les prochaines étapes de notre travail, merci encore pour ta contribution et à bientôt! Florent

Evaluation de Gaëlle (Mai 2022)

Merci Florent pour cette fiche bien rédigée, bien documentée qui a l'avantage d'être synthétique tout en favorisant la réflexion (les échanges avec Lorain sont vraiment intéressants). Quelques points de réflexion de mon côté : (1) tu sembles ne pas aborder la question du rôle des traces laissées par l'interaction avec le jeu dans l'auto-évaluation par les élèves eux/elles-mêmes et je me demandais pourquoi ; (2) tu expliques que l'avantage du jeu sérieux réside dans la possibilité d'évaluer la progression de la performance et je me demandais dans quelle mesure la progression de la performance pouvait être indicatrice des processus d'apprentissage mobilisés au cours du jeu (ici, je fais la distinction entre processus et produit de l'apprentissage, et j'évoque la question de l'évaluation de ces deux moments distincts d'apprentissage) ; (3) il est principalement question de performance dans ta fiche et je me demandais dans quelle mesure le jeu sérieux et les traces d'interaction dans ces environnements pouvaient être utilisées pour évaluer d'autres dimensions de l'apprentissage comme la motivation et les émotions. Attention, le lien vers le projet nextREALITY ne fonctionne pas.

Re: Evaluation de Gaëlle (Mai 2022) -- Florent Dupertuis (discussion) 18 mai 2022 à 08:46 (CEST)

Merci pour ton feedback, pour le lien effectivement il ne fonctionne plus et je n'arrive pas à accéder à ce projet via un autre site, j'ai donc supprimé cette référence.