Voir la source de BASES:Cours BASES 2021-22/Comment les enseignants peuvent utiliser les fonctionnalités inhérentes aux serious games pour évaluer leurs élèves ?

''Dans ce texte, le genre masculin a été adopté comme terme générique afin de faciliter la lecture. Cette démarche n'a aucune intention discriminatoire.''

Auteur : [[Utilisateur:Florent Dupertuis|Florent Dupertuis]]
== Mon groupe de travail ==  
Mon groupe de travail, composé de [[Utilisateur:Kelly Weibel Thome|Kelly Weibel Thome]], [[Utilisateur:Lorain Freléchoux|Lorain Freléchoux]] et moi-même, est le groupe PEYTON. Nous avons choisi de travailler sur le thème de l’évaluation à travers le '''''serious'' ''game'' éducatif'''.

== Problématique et questions de recherches == 

=== Problématique=== 
Certains types d’évaluation, comme les tests standardisés, bien que faciles et rapides à administrer, sont parfois d’une efficacité limitée pour mesurer les capacités de résolution de problèmes complexes, de communication ou encore de raisonnement, et n’ont pas la flexibilité nécessaire pour s’adapter à certains groupes tels que les apprenants très ou très peu performants (Bellotti et al., 2013). L’évaluation est en outre souvent vécue comme un moment anxiogène car elle peut impacter l’estime de soi, générant depuis des années des débats sur le rôle de l’évaluation, le besoin que l’apprenant ne se sente plus « sanctionné » par une note et perçoive l’évaluation comme un événement positif qui va faire de ses erreurs un levier pour l’apprentissage.

Faisant cas de cette préoccupation, notre groupe de travail s’est questionné sur les alternatives possibles aux formes habituelles d'évaluation – formative ou sommative – en s’intéressant à des outils ayant récemment émergé avec le développement des technologies de l’information et de la communication (TIC). C’est ainsi que nous en sommes venus à questionner les opportunités liées à l’apparition des ''serious'' ''games'' en contexte éducatif à partir de la question générale suivante : « Quel rôle le ''serious game'' éducatif peut-il prendre dans le processus évaluatif ? »

Développés dès les années quatre-vingt par l’armée américaine et devenus populaires il y a une vingtaine d’années (Egenfeldt-Nielsen, 2007 ; Prensky, 2001 ; cités par Sanchez et al., 2011), les ''serious'' ''games'' sont aujourd’hui définis de manière assez large et non consensuelle. D’après la revue de littérature réalisée par Berry (2011), ce terme désigne un « ensemble extrêmement hétérogène de produits vidéoludiques » qui peut servir plusieurs types d’intérêts : l’apprentissage, mais aussi le développement de compétences transversales, l’expérimentation, la sensibilisation, l’incitation à faire de l’exercice, le diagnostic et traitement médical, le recrutement, le marketing, etc. (Dörner et al., 2016). Notre réflexion porte sur le ''serious'' ''game'' éducatif – appelés aussi ''educational game'' – et se centre sur son potentiel pour le suivi et l’évaluation des apprenants<sup><small>1</small></sup> en questionnant à la fois le « [[BASES:Cours BASES 2021-22/"Comment améliorer l'apprentissage des élèves du primaire en utilisant du serious game comme outil d'évaluation ?"|pourquoi ?]] » (sous-thème 1), le « comment ? » (sous-thème 2) et le « [[BASES:Cours BASES 2021-22/Quels sont les contenus pouvant être proposés par des serious game pour évaluer les capacités des élèves à réinvestir leurs connaissances?|quoi ?]] » (sous-thème 3).

Cette fiche développe la question du « comment ? » en se plaçant du point de vue de l’enseignant et en interrogeant les manières dont il peut tirer profit des ''educational games'' pour évaluer – au sens large – ses apprenants. L’enseignant, en tant qu’artisan des événements d’apprentissage, fait des choix pédagogiques et didactiques selon ses représentations. En s’efforçant de montrer les avantages mais aussi les limites des ''educational games'', cette fiche se veut une modeste contribution à la prise de décision raisonnée vis-à-vis de leur utilisation comme outil d’évaluation. Cependant, ce qui est présenté ici ne peut refléter que des tendances au vu de l’étendue de ce domaine de recherche et de la pluralité des objectifs d’apprentissage, ainsi que l’interdépendance entre les modalités de suivi-évaluation, le choix de l’approche de conception d’un ''serious'' ''game'' et le sens qui lui est attribué (Sanchez et al. 2011).

=== Questions de recherche ===
{| class="wikitable"
|+
!'''Question de recherche'''
!'''Justification'''
!'''Dimension principale ''' 

|-
|Comment les ''educational games'' peuvent-ils fournir des informations sur les apprentissages ? 
|Les jeux vidéo permettent d’enregistrer l’activité des utilisateurs. Ces "traces" peuvent en quelque sorte être considérées comme des « rendus » des apprenants. Il s’agit de questionner comment leur analyse peut informer l’enseignant sur les connaissances et capacités développées par ses apprenants. 
|        '''<big>Numérique</big>'''
|-
|Quel lien peut-on établir entre la progression dans un ''educational game'' et le développement de connaissances et compétences ? 
|En progressant dans le jeu, le joueur-apprenant progresse a priori dans ses apprentissages. Il s’agit de questionner la relation de cause à effet, c’est-à-dire si l’une est la preuve de l’autre.
|       '''<big>Pédagogie</big>'''

|-
|Dans quelle mesure les ''educational games'' peuvent représenter un outil de communication interposée entre l’enseignant et ses apprenants ?
|Les mécaniques de jeu consistent en des interactions entre le joueur et le jeu, ce qui revient indirectement à une communication entre l’apprenant et l’enseignant qui choisit d’utiliser ce jeu. Il s’agit de questionner comment cette forme de communication favorise une évaluation « invisible » qui pourrait désamorcer des enjeux liés à l’estime de soi tels que la capacité à faire face aux difficultés, le sentiment d'efficacité, le maintien de la motivation et de la volonté d'apprendre, etc.. 
|        '''<big>Psychologie</big>'''
|}

== Réponses aux questions de recherche ==
=== Les « traces » de l’activité, un réservoir d’informations pour évaluer ? ===
La place de l’évaluation dans les ''serious'' ''games'' est une problématique peu abordée du fait d’une idée reçue lui attribuant avant tout un but d’enseignement-apprentissage (Sanchez, Romero & Viéville, 2020). Les études menées sur le sujet ont tendance à porter sur l'évaluation du jeu plutôt que dans le jeu, même si dans les deux cas les apprentissages permis par le jeu sont concernés.

Dans leur ouvrage dédié aux fondements, concepts et pratiques du ''serious'' ''game'', Dörner et al. (2016) – chercheurs et praticiens en science informatique, éducation, sociologie, économie, psychologie et game design – rattachent l’évaluation à la mesure de la performance d’un joueur, incluant à la fois les processus et les résultats de ses actions et interactions avec le jeu. Cette mesure peut consister à collecter des données comportementales et physiologiques sur le niveau atteint dans le jeu ou sur l’expérience de jeu. À noter que, si les résultats sont facilement mesurables, les processus qui les sous-tendent ne le sont pas et que leurs origines sont multiples. Une réponse correcte ou incorrecte peut en effet être tributaire du niveau de connaissances du joueur comme de son niveau de motivation ou d’attention, voir encore d’un problème venant du jeu lui-même qui n’a pas permis l’activation des connaissances du joueur. Plus largement, les caractéristiques de l’environnement dans lequel le joueur-apprenant réalise la tâche qui lui est attribuée doit être pris en compte.
[[Fichier:Learning analytics.jpg|alt=Learning analytics|vignette|Fig.1 : Objectifs des ''learning analytics'' (source : Dörner et al., 2016, p.285)]]
Dörner et al. (2016) distinguent ce qui relève de l’''online assessment'' – dans le jeu – et de l’''offline assessment'' – en dehors du jeu. Les « traces » correspondent aux données issues de l’''online assessment'' et leur analyse et interprétation ont fait émerger des disciplines telles que les ''learning analytics'' (LA) et l’''educational data mining'' (EDM), relevant de multiples champs de recherches et consistant à explorer des données probantes issues de contextes éducationnels. Sans entrer dans les détails, il convient de préciser d’une part que la quantité de données collectées dans le cadre de ces recherches est souvent colossale et nécessite des outils de modélisation afin de les rendre lisibles et de pouvoir en faire des inférences sur les apprentissages. D’autre part, les LA en particulier visent à avoir des retombées pratiques en débouchant sur des conclusions contribuant à soutenir l’enseignant dans son travail, mais la nature ouverte des jeux vidéo rend la collecte de données pertinentes difficile : « en d’autres termes, comment montrer que les élèves apprennent ce qu’ils devraient apprendre et comment savoir si ce que vous mesurez est bien ce que vous pensez mesurer ? » (Belloti et al. 2013, p.3, traduction libre).

L’analyse des traces laissées dans le jeu (''online assessment'') doit donc porter sur l’interaction joueur/tâche/environnement et l’application des LA couvre plusieurs types d’objectifs rattachés à l’évaluation des apprenants – diagnostic, prédiction, mentorat, différenciation, etc. (Chatti et al., 2012, cités par Dörner et al., 2016). Cependant, pour évaluer plus précisément l’impact d’un ''educational game'' sur l’apprentissage, une combinaison pré-post test ou un questionnaire (''offline assessment'') doivent être soumis au joueur-apprenant. Bien que toujours inexacte (Belloti et al. 2013), l’enseignant peut ainsi avoir une vision plus conforme de ce qu’ils ont appris, mais aussi de la manière dont ils l’ont appris (Dörner et al., 2016).

Pour être pertinent, ce travail nécessite donc un dispositif de recherche relativement complexe, difficile à mettre en place par l’enseignant seul. Nous pouvons ainsi affirmer que les « traces » sont bien un réservoir d’informations pour l’évaluation des apprenants par l’enseignant, mais leur analyse n’est pas triviale et devrait être pensée dans le cadre de recherches incluant l’enseignant en tant que partenaire dès la phase de conception d’un ''educational game'', pour que ce dernier puisse définir des règles et modalités d’évaluation dans le déroulement du jeu.

=== La progression dans le jeu, à l’image de la progression des apprentissages ? ===
Cette section se focalise sur la progression des apprentissages au fil de l’utilisation répétée d’un jeu, une forme d’évaluation formative de la performance complémentaire à l'évaluation à partir des traces, qui est elle une analyse des résultats d’apprentissage à un instant précis (Belloti et al., 2013). Le passage de niveaux de difficulté croissante, l’accumulation de points et d’expérience ou le fait de rejouer plusieurs fois pour améliorer un score sont, entre autres, des indications sur la progression de la performance du joueur (Arnab et al., 2015 ; Belotti et al. 2013).

Dans ce cadre, l’évaluation repose sur l’observation par l’enseignant de l’apprenant en train de jouer, pour ensuite :
* entreprendre des actions pédagogiques (choix de ressources complémentaires, apport d’un soutien supplémentaire, etc.) ;
* adapter le niveau de difficulté du jeu aux besoins des apprenants (''adaptability'') (Dörner et al. (2016) ;
* débriefer avec l’apprenant.
À noter que certains jeu, à partir de la collecte de traces, ont la capacité à s’adapter directement au profil du joueur (''adaptivity''), par exemple en donnant ou retirant des indices ou en changeant de scénario. Les paramètres de personnalisation constituent un enjeu central pour optimiser le potentiel impact de l’''educational game'' sur l’apprentissage. S’il est trop facile, le jeu suscite l’ennui et, s’il est trop difficile, il génère de la frustration.

D’autres méthodes d’évaluation de la progression reposent sur l’utilisation de technologies et fonctionnalités comme les captures d’écran, les enregistrements audios et vidéos et le traçage d’actions significatives du joueur afin d’aider à analyser le « quoi, comment, quand, qui et où dans le jeu quelque chose s’est produit » (Belloti et al., 2013, p.4, traduction libre). Toutefois, comme déjà évoqué, les processus cognitifs à l’origine des mouvements et actions du joueur-apprenant sont multiples et parfois non visibles, alors que, comme le soulignent Dörner et al. (2016) : « pour que l'adaptabilité soit efficace, cela requiert une évaluation valide et ciblée au cours du jeu des aspects tels que l'état émotionnel et cognitif du joueur ou les difficultés qu’il rencontre » (p. 10, traduction libre). La démarche expérimentale mise en place dans le cadre du travail de thèse de Bugmann (2016), qui a porté sur l'observation de la relation entre les apprentissages issus de la pratique d'un jeu vidéo par des enfants et le socle commun de connaissances et compétences du programme officiel français, a en outre montré que l’effet est variable selon le profils des joueurs. L’évaluation proposée a par exemple mis en évidence que ceux défavorisés et jouant habituellement peu aux jeux vidéo sont aussi ceux qui ont le plus progressé .

Par conséquent, la progression de l’apprenant dans le jeu ne peut être considérée comme une image fidèle de la progression de ses apprentissages ; elle en constitue seulement un indice et nécessite un suivi de la part de l’enseignant à partir de l’observation de l’évolution de ses apprenants dans le jeu et de l’analyse des modélisations de leur comportement.

=== Les mécaniques de jeu, un moyen de communication ? ===
Certaines mécaniques de jeux – c’est-à-dire des formes d’interactions entre le joueur et le jeu – telles que les récompenses ou pénalités (badges, points, etc.) lorsque le joueur atteint un objectif et les rétroactions qualitatives (audios ou textuelles) peuvent être considérées comme des moyens de communication permettant au joueur de situer sa performance, d’être guidé vers l’atteinte d’objectifs et de stimuler sa compétitivité (Dicheva et al., 2015). Comme souligné dans l’analyse de deux travaux de recherche par Sanchez et al. (2011) visant à mettre en évidence des acceptions différentes de l'expression « jeu sérieux », l’apprenant réalise en jouant des tâches dans une situation fictive mais « authentique », c’est-à-dire proche de la réalité. Dès lors, bien que les apprenants n’ignorent pas les intentions didactiques derrière la rhétorique du jeu (Berry, 2011), cet environnement permet de « cacher » l’enseignant derrière des personnages avec lesquels le joueur interagit (Sanchez et al., 2011). Autrement dit, en tant qu’élément du jeu, ces mécaniques d’interaction médiatisée permettent d’incorporer l’évaluation de manière moins intrusive (Bellotti et al., 2013), limitant les enjeux émotionnels d’une « confrontation » directe avec l’enseignant. Ce procédé d’ « évaluation furtive » (Shute et al. 2009, cité par Bellotti et al. 2013) donne aussi une certaine liberté dans la manière de transmettre des messages, en recourant par exemple à la métaphore, comme dans le jeu [https://tecfa.unige.ch/jeux/la-galax-cis/ la Galax’CiS] (MALTT - TECFA, 2021) destiné aux étudiants dans le domaine de la santé et mobilisant leurs compétences interprofessionnelles. Si leur comportement en tant que joueur révèle une attitude plutôt individualiste, cela leur est stipulé de manière humoristique et personnifiée à la fin de l’histoire du jeu. Tout l’enjeu ici est d’être capable de prévoir des feedbacks pertinents pour intégrer l’évaluation formative des apprenants de manière appropriée dans leur expérience de jeu (Shute et al., 2009, cités par Belloti et al. 2013). 
[[Fichier:Feedback Galax'CiS.jpg|alt=Capture d'écran du jeu la Galax'CiS|vignette|Illustration du procédé d'« évaluation furtive » dans le jeu la Galax'CiS (MALTT - TECFA, 2021)]]
Pour les mécaniques de récompense et de pénalité, il faut toutefois tenir compte des limites de leur « valeur globale qui ne donne pas d’indications détaillées sur les actions correctes ou erronées du joueur » (Sanchez et al., 2011). De plus, la mise en compétition des joueurs générée par ces mécaniques – intensifiée lorsque leurs performances sont rendus visibles par un classement – bien qu'elle puisse être une source de motivation pour certains, comporte aussi le risque de susciter des émotions négatives impactant l’estime de soi. Pour ce qui est des feedbacks qualitatifs, il convient de préciser que leur place est tributaire de l’approche pédagogique dans laquelle s’inscrit la conception du jeu. Elle est par exemple limitée dans les approches behavioriste et cognitiviste alors qu’il s’agit d’un aspect central dans les approches socio-culturelles (Egenfeldt-Nielsen, 2006).

Pour pouvoir considérer l’''educational game'' comme un outil de communication interposée entre l’enseignant et ses apprenants, il est indispensable que l'enseignant soit mis à contribution dans la conception du jeu afin qu’il indique quelle rétroaction prévoir à quel moment et sous quelle forme, en faisant un compromis entre réalisme, apprentissage et jeu (Sanchez et al., 2011). Bien que certains jeux offrent la possibilité aux enseignants de donner directement un feedback à leurs apprenants – par exemple dans des jeux de réalité virtuelle (voir à ce propos le projet [http://next-tell.eu/resources/tools/nextreality/ nextREALITY]) – il semble en l’état qu’un débriefing sur l’expérience d’apprentissage ne passant pas exclusivement par un support technologique permette un échange plus spécifique et plus fourni.

== Discussion ==
Bien que d'abord un outil d’apprentissage, nous avons vu que l’''educational game'' peut aussi être utilisé comme un outil d’évaluation même si peu de recherches expérimentales semblent disponibles à ce jour pour en attester l'efficacité. En analysant les choix et actions du joueur-apprenant et en observant sa progression, l'enseignant peut mesurer sa performance, représentant à différents égards un indicateur de son apprentissage. Il peut en outre, de manière tant quantitative que qualitative, lui donner une forme de feedback sur cette performance ainsi que sur son amélioration possible.

Nous avons toutefois mis en évidence que la pertinence de cette entreprise dépend de deux conditions sous-jacentes : premièrement, une collaboration entre l’enseignant et le concepteur est nécessaire dans le développement du jeu, ainsi qu’avec le chercheur selon le contexte dans lequel l’outil est conçu (ex. : cadre d’une recherche orientée par la conception). Il revient en effet aux enseignants de définir les objectifs pédagogiques selon un référentiel du domaine, simuler le domaine, définir les modalités de progression dans le jeu (conjointement avec les concepteurs) et intégrer le jeu dans un dispositif d’apprentissage (Sanchez et al. 2011). Bien que difficile et chronophage, l’intégration de modalités d'évaluation appropriées dans le jeu devrait caractériser tout ''educational game'' bien conçu, dans lesquels les mécanismes devraient être cohérents par rapports aux objectifs pédagogiques fixés (Bellotti et al., 2013).

Deuxièmement, l’''online assessment'' doit être complété par un ''offline assessment''. Pour pouvoir attester qu’un ''educational game'' est utile à l’apprentissage, c’est-à-dire qu’il permet d’atteindre les objectifs d’apprentissage qui lui ont été attribués, il faut en effet pouvoir évaluer ses utilisateurs de manière représentative. Étant donné la complexité de ce processus, l’évaluation intégrée au jeu telle qu’elle se fait à ce jour semble rester insuffisante pour prétendre définir et mesurer conformément l’apprentissage. Néanmoins, il s’agit d’un champ de recherche prometteur qui pourrait « révéler » le potentiel de l’''educational game'' et conduire à revisiter ses méthodes de conception, afin qu’il devienne une alternative concrète et complémentaire aux outils et modalités d’évaluation existants.

==  Références == 
Arnab, S., Lim, T., Carvalho, M. B., Bellotti, F., de Freitas, S., Louchart, S., Suttie, N., Berta, R., & De Gloria, A. (2015). Mapping learning and game mechanics for serious games analysis. ''British Journal of Educational Technology'', 46(2), 391 411. https://doi.org/10.1111/bjet.12113

Bellotti, F., Kapralos, B., Lee, K., Moreno-Ger, P., & Berta, R. (2013). Assessment in and of Serious Games : An Overview. ''Advances in Human-Computer Interaction'', 2013, 1 11. https://doi.org/10.1155/2013/136864

Berry, V. (2011). Jouer pour apprendre : Est-ce bien sérieux ? Réflexions théoriques sur les relations entre jeu (vidéo) et apprentissage. ''La Revue canadienne de l’apprentissage et de la technologie'', 37(2).

Bugmann, J. (2016). ''Apprendre en jouant : Du jeu sérieux au socle commun de connaissances et de compétences''. Université de Cergy-Pontoise.

Dicheva, D., Dichev, C., Agre, G., & Angelova, G. (2015). Gamification in Education : A Systematic Mapping Study. ''Educational Technology & Society'', 18(3), 75 88.

Dörner, R., Göbel, S., Effelsberg, W., & Wiemeyer, J. (Éds.). (2016). ''Serious games''. Springer International Publishing. https://doi.org/10.1007/978-3-319-40612-1

Egenfeldt-Nielsen, S. (2006). Overview of research on the educational use of video games. ''Nordic Journal of Digital Literacy'', 1(03), 184 214. https://doi.org/10.18261/ISSN1891-943X-2006-03-03

Sanchez, É., Ney, M., & Labat, J.-M. (2011). Jeux sérieux et pédagogie universitaire : De la conception à l’évaluation des apprentissages. ''Revue internationale des technologies en pédagogie universitaire'', 8(1 2), 48. https://doi.org/10.7202/1005783ar

Sanchez, É., Romero, M., & Viéville, T. (2020). ''Apprendre en jouant''. RETZ.

== Notes ==
<sup><small>1</small></sup> Nous choisissons volontairement ce terme car nous faisons référence à tout public en situation d’apprentissage dans une structure dédiée, de l’élève à l’étudiant en passant par le jeune en formation professionnelle jusqu’à l’employé suivant une formation continue.