BASES:Cours BASES 2021-22/Quels sont les contenus pouvant être proposés par des serious game pour évaluer les capacités des élèves à réinvestir leurs connaissances?

Auteur: Lorain Freléchoux

Mon groupe de travail

Le groupe Peyton est constitué de Kelly Weibel, Florent Dupertuis et Lorain Freléchoux. Dans le cadre de ce travail ,nous avons choisi de nous intéresser au Serious Game éducatif et à son potentiel évaluatif.

La question de recherche principale que nous avons formulé est la suivante: Quel rôle le serious game éducatif peut-il prendre dans le processus évaluatif?.

Nous avons ensuite défini trois axes d'approfondissement

1. Pourquoi évaluer avec un Serious Game?
2. Comment évaluer avec un Serious Game?
3. Que peut-on évaluer avec un Serious Game?

Problématique et questions de recherches

Problématique

L'utilisation de jeux sérieux dans l'éducation fait encore largement débat dans le monde éducatif et se heurte à différentes problématiques. D'une part, la composante humaine reste essentielle dans l'action de formation de l'individu et la capacité d'une machine à s'y substituer reste encore largement discutée notamment dans les problématiques de rapports humains. En effet, les apprentissages visés par les jeux vidéos éducatifs évoluent progressivement vers des contenus davantage orientés sur des compétences (soft skills) que des connaissances (hard skills). Ces compétences transversales apparaissent comme des priorités dans de nombreux documents produits par les institutions européennes et américaines (Marocco et al., 2015). Dans le domaine de l'éducation, l'évaluation occupe une place centrale bien que sa perception cristallise d'importantes tensions. En effet, Perrenoud (2010) constate que l'être humain a une tendance naturelle à évaluer ses pairs dans un cadre scolaire évidemment mais plus généralement dans son quotidien. Il fait d'ailleurs une distinction entre évaluation formelle et informelle. L'évaluation informelle se caractérise par le fait d'émettre un jugement ou une appréciation de la valeur ou de la performance d'un pair, celle-ci se fait, comme son nom l'indique de manière non formalisée. Le milieu de l'éducation, entre autres, repose généralement davantage sur des évaluations formalisées et critériées dans le but de garantir une certaine objectivité de l'évaluation ainsi qu'une certaine transparence pour l'apprenant, notamment lorsque celui-ci s'y prépare explicitement. Dans le domaine éducatif contemporain, l'évaluation représente une métrique essentielle, indicateur explicite des performances de l'élève matérialisant sa progression, pour lui-même ou son entourage. Notre question de recherche interroge ainsi la double relation entre le jeux vidéo pédagogique (serious game) et l'évaluation de l'élève. En effet, pour que la validité pédagogique du jeu puisse être reconnue, il est généralement considéré comme nécessaire que celui-ci non seulement repose sur des objectifs pédagogiques et permettent à l'élève de les atteindre, à priori en performant dans le jeu, mais également en démontrant sa capacité à les transférer dans son quotidien. Le jeu vidéo se heurte ainsi souvent à des obstacles, sa légitimité remise en cause par sa nature ludique, caractéristique considérée moins essentielles dans l'apprentissage, bien que reconnue comme composante de la motivation. Notre problématique cherche ainsi à comprendre davantage l'éventuelle pertinence et les pistes de réconciliation du jeu vidéo pédagogique et de l'évaluation .

Questions de recherche

Questions de recherche	Description du contenu recherché	Dimensions relatives aux technologies éducatives
Comment les hard/soft skills et les interactions sociales sont-elles mobilisées et travaillées dans un serious game ?	Ces composantes, bien que non propres aux jeux vidéos, prennent une dimension totalement différente dans un environnement digitalisé notamment car les formes de travail et les tâches proposées sont différentes de situations d'apprentissage traditionnelles.	Psychologie
La composante évaluative des jeux sérieux permet-elle une véritable acquisition de compétences ; celles-ci sont-elles transférables dans le monde réel?	S'il est facile pour une machine d'évaluer de manière comptable la performance d'un apprenant sur un savoir, il semble encore difficile pour des dispositifs d'évaluation informatisée de mesurer des compétences complexes acquises par l'apprenant et surtout, de s'assurer qu'il sera à même de les réinvestir de son environnement virtuel jusque dans le monde réel.	Pédagogie
Quelles références de jeux numériques ou analogiques permettent à l'heure actuelle de traiter quels savoirs?	La pertinence pédagogique des serious game est encore très controversée, notamment par la superficialité des apprentissages induits, mais il semble réaliste d'affirmer que certaines mises en oeuvre s'avèrent plus convaincantes que d'autres.	Technologie

Réponses aux questions de recherche

Quelques définitions

Soft skills

Le terme soft skills est généralement défini comme des compétences inhérentes à l'individu (Marocco et al., 2015) lui permettant de mieux se connaître lui-même ou de gérer ses relations avec autrui. Le jeu de rôle est considéré comme la méthode la plus reconnue dans l'acquisition de ces compétences et s'articule généralement entre des apprenants et un professionnel faisant office de facilitateur (Marocco et al., 2015). Les soft-skills sont généralement difficiles à quantifier de manière objective (ex. la collaboration, la gestion des émotions,...).

Hard Skills

Les "hard skills" sont, par opposition aux soft skills des compétences ou connaissances mesurables grâce à un système de métrique objectives et critériées. Par exemple: savoir faire du vélo, savoir conjuguer le verbe avoir, connaître les éléments du tableau période des éléments de Mendeleïev.

Assistance à maîtrise d'ouvrage (AMO)(Alvarez, 2014)

L'étayage nécessaire à l'appropriation de l'outil Serious Game par des acteurs du domaine éducatif. Cet étayage vise à palier un certain nombre de difficultés au travers d'une démarche d'accompagnement (LeBoterf,1993 cité par Alvarez (2014)) avec pour objectif de nommer les actions entreprises et les difficultés rencontrées, fournir les ressources nécessaires ainsi que des apports de connaissances en temps réels ainsi que stimuler une prise de conscience des acquis. Moser (2007, cité par (Alvarez, 2014)) formule également des recommandations pour l'acceptation de ces ressources en milieu universitaire. Selon lui ces accompagnements et recommandations sont nécessaires pour atteindre les objectifs utilitaires de l'objet préalablement imaginé par ces concepteurs.

Serious Game

Le Serious Game contrairement au jeu vidéo détourné à visée pédagogique est prévu dès sa conception pour collecter de l'information sur le joueur permettant d'attester d'un apprentissage. L'apprentissage est donc intentionnellement visé au moment de la conception du jeu, là où il sera fortuit dans le cas de l'adaptation d'un jeu grâce suite à son enrichissement par du contenu pédagogique. On distingue également la notion de Serious gaming (Alvarez, 2014) qui définit quand à elle l'utilisation d'un jeu vidéo conventionnel dans une scénarisation pédagogique et dont le jeu constitue un artefact permettant à l'apprenant d'acquérir des notions ou des compétences sans être pour autant constituer le dispositif d'apprentissage.

ATLASER

L'ATLASER est un phénomène défini par Idriss Aberkane (2021) comme étant un laser d'attention. L'idée sous-jacente étant que les jeux collectifs puissent conduire à un large investissement en temps et en attention de joueurs dans une optique collaborative et ainsi de mobiliser des ressources importantes à l'élaboration de solutions créatives à des problèmes complexes de tous ordres. La gamification de la connaissance permettrait ainsi de produire du k-flow, littéralement knowledge-flow, notion généralement associée au plaisir de l'individu lorsqu'il joue. L'apprentissage produit serait donc issu d'une équation matérialisée par la quantité d'attention dédiée au jeu multiplié par le temps, impliquant que si le jeu permet d'acquérir des compétences ou des connaissances, l'apprentissage serait ainsi proportionnellement lié.

Comment les hard skills/soft skills et les interactions sociales sont-elles travaillées dans un serious game ?

Dans leur recherche, Marocco et al.(2015) présentent les premiers résultats de la recherche exploratoire en vue de réaliser la plateforme ENACT ayant pour but d'entraîner les compétences de négociations de l'apprenant grâce à des interactions avec des agents artificiels. Le modèle de négociation repose sur 5 façons de gérer les conflits interpersonnels proposés par Rahim (1979 cité par Marocco et al.(2015)). Articulées autour de deux points de vue, l'un répondant à ses propres besoins et le second à ceux des autres, ces 5 manières sont issues de la mise en tension de ces deux dimensions dans des proportions variables. Cette recherche a été conduite sur différents groupes issus de trois pays distincts (Espagne, Turquie et Italie) à l'aide d'un prototype de la plateforme et témoigne de l'intérêt de l'expérience positive vécue par les testeurs et leur intérêt à découvrir de nouveaux scénarios. Cette recherche s'intéresse donc essentiellement à proposer une mesure évaluation de Soft skills.

A travers leur publication A game-based Online Tool to mesure cognitive functions in Students, Berg et al. (2021) évoquent la demande d'outils permettant d'évaluer la charge cognitive des apprenants en limitant un certain nombre d'effets délétères aux pratiques d'évaluation traditionnelles. Les caractéristiques de ces pratiques peuvent être: longues et répétitives, nécessitant un recours à des professionnels formés ou encore comme ne reflétant pas la vie réelle des apprenants. Leur but était donc de proposer un outil palliant ces éléments tout en étant plus motivant pour les élèves et en restant valide d'un point de vue évaluatif. Dans cette recherche ils ont donc testé 3 jeux éducatifs avec des élèves de première et deuxième année primaire. Le premier jeu mesurait la mémoire de travail où l'apprenant devait mémoriser un chemin pour faire traverser une rivière à son personnage. Le deuxième consistait en un exercice de tri selon des critères variables (forme, couleur,...) dont le but était de mesurer la flexibilité cognitive de l'apprenant. Le troisième jeu porte sur l'inhibition et travaille donc les habiletés motrices de l'élève: il est néanmoins relevé que ce jeu, par ailleurs le plus apprécié par les enfants, s'est avéré être trop facile et la difficulté a nécessité d'être adaptée. Dans leurs conclusions les auteurs mentionnent le fait que le plaisir ressenti par les apprenants est souvent corrélé à leur performance dans le jeu. La synthèse de cette étude relève également la difficulté de proposer des contenus suffisamment accessibles en terme de compréhension pour les enfants notamment en évitant de les décourager si l'activité leur semble trop compliquée tout en étant suffisamment engageante pour leur permettre une progression. Cette recherche est donc focalisé sur l'aspect hard skills basé sur des métriques permettant de quantifier les compétences intrapersonnelles de l'apprenant.

La composante évaluative des jeux sérieux permet-elle une véritable acquisition de hard-skills ou de soft-skills. Celles-ci sont-elles transférables dans le monde réel ?

Un des freins majeurs à l'adoption de Serious Games à large échelle persiste dans le fait de pouvoir prouver de manière tangible leur intérêt pédagogique, autrement dit par l'expérimentation scientifique. Si les travaux de Heili et Michel (cités par Alvarez, 2014) confirment un renforcement de connaissances déjà établies dans le domaine des Serious Games, ils soulignent également la subjectivité liée au traitement des données relatives à des questions ouvertes. Afin de limiter cette subjectivité Alvarez (2014) propose de s'intéresser non plus à des évaluations mais à des mesures. Il cite notamment le projet MoJOS (Moteur de Jeux orientés Santés) qui recensent des jeux de rééducation pour les personnes victimes d'AVC dont les résultats n'étaient pas encore publiés. Malgré cela, les chercheurs impliqués dans le projet relèvent des difficultés de transferts des apprentissages dans la mesure où les actions effectuées dans le jeu par l'utilisateur ne sont pas intégrées d'un point de vue théorique et de ce fait transposables dans leur application dans la vie réelle.

Alvarez (2014) relève également l'utilisation de métriques comme élément pertinent de recherche. Une métrique est définie comme "un ensemble de variables que les concepteurs choisissent de tracer". De natures diversifiées et intrinsèquement liée aux choix du concepteur, elles constituent des traces (Rabardel,1995 cité par Alvarez (2014)) permettant de réaliser une analyse de l'activité (Rabardel, 1995 cité par Alvarez, (2014)) basée sur le concept de schèmes de Jean Piaget (1936). L'acquisition de ces schèmes devient ensuite observable lorsque l'apprenant reproduit le même procédé lorsqu'une variabilité d'artefacts lui est proposé mais que ses capacités à les utiliser subsistes malgré leurs différences.

Dans l'étude de Heili & Michel (2012) un jeu sérieux qualifié de Academic serious game a été utilisé dans un dispositif de formation d'étudiants dans le milieu de la vente afin de voir si l'utilisation de celui-ci pouvait avoir un effet significatif sur leur compétences théoriques et pratiques du domaine. Les étudiants en question ne possédant pas tous d'expérience de la vente, les résultats de l'étude se voit polarisé précisément par cette différence. Le serious game ne démontrant pas de réel efficacité sur les sujets préalablement non familiers du domaine mais boostant significativement les performances des apprenants possédant déjà une expérience du domaine et en capacité de s'approprier les enjeux.

Quelles références de jeux numériques ou analogiques permettent à l'heure actuelle de traiter quels savoirs?

Les lignes qui suivent ont pour vocation de présenter un échantillon de matériel recensé dans la littérature, qui n'a pas pour ambition d'être exhaustif et toute proposition d'enrichissement est évidemment bienvenue.

De nombreux jeux permettent aujourd'hui de travailler différents savoirs, notamment certains grands titres dont l'association au terme d'outils pédagogiques engendrent de nombreuses polémiques et participent à leur relative mauvaise considération. En effet, une des problématiques soulevées est la violence souvent associée à ces jeux dans leur scénarios initiaux et ainsi leur inadéquation pour le domaine éducatif. Certains éditeurs ont, depuis quelques temps déjà proposé des versions alternatives ou des outils permettant de développer par le biais de level design (Alvarez, 2014) des variations de ces jeux. Alvarez (2014) cite ainsi une étude conduite avec l'association Non-Violence XXI durant laquelle les étudiants d'une école de game design ont été amené à travailler sur trois jeux proposant cette fonctionnalité : Civilisation V (jeu de stratégie dans lequel le joueur doit faire prospérer des groupes ethniques) , Starcraft II (jeu de stratégie en temps réel) et Skyrim (jeu de rôle et d'action, dans lequel le joueur doit accomplir des quêtes).

Dans le domaine du Serious gaming défini plus haut, Yvan Hochet, cité par Alvarez (2014) mentionne l'utilisation de Sim City dans le cadre de cours de géographie.

Baek et al. (2016) ont également proposé 3 jeux dans le domaine des sciences pour une population scolaire de niveau secondaire. Les titres des trois jeux sont "Force and Motion" fractionné en 3 mini-jeux traitant les domaines de la friction et des forces électromagnétiques, "State change of water" qui simule l'organisation des particules dans les différentes états de l'eau et "Earth and Moon" , jeu de simulation sur la thématique du système solaire. Ces jeux ont également été soumis à des enseignants afin d'évaluer leur pertinence mais ceux-ci ne les ont jugés que relativement marginale et relevant de manière significative le manque d'attractivité du design inhérent au fait que ces jeux ne soient que des prototypes.

Plus spécifiquement orientée, l'étude exploratoire de Serret et al. (2017) s'est orientée vers l'acquisition de compétence langagière du français avec des enfants présentant des troubles du spectre autistique. L'outil mis en oeuvre s'appelle SEMA-TIC et propose 10 mini jeux sur des thématiques variées soutenus par une approche visuelle et logique, allant de la discrimination de lettres ou mots à des exercices de production écrites en passant par la stabilisation du lexique. Leur conclusion suggère que cette approche, différente de celles généralement utilisée dans les contextes scolaire habituels est prometteuse, une progression chez certains apprenant ayant participé à l'étude, bien que des biais soient relevés, notamment que le groupe contrôle n'ayant pas utilisé l'outil n'a pas également d'interventions alternative.

Dans le projet Jeu Serai, Guardiola et al. (2012) proposait au joueur un "jeu utile" avec l'ambition d'aider le joueur à se projeter dans un futur professionnel, non pas en répondant à des questionnaires sur ses préférences mais en observant ses choix et interactions dans le jeu ceux-ci étant considéré comme moins biaisés par les représentations du joueur. Il semblerait que le jeu soit resté à l'état de projet et n'ai pas été développé.

Dans l'édition de septembre 2021 de l'International Journal of Serious Game, Katsantonis et Mavridis (2021) présentent l'évaluation de l'expérience utilisateur d'un jeu thématisant l'éducation à la cybersécurité en proposant un modèle sur quelques critères de qualité, lesquels sont : les composantes d'apprentissages, l'expérience et la satisfaction utilisateur, l'engagement et la motivation, la compréhensibilité et l'utilisabilité. Si cette étude ne présente qu'un intérêt de niche en matières de sujet, la méthodologie mérite de s'y intéresser.

Discussion

Si l'intérêt motivationnel des jeux et dans le cas qui nous concerne des jeux vidéos pédagogiques n'est plus à démontrer, les points de tension résident encore largement dans le pont à faire entre les méthodes d'évaluation traditionnelles et celles à mettre en oeuvre dans les Serious Games. Le challenge réside donc dans la mise en oeuvre de technologies à même d'exploiter l'attrait de ces technologies, tout en démontrant la validité d'une évaluation au-travers de ces dispositifs. Cette mise en tension est particulièrement caractérisée par le coût induit par le développement de la technologie et une des constatations commune aux différentes publications dans ce domaine est que les prototypes utilisés lors des recherches n'étant pas totalement aboutis, que ce soit d'un point de vue fonctionnel ou simplement au niveau de leur design, ne permettent pas de démontrer une plus value significative du dispositif. Se pose alors la question de la légitimité des investissements dans ce domaine, considérant que ni leur utilité ni leur efficacité n'est indiscutablement démontré, ce qui paradoxalement entretient la logique selon laquelle ces dispositifs n'atteignent pas les objectifs visés faute de moyens.

On relèvera également la diversité des points de vue dans l'évaluation des différents dispositifs, selon que les jeux étudiés proposent un apprentissage de connaissance ou de compétences. Là où une quantifications de la connaissance acquise est plutôt aisée, tant dans un jeu que dans une évaluation standardisée, l'évaluation nécessitant la démonstration d'une compétence est beaucoup plus complexe. Si l'on peut considérer que le jeu vidéo permet de scénariser la mise en oeuvre de ces compétences, la question de la transferabilité dans le monde réel reste entière et si il est souvent admis un lien de causalité entre actes violents dans la vie réelle et pratique de jeux vidéos violents, les apprentissages induits par des jeux aux objectifs plus vertueux sont généralement moins communément admis. Pour faire un dernier parallèle avec Alvarez (2014), on constate que l'industrie du jeu vidéo, à plus forte raison du jeu de guerre mais assez généralement des jeux vidéos est essentiellement portée par des jeux impliquant une importante concurrence, parfois en jouant seul, parfois en jouant en groupe mais fondamentalement dans l'idée d'être plus performant que les autres joueurs. Ces jeux représentent l'essentiel du marché et dispose de financement considérable en comparaison à des jeux aux objectifs potentiellement plus louables, en terme d'apprentissage, condamnés à des budgets anecdotiques dans le cadre de travaux de recherches. Il ne me semblerait en effet pas totalement dénué de sens de mettre en relation les sommes investies dans des jeux monopolisant l'attention des joueurs sur des comportements à défaut d'être criminels, souvent immoraux avec celles visant à pousser l'apprenant à interagir positivement avec son environnement.

Références

Aberkane, I. J. (2016). Mind Ergonomy for the Knowledge Economy : Software Neuroergonomics and Biomimetics for the Knowledge Economy. Why ? How ? What?.

Alvarez, J. (2014). Serious Game : Questions et réflexions autour de son appropriation dans un contexte d’enseignement. psychologie clinique, 37, 112‑126. https://doi.org/10.1051/psyc/201437112

Baek, S., Park, J.-Y., & Han, J. (2016). Simulation-based Serious Games for Science Education and teacher assessment. International Journal of Serious Games, 3(3). https://doi.org/10.17083/ijsg.v3i3.123

Berg, V. (2021). A Game-Based Online Tool to Measure Cognitive Functions in Students. International Journal of Serious Games, 8(1), 71‑87. https://doi.org/10.17083/ijsg.v8i1.410

Guardiola, E., Natkin, S., Soriano, D., Loarer, E., Vrignaud, P., Boy, T., & Dosnon, O. (2012). Du jeu utile au jeu sérieux ( serious game ) : Le projet Jeu Serai. Hermès, n° 62(1), 85. https://doi.org/10.4267/2042/48283

Heili, J. & Michel, H. (sous presse). Do Students Trained Using Serious Games Become Better Sales Representatives ? An Experiment to Study the Performance of Academic Serious Games. Valenciennes : actes e-virtuoses 2013.

Katsantonis, M., & Mavridis, I. (2021). Evaluation of HackLearn COFELET Game User Experience for Cybersecurity Education. International Journal of Serious Games, 8(3), 3‑24. https://doi.org/10.17083/ijsg.v8i3.437

Marocco, D., Pacella, D., Dell’Aquila, E., & Di Ferdinando, A. (2015). Grounding Serious Game Design on Scientific Findings : The Case of ENACT on Soft Skills Training and Assessment. In G. Conole, T. Klobučar, C. Rensing, J. Konert, & E. Lavoué (Éds.), Design for Teaching and Learning in a Networked World (Vol. 9307, p. 441‑446). Springer International Publishing. https://doi.org/10.1007/978-3-319-24258-3_37

Piaget, J. (1936). La naissance de l’intelligence chez l’Enfant. Paris : Delachaux et Niestlé.

Perrenoud, P. (2010). L’évaluation formelle de l’excellence scolaire. Travaux de Sciences Sociales, 135‑165.

Rabardel, P. (1995). Les hommes et les technologies, une approche cognitives des instruments contemporains. Paris : Armand Colin.

Serret, S., Hun, S., Thümmler, S., Pierron, P., Santos, A., Bourgeois, J., & Askenazy, F. (2017). Teaching Literacy Skills to French Minimally Verbal School-Aged Children with Autism Spectrum Disorders with the Serious Game SEMA-TIC : An Exploratory Study. Frontiers in Psychology, 8, 1523. https://doi.org/10.3389/fpsyg.2017.01523