BASES DISCUSSION:Cours BASES 2021-22/Serious Games et évaluation

Introduction

Pour rappel, nous sommes le groupe PEYTON composé de Kelly Weibel, Florent Dupertuis et Lorain Freléchoux.

Dans cette fiche, nous nous sommes intéressés aux possibilités offertes par le serious game en matière d'évaluation. Nous avons cherché à identifier les différents éléments à prendre en compte afin d'élaborer un dispositif d'évaluation pertinent et les outils à disposition, notamment dans la récolte de données, les considérations pédagogiques à prendre en compte et les effets psychologiques que cette manière d'évaluer pouvait proposer.

Vos feedbacks sont les bienvenus pour nous permettre d'améliorer les contenus de cette fiche!

Evaluations individuelles

Evaluation par Tamara Crétard

Critères	Evaluation selon l'échelle de Likert à 4 points (supprimer les mentions inutiles)	Critiques constructives	Suggestions d'amélioration
La question générale (problématique) est clairement énoncée	Tout à fait d'accord	Point positif La question générale est compréhensible Point à améliorer Simple point esthétique: la question se fond dans toutes les informations qu'il y a dans le paragraphe correspondant, il est donc difficile de la retrouver directement.	Eventuellement mettre en gras la question générale ou créer un bloc pour la séparer du reste (ce que notre groupe a privilégié)
L’importance de cette question est clairement établie par rapport au thème de travail du groupe mais également au thème du cours BASES	D'accord	Point positif On comprend parfaitement le lien entre la question générale et votre thème de travail: tout est énoncé clairement et logiquement Point à améliorer Je trouve que vous n'avez pas clairement fait de lien avec le cours BASES	Essayer d'expliquer en une ou deux phrases le lien entre votre thème, votre problématique et le cours.
Les questions de recherche sont clairement énoncées	Tout à fait d'accord	Point positif Vos questions de recherche sont présentées sous la forme d'un tableau ce qui aide grandement à comprendre leur utilité et à faire un lien facilement avec votre thème	Rien à dire!
La relation entre ces questions et la problématique (question générale) est claire	Tout à fait d'accord	Point positif Comme dit précédemment, le tableau facilite la compréhension. Ainsi, on voit bien le lien entre vos questions de recherche et votre problématique. Vos justifications sont pertinentes et aident à comprendre ce que vous comptez faire	Rien à dire!
La relation entre ces questions et les trois dimensions relatives aux technologies éducatives (apprentissage, enseignement et pédagogie, technologies) est bien décrite	Tout à fait d'accord	Point positif En regardant votre tableau, on comprend tout de suite quelle question de recherche correspond à quelle dimension. Vos justifications mettent bien en avant la relation entre vos questions et les dimensions	Rien à dire!
Le contenu des réponses aux questions de recherche est pertinent et bien argumenté	Tout à fait d'accord	Point positif Le sujet des serious game n'est pas facile quand on sait qu'il fait l'objet de nombreux questionnements et qu'il y a encore peu de recherches. Cependant, vous avez réussi à répondre à vos questions de recherche de manière très pertinente, en argumentant chacune de vos réponses. En effet, lorsque vous avez énoncé quelque chose, vous l'avez directement expliqué à l'aide de références	Rien à dire!
Les réponses sont bien documentées et chaque référence apporte un éclairage particulier	Tout à fait d'accord	Point positif Chacun de vos argument est justifié et expliqué par une référence à mon sens pertinente. A aucun moment vous n'avez annoncé quelque chose sans que cela e puisse être vérifié par une de vos références. De même, lorsque vous avez émis une idée, les références utilisées ont permis de mieux la comprendre ou de l'accentuer	Rien à dire!
Les réponses sont rédigées de façon cohérente et s’enchaînent de façon fluide	Tout à fait d'accord	Point positif Tout d'abord, vous avez bien séparé vos réponses en sous-parties, ce qui permet de comprendre votre logique. Au sein de vos réponses, vous avez utilisé de nombreux connecteurs logiques et chaque idée a été argumentée. Personnellement j'ai compris où vous alliez et l'enchaînement d'idées m'est paru logique, formant ainsi un paragraphe fluide.	Rien à dire!
Les concepts abordés et les recherches mentionnées sont clairement décrits	Tout à fait d'accord	Point positif Tous les termes "compliqués" ont été selon moi clairement expliqués. Vous avez laissé la place à un paragraphe permettant d'expliquer ce qu'est un serious game et c'est pour moi très pertinent. En effet c'est un terme encore peu connu et je pense qu'il faut effectivement accorder une place importante à sa définition. Pour ce qui est d'autres termes ayant pu me poser problème, j'ai trouvé leur explication au sein même des paragraphe. Tous ces concepts sont accompagnés de références ce qui à la fois les rend crédibles et permet de mieux les comprendre.	Rien à dire!
La discussion fait bien ressortir les principales réponses apportées à la question générale	Tout à fait d'accord	Point positif La discussion s'apparente à un résumé de toutes vos réponses, ce qui me semble efficace. On comprend vraiment le lien entre toute votre argumentation, vos références et votre question générale.	Rien à dire!
La discussion présente des préconisations intéressantes à mettre en œuvre	Pas d'accord	Point positif On comprend que le sujet des Serious Games est encore compliqué à l'heure actuelle et qu'il y a des limites Point à améliorer Utilisation en classe?	Il aurait été pertinent d'au moins donner une piste d'utilisation en classe si un(e) enseignant(e) souhaite utiliser un serious game.
Le nombre de références est raisonnable (ni trop, ni trop peu)	D'accord	Point positif Vos références sont pertinentes et plutôt récentes, même si quelques une sont un peu anciennes Point à améliorer J'ai l'impression qu'il y a peut-être un peu de trop de références...	Même si cela peut faire beaucoup, toutes vos références sont pertinentes. Si vous deviez faire l'impasse sur certaines d'entre-elles, je vous conseillerais de vous dirigez vers les plus anciennes, car elles peuvent être plus facilement remises en question à cause de leur date.
Les références sont correctement présentées selon les normes APA autant dans le texte que dans la bibliographie	D'accord	Point positif Les références sont bien intégrées au texte et sont aux normes APA. Dans la bibliographie elles sont bien exposées par ordre alphabétique. Point à améliorer Dans le texte, vous utilisez parfois "&" entre deux auteurs, or, il faudrait utiliser "et". De plus, il aurait été bien de mentionner les numéros de page de vos références pour plus facilement s'y retrouver.	Il serait bien de remplacer les "&" dans le texte par "et". De plus, si cela est possible, ajoutez les numéros des pages de vos références entre parenthèses.
Le ton du document dénote une attitude scientifique rigoureuse	Tout à fait d'accord	Point positif Votre article est très bien écrit et s'apparente aux articles scientifiques déjà existants. En effet, vous utilisez de nombreux connecteurs logiques et justifiez vos arguments. La présence de nombreuses références scientifiques permet d'accentuer le côté sérieux de votre article. Point à améliorer Pour en revenir aux références, remplacer les "&" dans le texte permettrait de mettre encore plus en avant cette attitude scientifique rigoureuse.	Comme dit précédemment, simplement remplacer les "&" dans le texte par "et".
Le style est clair et agréable à lire ; il n’y a pas de fautes d’orthographe	Tout à fait d'accord	Point positif Votre article est très agréable à lire, il reste dans un style scientifique, mais cela n'altère pas la compréhension. Je ne crois pas avoir vu de fautes d'orthographes.	Rien à dire!
Autre (commentaire libre)	J'ai beaucoup aimé votre fiche. Certes, il y a des points qui peuvent être améliorés, mais votre elle est compréhensible et la lecture est fluide. De même, l'utilisation de diverses références permet d'ajouter quelque chose en plus à vos arguments. P.S. Vous avez laissé des mots en dessous de votre tableau dans la partie 2.2, je ne sais pas à quoi cela est censé correspondre.

Evaluation par Kenneth Rioja

Critères	Evaluation selon l'échelle de Likert à 4 points	Critiques constructives	Suggestions d'amélioration
La question générale (problématique) est clairement énoncée	Tout à fait d'accord	Point à améliorer Mettre en gras la question pour qu’elle soit plus visible en un coup d’œil ?	'''Quel rôle le serious game éducatif peut-il prendre dans le processus évaluatif ?'''
L’importance de cette question est clairement établie par rapport au thème de travail du groupe mais également au thème du cours BASES	Tout à fait d'accord	Point positif Votre problématique est très complète, bravo ! La question est bien amenée avec une suite d’études sur les différents thèmes de l’évaluation (thème du cours) jusqu’au serious game (thème travail de groupe), le lien entre les deux n’étant pas encore abordé dans la littérature selon ce que vous dîtes : c’est ce qui est montré avec votre problématique. Point à améliorer Peut-être introduire le serious game avant d’énoncer la problématique qu’après – et donc ne mettre la problématique qu’a la toute fin (j’ai personnellement cherché au début et à la fin pour voir votre problématique, mais elle se trouvait au milieu).	Déplacer la problématique en fin de paragraphe.
Les questions de recherche sont clairement énoncées	Tout à fait d'accord	Point positif Le tableau montre clairement les trois questions de recherche dans la première colonne.
La relation entre ces questions et la problématique (question générale) est claire	Tout à fait d'accord	Point positif Vous abordez bien la notion d’évaluation et de serious game dans chacune des sous-questions (les mécaniques/fonctionnalités en tant qu’évaluation, complémentarité pédagogique du serious game en terme d’évaluation, et lien entre effet de l’évaluation via la modalité du serious game).
La relation entre ces questions et les trois dimensions relatives aux technologies éducatives (apprentissage, enseignement et pédagogie, technologies) est bien décrite.	Tout à fait d'accord	Point positif La relation des différentes dimensions pour répondre à la problématique est bien trouvée ! C’est un bon point d’avoir commencé par le numérique (mécaniques du serious game) pour ensuite dériver sur ses apports pédagogiques et psychologique. Les justifications sont claires et on comprend le cheminement qui va être entrepris.
Le contenu des réponses aux questions de recherche est pertinent et bien argumenté	D’accord	Point positif Rien à dire sur l’argumentation des parties 3.2 et 3.3, elle est complète et répond bien à chaque sous-question ! Point à améliorer Concernant la partie 3.4, je trouve difficilement la réponse à la question qui a été spécifiquement posée (-> comment l’utilisation… peut contribuer à réduire). Pour la sous-partie 3.4.1, je trouve que vous vous focalisez plus sur le rôle de l’engagement/motivation dans l’apprentissage (qui se trouvent aussi en partie 3.3.1), du plaisir sur la performance etc. -> et relate plus des effets de l’utilisation des EG sur différents construits psychologiques. Et pour la partie 3.4.2, le contenu répond bien à la sous-partie 3.4.2, mais cette sous-partie ne répond pas au Comment, mais plus à Qu’est-ce qui, dans l’EG, favorise l’apprentissage.	Je propose de changer la question 3.4 en quelque chose comme : Quelles caractéristiques de l’EG peuvent contribuer à réduire … . Ainsi en 3.4.1, vous pouvez parler du fait de favoriser l’engagement/motivation pour réduire … et en 3.4.2, favoriser l’apprentissage pour réduire… et peut-être un 3.4.3. qui montre le lien entre engagement/motiv et apprentissage. En gros, voir comme un triangle « plus d’engagement/motivation -> moins pression », « plus d’apprentissage -> moins pression », « plus d’engagement -> plus d’apprentissage » (c’est-à-dire, voir l’engagement, la motivation et l’apprentissage comme médiateurs de l’effet de l’utilisation des EG sur la réduction de la pression).
Les réponses sont bien documentées et chaque référence apporte un éclairage particulier	Tout à fait d'accord	Point positif Rien à dire non plus sur la documentation, il y a des références d’auteur·trice·s ayant des arguments en faveur et en défaveur du thème de chacune des sous-parties.
Les réponses sont rédigées de façon cohérente et s’enchaînent de façon fluide	D'accord	Point positif La partie 3.2 s’articule bien sur les trois mécanismes/fonctionnalités pour répondre à la sous-question de recherche. On trouve directement la réponse par les sous-titres – ce qui est pratique pour les lecteur·trice·s. Point à améliorer La partie 3.3 est un peu plus difficile à cerner en termes de fluidité, ayant été habitué sur la partie précédente à avoir la réponse en sous-titre, il faut chercher dans le texte la réponse aux questions. De plus, la partie 3.3.2 parle de motivation, engagement, etc. et le coût serait le prix – je ne vois pas le lien entre les deux. Peut-être séparer cette partie 3.3.2 en deux ? La partie 3.4.1 semble être redondante avec la partie 3.3.2 (engagement et motivation, Papadakis & Kalogiannakis, 2017).	Un sous-titre clair pour chaque point permettant d’aiguiller la réponse détaillée sur « complémentarité pédagogique » (feedbacks) et « coût » (traitement des données) ex. pour le Titre : 3.3.1. Feedbacks personnalisés grâce à la collecte des données. Quid du traitement des données ?
Les concepts abordés et les recherches mentionnées sont clairement décrits	D’accord	Point positif Le serious game a été défini, mais je trouve difficilement une définition faite ‘d’une traite’. Point à améliorer La définition du EG est dressée comme étant « assez large et non consensuelle ». Si la définition que vous avez trouvée est ce que vous avez reporté en deuxième phrase, j’aurais préféré la voir en entier (sans guillemets, ni coupée par des références). Sinon, essayez d’en donner votre propre définition ? Mettez la définition soit au début, soit à la fin du paragraphe pour que les lecteur·trice·s puissent la trouver en un clin d’œil.	Essayez de donner votre définition du serious game suite à la lecture des différents articles que vous avez lu !
La discussion fait bien ressortir les principales réponses apportées à la question générale	D'accord	Point positif Vous avez utilisé d’autres mots pour reprendre les réponses données dans les sous-questions, mais j’ai eu du mal à retrouver les différentes réponses aux sous-questions dans la discussion. Point à améliorer Je trouve que la discussion a l’air de s’éparpiller et perd de vue le rôle du serious game dans le processus évaluatif.	Reprenez la problématique et accompagnez les lecteur·trice·s sur les réponses données dans les sous-questions en lien avec le rôle du serious game dans le processus évaluatif.
La discussion présente des préconisations intéressantes à mettre en œuvre	D'accord	Point positif Vous énoncez bien toutes les limites et difficultés quant à l’implémentation de serious games dans le monde éducatif Point à améliorer On a l’impression de sentir beaucoup de difficulté dans l’implémentation de EG (réflexion nécessaire, disparités dans la recherche, difficultés majeures dans le triptyque financement-développement-usage, travail titanesque, adoption d’EG marginale, il faut plus de temps et davantage d’études). Malgré ces difficultés, je ne trouve pas de préconisations. Mais je conçois qu’il est nécessaire d’avoir un travail d’équipe entre corps enseignant, chercheur·euse·s, et pouvoirs publics.	Suite à votre travail, à qui vous adresseriez-vous pour mieux implémenter les serious games pour l’apprentissage ? Et que leur diriez-vous ?
Le nombre de références est raisonnable (ni trop, ni trop peu)	Tout à fait d'accord	Point positif 39 références pour 3 personnes = 13/pers, en moyenne 4 études par sous-question – c’est OK !
Les références sont correctement présentées selon les normes APA autant dans le texte que dans la bibliographie	Pas du tout d'accord	Point à améliorer Dans le texte : Les ‘&’ sont a remplacer par ‘et’, ex. Vitaro et Gagnon (2000) ; Witmer & Singer (1998) ... Dans les références : Le numéro du journal doit aussi être en italique, ex. Dicheva et al. (2015) ; Egenfeldt-Nielsen, S. (2006); Klemke et al… Certaines années ne concordent pas, ex. Egenfeldt-Nielsen, 2007 ; Il manque des références, ex. Rodrigues et al., 2014 ; Il manque le nom du journal, ex. Buenaño Fernández & Luján-Mora (2016) ; Il manque le ‘&’ à Papadakis Kalogiannakis, 2017 ; Des références ne sont pas dans le texte : Johnson et al., 2017 ; Tobias, S., & Fletcher, J. D. (Éds.). (2011).
Le ton du document dénote une attitude scientifique rigoureuse	Tout à fait d'accord	Point positif Vraiment rien à dire sur ce point, c’est très bien présenté avec beaucoup de références appuyant chacun de vos arguments !
Le style est clair et agréable à lire ; il n’y a pas de fautes d’orthographe	D’accord	Point positif Style clair et agréable à lire, cependant quelques fautes d’orthographes. Point à améliorer Le nom de certains auteurs n’est pas bien orthographié, ex. Bellotti	2.1 "d’apprenants tels que les très, ou au contraire très peu performants" : il y a un bout qui manque? 3.2.1 : pédagogique. Dans ; corrélés (sans e)
Autre (commentaire libre)	Très beau travail ! Après une lecture finale d’une traite de votre page, je trouve que le travail fourni est de qualité. Bravo !

Evaluation collective par le groupe CASSAT

Voici l'évaluation collective du groupe CASSAT avec Tamara Crétard et Kenneth Rioja.

Critères	Evaluation selon l'échelle de Likert à 4 points (supprimer les mentions inutiles)	Critiques constructives	Suggestions d'amélioration
La question générale (problématique) est clairement énoncée	Tout à fait d'accord D'accord Pas d'accord Pas du tout d'accord	Point positif Point positif 1 i.e pourquoi c'est positif Point à améliorer Point à améliorer 1 i.e pourquoi ce serait à améliorer
L’importance de cette question est clairement établie par rapport au thème de travail du groupe mais également au thème du cours BASES
Les questions de recherche sont clairement énoncées
La relation entre ces questions et la problématique (question générale) est claire
La relation entre ces questions et les trois dimensions relatives aux technologies éducatives (apprentissage, enseignement et pédagogie, technologies) est bien décrite
Le contenu des réponses aux questions de recherche est pertinent et bien argumenté
Les réponses sont bien documentées et chaque référence apporte un éclairage particulier
Les réponses sont rédigées de façon cohérente et s’enchaînent de façon fluide
Les concepts abordés et les recherches mentionnées sont clairement décrits
La discussion fait bien ressortir les principales réponses apportées à la question générale
La discussion présente des préconisations intéressantes à mettre en œuvre
Le nombre de références est raisonnable (ni trop, ni trop peu)
Les références sont correctement présentées selon les normes APA autant dans le texte que dans la bibliographie
Le ton du document dénote une attitude scientifique rigoureuse
Le style est clair et agréable à lire ; il n’y a pas de fautes d’orthographe
Autre (commentaire libre)