BASES:Cours BASES 2020-21/L'impact de l'immersion sur l'apprentissage dans un contexte de réalité mixte et virtuelle

Auteur-es : Arthur Deschamps, Marie Guillon, Lylia/Yong Xin Lam

Mon groupe de travail

• Groupe : COBALT
• Axe 2  : Physique/Numérique
• Thème : La réalité mixte et virtuelle dans l’apprentissage

Problématique et questions de recherches

Problématique

Question collective: Dans quelles mesures l’immersion favorise-t-elle l’apprentissage dans un contexte de réalité mixte/virtuelle?

Notre travail a pour thème l’immersion dans l’apprentissage à travers l’utilisation de la réalité mixte et virtuelle. L’évolution des technologies et des contextes d’apprentissage mène à une diversification des besoins et de l’offre en matière d’éducation. Apprendre ne se limite plus à étudier un livre scolaire ou fixer un tableau noir; avec l’avènement des technologies, l’acquisition de nouvelles connaissances prend de nombreuses formes, et ces changements se ressentent également dans l’expérience des apprenants et des enseignants.

Parmi les technologies ayant pris de l’importance ces dernières années se trouvent la réalité virtuelle et la réalité mixte. Elles désignent différentes formes d’interactions d’un utilisateur humain avec un univers numérique, situant ainsi ce thème dans un axe d’hybridation entre physique et numérique. Selon les niveaux de virtualité observées, les interactions entre l’utilisateur physique avec l’environnement numérique prennent plus ou moins d’ampleur, et cet aspect influence notamment le ressenti de l’apprenant lors de l’usage d’une telle technologie dans l’éducation.

Enfin, la question de l’immersion dans l’apprentissage en réalité virtuelle et mixte est une thématique importante car elle va de pair avec les progrès technologiques actuels et permet une meilleure compréhension de leur intégration dans l’éducation, et de leur bienfaits pour l’apprentissage.

Questions de recherche

Sous-questions	Description	Dimensions
De quoi parle-t-on lorsque l’on fait référence à la réalité mixte et virtuelle ?	Il s’agit pour commencer de définir les concepts liés aux technologies virtuelles. Entre réalité mixte, réalité augmentée et réalité virtuelle, il s'agira d’abord d'établir leurs caractéristiques et différences afin de comprendre par la suite de quelle manière ces types de virtualités affectent l’utilisateur.	Technologie
Comment l’immersion dans un contexte de réalité mixte et virtuelle influence-t-elle les apprentissages ?	Le ressenti de l’apprenant, dont fait partie l’immersion, est un concept-clé dans l’apprentissage. Nous examinerons la façon dont cet aspect est exprimé dans l’apprentissage, et plus spécifiquement dans un contexte de réalité virtuelle et mixte.	Apprentissage
Quel rôle joue l’enseignant dans des dispositifs d’apprentissage par réalité mixte et virtuelle ?	Il est non seulement important de considérer l’impact des technologies virtuelles sur l’apprenant, mais également sur l’enseignant. En effet, avec les modalités hybrides apportées par les technologies virtuelles, nous souhaitons examiner le rôle de l’enseignant dans l’usage de ces dispositifs.	Enseignement

Réponses aux questions de recherche

La réalité mixte et la réalité virtuelle

De quoi parle-t-on lorsque l’on fait référence à la réalité mixte et virtuelle ?

Introduction

Les termes réalité mixte et réalité virtuelle sont des termes récents qui font l’objet de nombreuses définitions. Parfois défini au sein de la réalité mixte, parfois complètement séparée, la réalité augmentée vient s’ajouter à ces deux termes. Avant de comprendre comment l’immersion et plus spécifiquement le flow peut avoir sa place lors de l’utilisation de ces technologies, il est important de bien les définir et de comprendre où se trouvent les limites de l’une ou l'autre des technologies.

La réalité virtuelle

Les prémices de la réalité virtuelle datent des années 1950 avec “le telesphere Mask”, des lunettes inventées par Morton Heilig assez proches des modèles de casques de réalité virtuelle actuels (Bozec, 2017). Depuis, ce terme de réalité virtuelle fait référence à de nombreuses technologies très variées allant du simulateur aux casques de réalité virtuelle en passant par des mondes 3D virtuels générés par ordinateur.

Il est donc difficile de donner une définition unique de la réalité virtuelle. Elle est définie en 1992 par Steuer comme un environnement réel ou non dans lequel le spectateur a le sentiment d’être présent (dans Bozec, 2017). Pantelidis, en 1993, la définit comme un environnement multimédia, interactif, informatisé dans lequel l’utilisateur devient un participant de ce monde virtuel. Deux ans plus tard, Bell et Fogler y voit une interface informatique avec une immersion importante, crédible et qui permet l’interaction dont le but est de faire croire à l’utilisateur qu’il se trouve vraiment dans cet univers virtuel généré par ordinateur. Idéalement, l’utilisateur ne doit pas être capable de déterminer s’il vit une simulation ou la réalité.

De nombreuses autres définitions s’ajouteront à celles-ci avec plus ou moins de similitudes mais aussi de nouveaux aspects. Ainsi, en 2003, Giraldi & al. notent une incohérence dans les définitions de la RV (dans Bozec, 2017). Si la notion d’immersion apparaît dans de nombreuses définitions, elle vient parfois à disparaître, au profit d’environnement 3D laissant entrevoir le monde réel. Il y aurait donc, pour la réalité virtuelle, des technologies immersives et d’autres non-immersives. Radianti (2020) tente de les catégoriser bien qu’il note qu’une ambiguïté persiste. La répartition des technologies dans les deux catégories est présentée dans le tableau 2. Les technologies immersives sont principalement des casques de RV haut de gamme (Oculus, Vive) auxquels s’ajoutent des “controllers” pour interagir ou bas de gamme (Samsung gear, Google cardboard).

Technologies Immersives	Technologies Non-immersives
Oculus Vive Samsung gear VR Google cardboard Samsung odyssey	360 degree videos Desktop VR CAVE Panoramic video

Tableau 2 : Liste non-exhaustive des technologies de RV classées selon leur caractère “immersif” ou non.

Dans la suite de cette production, le terme RV (réalité virtuelle) fera référence à la réalité virtuelle immersive qui répond à un certains nombres de critères définis par Giraldi & al. (2003 dans Bozec, 2017).

Finalement, on peut dire que la RV est l’expérience de mettre un utilisateur dans un environnement virtuel généré par un ordinateur. Cet utilisateur aura ainsi l’impression d’être vraiment dans cet environnement et pourra agir sur celui-ci à l’aide de gestes, d’informations motrices. En réponse, le système informatique apportera à l’utilisateur des informations sensorielles (aussi bien visuelles que sonores). A terme, l’utilisateur en oubliera sa présence dans le monde réel. C’est ce qui participe à l’immersion définie plus bas.

La réalité mixte

Notre expérience avec la technologie repose en somme sur les interactions entre 3 éléments : l’être humain, l’ordinateur, et l’environnement. La réalité mixte, elle, se situe au croisement de ces trois facteurs et forme un spectre à mi-chemin entre notre univers physique et le monde virtuel. Dans une réflexion sur les différentes formes de virtualités et leur relation au monde qui nous entoure, Milgram, et al. (1994) évoquent la croisée naissante de l’environnement avec les technologies. La réalité mixte est, selon Milgram, Takemura, Utsumi and Kishino (1994), un continuum qui incorpore non seulement la réalité augmentée, mais également d’autres formes de fusion de la réalité et du numérique telle la virtualité augmentée. Celle-ci, en parallèle à la réalité augmentée, propose l’inclusion d’éléments physiques dans un monde numérique. La réalité mixte accorde une importance particulière à l’expérience sensorielle de l’utilisateur, et fait usage d’outils informatiques pour compléter ou recréer ces sensations. L’une des caractéristiques du continuum de Milgram, et al. (1994) se trouve dans l’assimilation de la réalité augmentée (RA) à la réalité mixte (RM) en tant que sous-catégorie. Cependant, en parallèle aux progrès technologiques, la terminologie est désormais diverse pour exprimer les différentes formes de virtualité, ainsi que les nouvelles définitions qui en découlent.

La réalité augmentée, une technologie en développement depuis le XXème siècle, est aujourd’hui associée à l’affichage d’informations numériques en superposition à la réalité physique, et ce au travers d’un smartphone, tablette, ou lunettes. Il s’agit par exemple du jeu Pokémon Go, qui permet au joueur d’attraper des Pokémon dont les animations s’affichent sur l’écran avec en fond une vision du monde physique, ou encore Google Maps AR, qui permettent d’afficher des indications de navigation en vue réelle. Certains se souviennent également des jeux Kinect sur la Xbox de Microsoft. Il s’agit en somme d’une forme de l’affichage de données numériques superposées au monde physique. Leur projection permet de donner une dimension supplémentaire à certains contenus, telle la AR Sandbox de UC Davis. En ce qui concerne la réalité mixte, l’un des pionniers modernes de cette technologie est un projet de Windows, HoloLens. Celui-ci montre par exemple un utilisateur imaginant l’intérieur idéal d’un magasin en déplaçant des hologrammes dans l’espace réel de l’établissement, auparavant scanné par la machine à l’aide de capteurs. Dans ce même espace, cet utilisateur peut interagir avec un utilisateur numérique dont le corps est entièrement virtuel. Les interactions sont au cœur de cette technologie hybride. Au-delà d’une superposition, les éléments virtuels sont fusionnés à la réalité physique. Ainsi, l’utilisateur devient capable d'interagir soit directement, soit indirectement, sur l’élément virtuel à l’aide de son corps ou d’un objet physique; cette nouvelle forme de présence suscite alors de nouvelles interrogations au niveau de l’immersion.

Bilan

La réalité, la réalité augmentée, la réalité mixte et la réalité virtuelle pourraient donc être placées sur une même ligne : un continuum entre la réalité et la virtualité. C’est ce que proposent Milgram, Takemura, Utsumi et Kishino (1994) avec le schéma présenté ci-dessous.

Continuum "Réalité-Virtualité" développé par Milgram, Takemura, Utsumi et Kishino en 1994 lu dans Bozec (2017).

La réalité virtuelle se trouve donc dans un environnement complètement virtuel, elle est l’extrême de la virtualité alors que la réalité mixte qui comprend la réalité augmentée se situe à la jonction du réel et du virtuel. Ces deux types de technologies ne peuvent donc pas avoir les mêmes utilisations et les mêmes impacts sur l’apprentissage. Elles n’offrent pas non plus la même immersion.

Discussion

Nous avons essayé de répondre à la question “Dans quelles mesures l’immersion apportée par la réalité mixte ou la réalité virtuelle favorise-t-elle l’apprentissage ?”.

Ces deux technologies se situent dans un continuum entre la réalité et la virtualité: la réalité mixte se trouve au croisement de ces deux notions alors que la réalité virtuelle se réfère plutôt à la notion de virtualité totale. Cependant, les définitions de ces technologies ne sont pas encore complètement figées et peuvent correspondre à de nombreux dispositifs. Dans le cadre de ce travail, nous avons donc considéré que la réalité mixte correspondait à l’inclusion dans le monde réel d’éléments virtuels alors que la réalité virtuelle immerge complètement l’utilisateur dans un monde généré par ordinateur sans contact avec l’extérieur. De ce point de vue, la RV apporte donc une immersion complète à l’utilisateur ce qui peut limiter le sentiment de présence du joueur et l'interactivité proposées. De son côté, la RM n’empêche pas l’immersion pour autant puisque cette dernière peut être définie comme un état cognitif et mental atteint par l’utilisateur dans de nombreuses situations. Ainsi, malgré une barrière entre le réel et le virtuel plus fine qu’avec la RV, la RM, bien utilisée, peut permettre à l’utilisateur de vivre une immersion forte. Bien utilisées, ces technologies permettent à l’utilisateur d’atteindre un état de Flow qui correspond à une immersion totale d’un utilisateur dans son activité et qui peut être atteint lorsque l’effort nécessaire pour atteindre l’objectif est juste assez important pour susciter l’intérêt de l’utilisateur mais pas trop difficile pour ne pas le décourager. L’atteinte de cet état ne demande pas nécessairement une immersion dans un monde virtuel. Il concerne le jeu vidéo mais également des domaines tels que la musique ou le sport.

Cette immersion et l’atteinte du flow, lors de l’utilisation de ces technologies, ont des impacts positifs importants sur les apprentissages : motivation, concentration et confiance en soi sont ainsi décuplées. Elles permettent aussi de faire des expériences autrement impossibles. La RV et la RM peuvent aussi permettre d’offrir un soutien aussi bien affectif, cognitif et régulatif. Cela demande cependant une implication de l’enseignant dans la préparation de son scénario pédagogique mais aussi dans la conduite de la séance avec les élèves notamment pour l’accompagnement et l’encadrement de ceux-ci. L’enseignant doit donc prendre en compte les besoins aussi bien cognitifs, affectifs et de régulation des apprenants pour mener ses séances.

Références

• Bailenson, J. N., Yee, N., Blascovich, J., Beall, A. C., Lundblad, N., & Jin, M. (2008). The use of immersive virtual reality in the learning sciences: Digital transformations of teachers, students, and social context. The Journal of the Learning Sciences, 17(1), 102-141.
• Birchfield, D., & Megowan-Romanowicz, C. (2009). Earth science learning in SMALLab: A design experiment for mixed reality. International Journal of Computer-Supported Collaborative Learning, 4(4), 403-421.
• Bourassa, R., & Edwards, G. (2007, October). La réalité mixte, les mondes virtuels et la géomatique: de nouveaux enjeux. In Actes du colloque Géocongrès International,«Histoire de voir le monde», Québec (pp. 2-5).
• Bozec , Y. (2017). Etat de l'art 2017, l'apprentissage à travers la réalité virtuelle. Réseau CANOPE, https://www.reseau-canope.fr/fileadmin/user_upload/Projets/agence_des_usages/Etat_Art.pdf
• CsikszCsikszentmihalyi, M. (1997). Flow and education. NAMTA journal, 22(2), 2-35
• Flow (2020) dans Wikipédia, https://fr.wikipedia.org/wiki/Flow_(psychologie) (consulté le 05/01/2021)
• Heutte, J. (2012). Mesure de l’immersion (absorption cognitive) et de ses déterminants psychosociaux appliqués au Serious Game: Vers une modélisation théorique. In Colloque scientifique international du e-virtuose” Evaluer et mesurer l’impact du Serious game.
• Heutte, J. (2017). L’environnement optimal d’apprentissage: contribution de la recherche empirique sur les déterminants psychologiques de l’expérience positive subjective aux sciences de l’éducation et de la formation des adultes.
• Heutte, J. (2011). La part du collectif dans la motivation et son impact sur le bien-être comme médiateur de la réussite des étudiants  : Complémentarités et contributions entre l’autodétermination, l’auto-efficacité et l’autotélisme (Thèse de doctorat en Sciences de l’Éducation). Paris Ouest-Nanterre-La Défense
• Hu, G., Bin Hannan, N., Tearo, K., Bastos, A., & Reilly, D. (2016, June). Doing while thinking: Physical and cognitive engagement and immersion in mixed reality games. In Proceedings of the 2016 ACM Conference on Designing Interactive Systems (pp. 947-958).
• Jensen, L., & Konradsen, F. (2018). A review of the use of virtual reality head-mounted displays in education and training. Education and Information Technologies, 23(4), 1515-1529. https://doi.org/10.1007/s10639-017-9676-0
• Kim, M. J. (2013). A framework for context immersion in mobile augmented reality. Automation in construction, 33, 79-85.
• Krokos, E., Plaisant, C. & Varshney(2019). A. Virtual memory palaces: immersion aids recall. Virtual Reality 23, 1–15 . https://doi.org/10.1007/s10055-018-0346-3
• Milgram, P., & Kishino, F. (1994). A taxonomy of mixed reality visual displays. IEICE TRANSACTIONS on Information and Systems, 77(12), 1321-1329.
• Molinari, G., Poellhuber, B., Heutte, J., Lavoué, E., Widmer, D. S., & Caron, P. A. (2016). L’engagement et la persistance dans les dispositifs de formation en ligne: regards croisés. Distances et médiations des savoirs. Distance and Mediation of Knowledge, (13).
• Narayan, M., Waugh, L., Zhang, X., Bafna, P., & Bowman, D. (2005, November). Quantifying the benefits of immersion for collaboration in virtual environments. In Proceedings of the ACM symposium on Virtual reality software and technology (pp. 78-81).
• Nawahdah, M., & Inoue, T. (2013). Setting the best view of a virtual teacher in a mixed reality physical-task learning support system. Journal of Systems and Software, 86(7), 1738-1750.
• Pantelidis, V. (2009). Reasons to use virtual reality in education and training courses and a model to determine when to use virtual reality. Theme in science and technology education, Special issue, pages 59-70. https://doi.org/10.1016/j.compedu.2019.103778
• Pantelidis, V. (1993). Virtual Reality in the Classroom. Educational Technology , Vol. 33, No. 4, pp. 23-27
• Radianti Jaziar, Majchrzak Tim A. , Fromm Jennifer, Wohlgenannt Isabell (2019). A systematic review of immersive virtual reality applications for higher education: Design elements, lessons learned, and research agenda. Computers & Education, Volume 147, 2020, 103778, ISSN 0360-1315, https://doi.org/10.1016/j.compedu.2019.103778.
• Rogers, S. (2019). Virtual reality: The learning aid of the 21st century. Forbes. https://www.forbes.com/sites/solrogers/2019/03/15/virtual-reality-the-learning-aid-of-the-21st-century/?sh=61e976d4139b  (consulté le 08/01/2021)

• Tolentino, L., Birchfield, D., Megowan-Romanowicz, C., Johnson-Glenberg, M. C., Kelliher, A., & Martinez, C. (2009). Teaching and learning in the mixed-reality science classroom. Journal of Science Education and Technology, 18(6), 501-517.