CatchUp

Réalisé par: (Utilisateur:Bei_Cai, [[Utilisateur:]] et Rima Achour Rahmani)

Encadreurs: Gaëlle Molinari et Yannick Nleme

Introduction

CatchUp est le prototype d’ un dispositif phygital nourri par l’IA , constitué dune paire de lunettes, une paire de gants avec les capteurs intégrés et une application conçue pour être disponible sur smartphones , tablettes et ordinateurs et qui permet la connexion des lunettes, les paires de gants et le commencement de la séance tout en proposant des fonctionnalités qui sont au service des objectifs cibles . Il est destiné principalement au personnel des FacLabs de Genève, mais peut être notamment utilisé par d’autres FacLabs . CatchUp permet la continuité présence-distance des activités au FacLab, le partage des données en synchrone et asynchrone, aussi, l’utilisation des objets tangibles – intangibles , Les utilisateurs peuvent ainsi participer à des séances de conception collaboratives, assister à une séance de conception ou revoir la séance en fonction des objectifs individuels ou de groupe et ce à travers les fonctionnalités proposées dans l’application.

Besoins

Demande de la commanditaire

La commanditaire Nathalie Borgognon explique dans sa demande l'intérêt de proposer un outil qui répond aux besoins de la conception collaborative et au partage des expériences dans le FacLab de Genève. Il doit répondre , également, aux problématiques liées aux différentes formes de discontinuité induites par les 3 dimensions d’hybridité du dispositif FacLab :

• présence - distance
• synchrone – asynchrone
• hybride physique – digital .

En examinant la situation ,nous pouvons reformuler la commande en question-problème suivante :Comment partager la manipulation et les étapes de conception et fabrication d'un objet tangible (matériel) avec des personnes à distance dans le cadre d’un travail collaboratif de groupe au FacLab? Ainsi, le cœur du problème est de Comment construire et maintenir une représentation et une expérience partagée? De cette problématique , plusieurs sous-questions sont posées :

• Comment soutenir et relier la compréhension de l’activité des différents partenaires dans ce contexte et garder les objectifs à atteindre (awareness) ?
• Comment communiquer les difficultés de compréhension des différents partenaires et par quel moyen les résoudre ?
• Comment gérer les feedbacks et les incorporer au processus ?
• Comment générer une information qui permette d’expliciter et de créer un socle de connaissance commun et partageable ?
• Comment mieux communiquer aux partenaires à distance les informations (problèmes, modifications etc.) d’un objet tangible? qui leurs réponses consistent en la création du dispositif phygital.

Besoins des utilisateurs

Afin de déterminer les besoins des usagers nous nous sommes posés ,tout d’abord, des questions sur la notoriété de l’outil pour les éventuels utilisateurs à savoir: comment présenter les informations ?Que peut-on montrer, par exemple les types des activités; sous quelles formes et à qui les communiquer/partager ?la connaissance des partenaires: qui a fait quoi et quand? Ensuite, sur l’historique des progressions, indicateurs des processus de collaboration, des choix effectués et les diverses stratégies gagnantes qu’il faut adopter. Après cette analyse, nous avons supposé qu’ il y a une équipe qui collabore à la conception et la fabrication d’un artefact tangible (matériel) au sein du FacLab dans une dynamique de co-construction participative, dans un dispositif de travail en présentiel et distanciel synchrone et en asynchrone. à travers ce contexte, nous avons cerné plusieurs besoins auxquels notre outil peut essayer de répondre :

• Concevoir, collaborer, fabriquer, partager et documenter les processus de fabrication et de conception de ses artefacts.
• Se coordonner et de maintenir une cohérence entre ses membres
• Garantir un accès le plus semblable possible à l’expérience et aux manipulations à tous les membres du groupe de travail dans les étapes de conception et de fabrication des artefacts.
• Pouvoir informer/ renseigner, éventuellement enseigner les techniques de fabrication en les montrant par la suite.

Revue de littérature

L’awareness mutuel dans un Environnement Virtuel Collaboratif

Lorsque plusieurs acteurs interagissent dans le même espace, chacun d’eux génère de son côté un ensemble de signaux qui, une fois perçus par les autres, permettent aux autres acteurs d’avoir une certaine connaissance des actions effectuées et faire des interactions effectives. Cette connaissance des actions est connue sous le terme awareness qui “permet à deux ou plusieurs utilisateurs d’adapter et de planifier leurs comportements en fonction de ce qu’ils savent réciproquement des autres.” (Ouramdane, 2009) Gutwin et Greenberg (Greenberg et al., 1996) relèvent quatre caractéristiques au concept d’awareness :

• L’awareness est la connaissance de l’état d’un environnement délimité dans l’espace et le temps.
• L'awareness est constituée de connaissances qui doivent être mises à jour en fonction des transformations de l’environnement.
• L’awareness est entretenue par l’interaction des personnes avec l’environnement.
• L'awareness est souvent liée à une activité. Elle ne représente pas un but en soi mais elle participe à la résolution d’une tâche.

“Les EVCs sont des environnements virtuels multi-utilisateurs qui permettent à un certain nombre de participants de partager un espace virtuel commun et de réaliser un objectif ensemble”(Ouramdane, 2009). Dans un EVC, si les acteurs peuvent avoir l’awareness, c’est-à-dire percevoir les signaux d’action générés par les autres comme s’ils se trouvent dans un même endroit physique, les interactions collaboratives bénéficieront plus à l’atteint de l’objectif.

EMMIE (Environement Management for Multi-user Information Environnement)

L’EMMIE développé par Butz et al(1999) est un prototype d’interface utilisateur hybride censé supporter le travail des collaborateurs en leur fournissant un environnement d’information argumenté. Leur objectif est que dans cet environnement, les informations présentées dans l’interface 2D et l’interface 3D RA se complètent et peuvent être facilement déplacées entre les deux interfaces. Donc l’EMMINE introduit un nouveau concept d’interaction hybride entre deux types de représentations 2D et 3D. Par exemple, l’utilisateur peut déplacer des objets virtuels depuis les écrans (représentation 2D) vers un espace virtuel (représentation 3D) défini au-dessus de la table de travail. Les interfaces RA peuvent améliorer un environnement informatique en permettant de visualiser certaines parties cachées. Cependant, comme Butz et al ont souligné, un inconvénient important des interfaces RA pures est que leurs éléments d'interface sont tirés d'environnements purement virtuels, tels que les widgets 3D, et restent donc dans le domaine virtuel. De telles interfaces peuvent être difficiles à gérer, en partie parce que les affordances offertes par des interfaces plus concrètes sont absentes. Donc ils pensent que les systèmes RA peuvent tirer profit de l'utilisation d'objets physiques et des techniques d'interaction qu'ils fournissent. Par conséquent, en intégrant RA à un environnement informatique, on peut tirer parti des affichages pour permettre aux utilisateurs de manipuler les informations de manière concrète, le cas échéant.

Méthode de conception

Prototype et description

Description générale de l'application

Caractéristiques techniques

Les aspects et caractéristiques des composants

CatchUp est composé de trois composants qui sont respectivement une paire de lunettes, une paire de gants avec les capteurs intégrés et une application. Les lunettes ont au-dessus des lentilles trois mini-caméras de haute définition qui, lors d’usage, forment une imagerie 3D de l’objet cible. Une fois que les lunettes sont connectées avec l’application et après la formation de l’imagerie 3D, elles vont la transmettre sur l’interface de l’application. Les lunettes ont aussi la fonction d‘imager l’objet virtuellement dans l’espace à partir de l’imagerie 3D affichée sur l’écran. En outre, un accessoire qui participe de la fonction d’un microphone et amplificateur se trouve sur la branche des lunettes.

Les gants intègrent des capteurs qui, en touchant un objet, enregistrent les données de la pression et la chaleur ressenties, ensuite , simultanément transmettent les données aux autres gants connectés, via l'application.

L’application joue le rôle d’un intermédiaire par lequel les lunettes et les gants vont être connectés et l’imagerie 3D va être affichée. Elle possède aussi des fonctions destinées au démarrage de la séance, à l' enregistrement et au traitement des données. Sur l’interface principale de l’application, on peut voir des boutons raccourcis qui permettent de réaliser les fonctions principales: Connecter les lunettes, Connecter les capteurs, Démarrer la session, Espace Notes. En haut à gauche de l’interface, on peut trouver l'icône du menu qui contient toutes les fonctions de l’application.

Utilisation de l’outil

À l’aide de la description des trois scénarios concrets et des images des scènes simulées, nous expliquons en détail l’utilisation et les fonctions de l’outil.

Scénario 1

Deux collaborateurs travaillent sur un projet, un en présentiel et l’autre à distance. En utilisant CatchUp, ils vont organiser une séance pour discuter d'un problème de l’objet qu’ils sont en train de réaliser. Après l’ouverture de l’application, les collaborateurs se connectent à leurs comptes de CatchUp. Ensuite, en cliquant sur les boutons “Connecter les lunettes” et “Connecter les capteurs”, ils connectent aussi à l’application les lunettes et les gants qu’ils portent sur soi. À travers les lentilles, le collaborateur en présentiel peut voir un point local. En fixant ce point focal sur l’objet cible, les lunettes forment une imagerie 3D de l’objet qui sera immédiatement transmise sur l’interface de l’application. En même temps, les lunettes portés par le collaborateur à distance, en fixant son point focal à l’imagerie 3D affichée sur l’écran, vont imager cet objet virtuellement dans l’espace. Cet objet virtuel est manipulable avec les capteurs des gants. Quand le collaborateur en présentiel touche l’objet réel avec les gants, les capteurs intégrés prennent les données de la pression et la chaleur de la touche et les transmettent à l’application. En même temps, à distance, lors de la manipulation de l’objet virtuel, quand le collaborateur arrive au même point de l’objet que celui en présentiel est en train de toucher, les données de la pression et la chaleur vont être transmises de l’application aux capteurs des gants, c'est-à-dire, les gants permettent au collaborateur à distance de “sentir” physiquement l’objet virtuel vu à travers les lunettes.

Scène collaborateur en présentiel

Scène collaborateur à distance

Scénario 2

Une collaboratrice a été absente à une séance. Avant la prochaine séance, elle a besoin d'être au courant des points clés de la discussion des autres collaborateurs. Dans ce cas, les fonctions, Enregistrer la séance,Espace notes, Sélectionner les notes, Naviguer dans l’enregistrement seront impliquées. Tout à bord, lors de la séance, outre à enregistrer toute la séance, les collaborateurs présents peuvent prendre des notes dans l’Espace Notes au moment où ils abordent des points clés. Les notes peuvent être écrites à la main ou transcrites à travers des messages vocaux enregistrés par les collaborateurs. À la fin de la séance, en cliquant sur la fonction Sélectionner les notes se trouvant dans le menu principale, chaque note peut être sélectionnée en cochant un petit icône apparu à côté. Une fois les notes cibles sélectionnées, tout en bas de l’Espace Notes, on peut trouver un bouton appelé Production Résumé. En cliquant sur ce bouton, un résumé sera produit automatiquement. La collaboratrice absente, pour récupérer les informations de la séance passée a à sa disposition deux ressources: le résumé susmentionné et l’enregistrement vidéo de la séance. En lisant le résumé, elle peut identifier des points clés abordés pendant la séance. Si elle sélectionne la fonction Naviguer dans l’enregistrement, en haut à droite de l’enregistrement, une barre de recherche apparaît où elle peut insérer des mots ou phrases clés pour repérer dans l’enregistrement vidéo les parties importantes pour elle. Ainsi au lieu de regarder tout l’enregistrement qui normalement peut durer très longtemps, elle peut naviguer dans la data complète de manière plus efficace. Si la collaboratrice portent les lunettes, à travers l’imagerie 3D de l’objet cible affichée dans l’enregistrement, les lunettes vont aussi imager l’objet virtuellement dans l’espace pour une vision stéréoscopique. Prendre notes dans l'espace notes

Sélectionner les notes pour produire le résumé

Repérer les parties clefs et naviguer dans l’enregistrement

Scénario 3

Un projet a été terminé et toutes les données ont été enregistrées. Des chercheurs qui s'intéressent au projet voudraient faire de la recherche centrée sur le processus de la production. Ils demandent à l’équipe des informations.

En se basant sur toutes les données enregistrées (les notes, enregistrement) et des fonctions telles que la recherche, le repérage, le montage etc, l’outil permet à l’équipe de produire des tutoriels qui seront accessibles sur la demande.

Plus-value et évaluation

Plus-value

Dans des logiciels largement répandus comme Zoom, depuis la pandémie, nous nous rendons compte que ses outils ne permettent pas un travail optimal entre des collaborateurs du FacLab qui communique à distance avec d’autres membres. Ainsi, nous avons pensé à CatchUp. CatchUp est ici pour répondre à divers besoins :

• Il permet à un groupe travaillant sur un projet de manipuler un item malgré la distance qui les sépare. Le but est de reproduire une retranscription la plus fidèle de l’item aux personnes qui ne sont pas présentes au FacLab afin de garantir l’authenticité de l’expérience, de manière synchrone.
• À cela s’ajoute la communication entre les participants, verbales ou vocales mais surtout la possibilité d’en garder les traces et de les mettre en évidence ! Soit par recherche intelligentes de mots à l’oral, soit par les commentaires que les collaborateurs auront décidés de mettre en évidence.
• Nous ajoutons également une aide externe, une intelligence artificielle afin de simplifier les processus pour les collaborateurs.

Les collaborateurs asynchrones peuvent également revisionner les séances. qui seront enregistrés sur un serveur local au FacLab, ce qui ira à la fois alimenter l’IA et garder une trace pour les utilisateurs.

• L’aspect le plus fort de notre outil repose donc sur l’interactivité avec les items, malgré la distance et la possibilité de garder des traces et de les marquer pour tout autre collaborateurs qui n’ont pas pu être présents lors de la réunion, voire même pour un simple rappel pour les utilisateurs.

Evaluation

Grâce à des retours utilisateurs, il est possible de prendre en compte l’expérience utilisateur afin d’appliquer des améliorations futures. Pour ce faire, il y a deux manières de faire avec notre programme :

1-Evaluation de l’application : Comme tout application ou logiciel, on donne la possibilité aux utilisateurs de noter CatchUp sur 5 étoiles avec, en parallèle, la possibilité d’accompagner sa note avec un commentaire. Ces feedbacks seront nécessaires pour toujours mieux adapter le programme.

2- Evaluation des appels : Tout comme il peut parfois arriver à la fin d’une discussion WhatsApp, Discord ou même Skype, on peut introduire l’apparition d’un message suivant la fin d’une séance pour demander à l’utilisateur, s’il le souhaite, de noter son appel et de partager les soucis qu’il aurait pu rencontrer avec le logiciel durant l’appel.

Limites

• Le logiciel n’a pas de tutoriel : l’utilisateur pourrait passer à côté de certaines fonctions / outils disponibles.
• La matériel nécessaire est assez conséquent et coûteux : les lunettes et les gants réunissant ces technologies ne sont pas facilement accessibles.

Dépendant de la connexion internet.

• Comme tout est encore théorique, nous ignorons si nos mesures seront adaptées et adoptées par les utilisateurs.
• Les séances enregistrées ne retranscrivent pas l’expérience-utilisateur de la manipulation de l’objet avec les lunettes et les gants.

Futures évolutions

En prenant en compte les limites, il y a plusieurs éléments qu’il est possible d’améliorer, avec le temps :

• Insérer un tutoriel d’initiation au programme, afin de présenter son fonctionnement et les différents outils qu’il met à la disposition des utilisateurs.
• Permettre l’enregistrement d’une séance dans les fichiers locaux (par exemple, si l'utilisateur a un problème de connexion Internet, qu’il puisse tout de même garder une trace et l'envoyer à d’autres personnes).
• Adapter et améliorer le logiciel pour une meilleure expérience utilisateur en fonction des retours et des tests des utilisateurs.
• Insérer la retranscription visuelle et sensorielle aux enregistrements afin que ceux qui visionnent les séances, de manière asynchrones, puissent se mettre pleinement dans le contexte.

Bibliographie

• Bastien, J.M.C. et Scapin, D.L. (1993). Critères ergonomiques pour l’évaluation d’interfaces utilisateurs. Rapport technique INRIA n° 156, Juin 1993, INRIA : Le Chesnay.

• George, S., Michel, C., & Ollagnier-Beldame, M. (2013). Usages réflexifs des traces dans les environnements informatiques pour l’apprentissage humain. Intellectica, 59(1), 205-241.
• Leroux, Monteil, J.-M., & Huguet, P. (2017). Apprentissages scolaires et technologies numériques : Une revue critique des méta-analyses. L’année Psychologique, 117(4), 433–465. https://doi.org/10.4074/S0003503317004018
• Lou, Y., Abrami, P. C., & d’Apollonia, S. (2001). Small Group and Individual Learning with Technology: A Meta-Analysis. Review of Educational Research, 71(3), 449–521. https://doi.org/10.3102/00346543071003449
• Mayer, R.E. (2010). Apprentissage et technologie. In H. Dumont, D. Istance & F. Benavides (Eds). Comment apprend-on ? : La recherche au service de la pratique (pp. 191-209). Éditions OCDE.
• Mohib, N. (2018).  Stratégies d’autorégulation et synchronisation des temporalités dans un dispositif hybride : le rôle de l’évaluation. Distances et médiations des savoirs, 22.
• Molinari, G. (2021). (MA75314 Apprentissage digital et formation à distance) [Présentations Moodle]. Genève : Université de Genève. Repéré sur la plateforme Moodle.
• Tchounikine, P., & Tricot, A. (2011). Environnements informatiques et apprentissages humains. In C. Garbay & D. Kayser (Eds.), Informatique et Sciences Cognitives : influences ou confluences ? (pp. 167-200). Ophrys/MSH.
• Greenberg, S., Gutwin, C., and Cockburn, A. (1996). Awareness through fisheye views in relaxed-wysiwis groupware. In Proceedings of Graphics Interface, pages 28–38, Toronto, Canada.
• Butz, A., Hollerer, T., Feiner, S., MacIntyre, B., and Beshers, C. (1999). Enveloping users and computers in a collaborative 3d augmented reality. In International Workshop on Augmented Reality (IWAR), pages 54–62.
• Nassima Ouramdane. Vers un système d’assistance à l’interaction 3D pour le travail et le télétravail collaboratif dans les environnements de Réalité Virtuelle et Augmentée. Interface homme-machine [cs.HC]. Université d’Evry-Val d’Essonne, 2008. Français. NNT : . tel-00374961
• Simonian, S., Quintin, J. & Urbanski, S. (2016). La construction des collectifs dans l’apprentissage collaboratif à distance : l’affordance socioculturelle des objets numériques. Les Sciences de l'éducation - Pour l'Ère nouvelle, 49, 63-90. https://doi.org/10.3917/lsdle.491.0063