BeCo'Lab
Introduction
Résumé
BeCo'Lab est une plateforme collaborative pour la création d'objets tangibles qui permet la continuité en présence et à distance et en synchrone et en asynchrone grâce à la technologie des gants haptiques et du casque à réalité virtuelle intégrée dans la plateforme, ainsi qu'à l'accès aux traces des différents étapes de conception d'un objet dans une section dédiée à l'archivage et le stockage des données, et à l'awareness rendu possible au travers du canal de communication auditif et visuel.
Descriptif du projet
Contexte
Dans le cadre du cours ADID I 2022, Nathalie Borgognon, commanditaire du projet, nous a demandé de concevoir un prototype phygital pour la continuité présence-distances des activités du FacLab (laboratoire de fabrication) de Genève.
Objectifs
Notre objectif est de créer un outil phygital qui permette la continuité, (l'awareness) et la communication en présente/distance et en synchrone/asynchrone. Concrètement, il s'agit de permettre aux utilisateurs de l'outil de partager une production tangible avec des personnes à distances, en synchrone et en asynchrone.
Public cible
Afin d'ancrer ce prototype dans un contexte réel et réaliste, nous avons adapté notre projet à l'équipe de Beekee, mais celui-ci s'ouvre également à tous les membres du FacLab qui effectuent un travail collaboratif en présence et à distance. Beekee est une start-up suisse axée sur l'impact. Ces fondateurs, Vincent Widmer et Sergio Estupiñán, docteurs en technologies éducatives, sont convaincus que des technologies bien conçues peuvent jouer un rôle important dans la promotion d'une éducation de qualité.
Équipe du projet
Notre équipe, Casse-tête Concept, est composée de Ana Rajic, Emma Schenkenberg van Mierop et Mehdi Laouini, étudiants en première année au master MALTT.
Besoins
--> Le besoin et/ou le problème concret qu’il faut outiller d’un point de vue technologique.
Notre public cible souhaite pouvoir travailler en collaboration sur un produit tangible lorsqu’ils se trouvent au FacLab et ailleurs. Il s’agit donc de permettre la continuité physique/numérique de la collaboration entre ce qui est produit dans l’environnement physique (les objets tangibles tels que la Beekee Box ou Beekee Hub crées avec l'imprimante 3D) et ce qui est produit dans l’environnement virtuel/digital (les objets intangibles, tels que la Beekee Box virtuelle, la plateforme BeCo'Lab, etc.).
Il s'agit aussi de permettre la continuité présence/distance entre les activités au sein et en dehors du FacLab (ex. lorsque l'équipe retourne chez elle ou ne peut pas accéder au FacLab et assister aux réunions en présence).
Problème/challenge : Comment partager les productions tangibles à distance ?
Revue de la littérature
Conception et collaboration
Hybridation
c.f. Diapos P3 + articles associés
Depuis plusieurs années, le domaine de la pédagogie s'est tourné vers le domaine des technologies numériques pour créer un espace hybride ou le physique et le digital se rencontrent afin de permettre une dimension fusionnée que Nathalie Borgognon nomme l'espace phygital. Dans cet idéal de continuité entre les dimensions physique/numérique, présence/distance et synchrone/asynchrone, notre prototype devrait être en mesure d'allier les interactions sociales, c'est-à-dire le travail collaboratif et la régulation socio-émotionnelle, avec ces espaces d'apprentissage hybrides afin de permettre une continuité dans l'apprentissage. (c.f. diapos Nathalie Borgognon)
Le FacLab est un parfait exemple d'espace hybride sur tout les points : on y passe du tangible à l'intangible, dans un espace qui est entre le formel et l'informel, et entre l'académique et le non académique. La collaboration fonctionne selon une communauté de pairs (étudiants, professeurs, administrateurs, etc.) qui implique un changement de casquette/rôle des membres du FacLab. Ainsi, un étudiant peut à la fois être un usager, contibuteur et facilitateur (c.f. Diapos Nathalie Borgognon).
FacLab
à mettre peut-être dans la partie contexte
style="color:white;background-color:
|
| style="background-color: |
Tangible
“objets tangibles qui, parce qu’ils sont manipulables et permettent un feedback multimodal (visuel, auditif, haptique), peuvent encourager et faciliter la mise en œuvre d’actions concrètes par les étudiants.”(Gaëlle Molinari et Elsa Schneider, 2020)
Interaction homme-machine
Technologie
Gants haptiques
Réalité virtuelle
Caméra 360
Robot mobile de téléprésence
Prototype
Scénario d'usage
Notre prototype a été imaginé pour l'équipe de Beekee qui comporte une équipe possédant des compétences en conception pédagogique, en ingénierie, en développement de logiciels, en UX, en impression 3D et en recherche, et composé de 6 membres : deux fondateurs, un ingénieur pédagogique, un graphiste, un ingénieur système, un CEO & CFO. Ils ont crée une Beekee Box et une Beekee Hub au FacLab et à distance, en synchrone et en asynchrone. Ils ont toutefois eu des difficultés à conceptualiser et à créer leurs objets tangibles en étant à différents endroits.
Nous avons identifié 4 étapes pour le processus :
- Une phase réflexive où ils identifient un besoin auquel il faut répondre en faisant des brainstormings.
- Une phase conceptuelle qui permet de créer un premier prototype en digital puis de l'imprimer en 3D. Ils peuvent découvrir ici des problèmes à résoudre.
- Une ou des phase(s) itérative(s) où ils modifient le prototype après un feedback général et impriment à nouveau le prototype en 3D.
- Une phase finale qui permet l'impression du prototype finalisé et le test auprès d'utilisateurs potentiels.
De manière générale, l'équipe communique initialement via Zoom et Discord lorsqu'ils travaillent en synchrone et via un gestionnaire de tâche dans l'onglet discussion, pour faire un retour sur l'avancée des travaux (messages, audio ou vidéo) lorsqu'ils travaillent en asynchrone.
Les problèmes qu'ils rencontrent ont lieu lorsque les personnes à distance souhaite contrôler la conception en physique de leur Beekee Box ou Beekee Hub. En effet, il ne leur est pas possible de manipuler l'objet et ainsi d'évaluer sa taille réelle, sa texture ou son poids.
- Problème rencontré et solution proposée avec dispositif phygital
- Le graphiste imprime un premier prototype de la Beekee Box en 3D.
- Il souhaite le montrer aux fondateurs qui sont à distance et leur envoie une photo, mais ces derniers n’arrivent pas à bien voir l’objet.
- Le graphiste prend alors l’objet en main avec ses gants haptiques et ses collègues mettent leurs casques de réalité virtuelle et les gants. Ils peuvent maintenant toucher la Box, sentir sa texture et son poids.
- Les fondateurs réalisent alors que ce premier prototype ne peut pas être transporté, car il est trop grand et trop lourd.
style="color:white;background-color:
|
style="background-color:
Les personnes à distances mettent le casque et les gants et les personnes au FacLab allument la caméra 360 et le robot. Le graphiste (G) met les gants haptiques. G : « J'ai imprimé le premier prototype, mais j’ai remarqué qu’il y avait un défaut de conception là. » (Il pointe avec son gant sur l’endroit en question). Un collègue à distance (CàD), qui voit le prototype dans son casque VR, voit une lumière rouge sur le défaut. CàD : « Ah oui, c’est lié à l’imprimante 3D ou à la conception sur le logiciel ? » G : « C’est dû à l’imprimante, je l’ai mal réglé, mais sinon tu en penses quoi ? » CàD : « J’aime bien la texture alvéolée de la Box, par contre il est beaucoup trop lourd et là (il pointe à un endroit) il faudrait mettre le câble de branchement.» Le graphiste prend la box et ressent une vibration au niveau pointé par son collègue. G : « Oui tu as raison, elle doit être transportable donc ça ne va pas. Je vais changer ça et ajouter le câble. » |
Outils
Gants haptiques et casque VR
- Phase conceptuelle : utilisation du casque de réalité virtuelle et des gants haptiques pour modifier le prototype dans l'espace virtuel. Ils sont utilisables par l'équipe au FacLab et par ceux qui travaillent à distance.
- Phase itérative : utilisation du casque de réalité virtuelle et des gants pour observer, toucher et sentir le prototype imprimé en 3D lorsque l'on travaille à distance, en créant une immersion visuelle, auditive et kinesthésique. Ils peuvent modifier le prototype dans l'espace virtuel.
BeCo'Lab connecte les différents outils tangibles (gants haptiques, casque de réalité virtuelle, caméra 360°, etc.) , ainsi que les outils intangibles, (vidéochat, discussion, archivage, etc.). Chacun des membres travaillant sur le projet se connecte sur la plateforme pour avancer et le reste de l'équipe reçoit l’information (avec une notification sur l'icône correspondante, ex. Conception) et peut entrer en interaction avec les membres connectés. Cette plateforme permet à chacun de suivre l’évolution du projet, de rejouer certains événements (réunion, avancée etc.) pour se mettre à jour, grâce à un journal de bord (traces).
Plateforme centrale BeCo'Lab
Généralités
- BeCo'Lab connecte les différents outils tangibles (gants haptiques, casque de réalité virtuelle, caméra 360°, etc.) , ainsi que les outils intangibles, (vidéochat, discussion, archivage, etc.).
- Chacun des membres travaillant sur le projet se connecte sur la plateforme pour avancer et le reste de l'équipe reçoit l’information (avec une notification sur l'icône correspondante, ex. Conception) et peut entrer en interaction avec les membres connectés.
- Cette plateforme permet à chacun de suivre l’évolution du projet, de rejouer certains événements (réunion, avancée etc.) pour se mettre à jour, grâce à un journal de bord (traces).
Archivage et stockage des données
Le journal de bord permet l'archivage et le contrôle des versions de conception sur le site BeCo'Lab (permet de revisualiser les anciennes versions ainsi que de voir ce qui a été fait pendant l’absence d’un des pairs) :Archivage des vidéochats et des discussions en lien avec la version de l’objet. Les personnes peuvent rejouer le moment de conception en asynchrone. Si nécessaire, le journal de bord nous permet de revenir à d'anciennes versions, par exemple, une version sans erreurs (sans perte de données).
Types de manipulations possibles (en présence et à distance)
La technologie utilisée dans ce prototype est une sorte d'outil d'awareness qui permet de comprendre et de suivre le raisonnement des collaborateurs à distance : ce qu'ils font, regardent ou montrent et à quel moment et où ils le font :
- Pour une modification virtuelle sur l'objet : le modèle existe déjà en 3D sur la plateforme et les gants permettent à la personne à distance de pointer les éléments qui ont besoins de changement (par retour de vibration si uniquement port des gants, ou lumière si port du casque par les personnes en présence)
- Pour une modification dans le réel au Faclab : les gants permettent de scanner l’objet, sa texture, sa dureté, sa taille réelle, etc. et d’envoyer ces informations à la personne à distance afin qu’elle puisse “sentir” (gants) et voir (casque) les changements qui ont été fait sur l’objet tangible.
- La personne à distance portant le casque : la personne entend et parle dans la discussion avec l'audio et le micro intégré et elle voit l'objet virtuel en face d'elle, mais aussi les vidéos de chacun des membres du groupe qui sont disposées autour de la personne à distance dans le monde virtuel.
- Les autres personnes présentes au faclab : ne portent pas de casque mais elles portent les gants quand c’est nécessaire (ex. pour pointer un élément de l’objet tangible qui sera visible par la personne à distance, grâce à un pointeur lumineux rouge sur l’objet virtuel).
- Si la personne à distance pointe à son tour un élément de l’objet virtuel (visible grâce au pointeur lumineux rouge) les personnes en présence mettent les gants et ressentent une vibration à l’endroit pointé de l'objet tangible.
Les aspects d'awareness manquants sont les questions suivantes : qui interagit avec qui ? qui a participé à combien ? qui sait quoi ? qui ressent quoi ? qui n’est pas d'accord sur quoi ?
Moyen de communication: promouvoir le travail collaboratif
- A distance, une salle de réunion virtuelle pour la personne à distance.
- Sur place, une table de réunion avec une caméra à 360°, placé au centre, qui peut voir toutes les personnes autour de la table.
- La BeCo'Lab permet d'interagir avec les personnes qui travaillent en synchrone, et elle permet de retrouver les traces de ce qui a été fait si une personne était absente et cette personne peut interagir sur la plateforme plus tard (asynchrone)
Discussion et évaluation
--> La plus-value de la technologie numérique ciblée, et le dispositif d'évaluation à mettre en œuvre pour rendre compte de cette plus-value
Traces et stockage des données
grâce à l'onglet "archivage" sur la plateforme BCo'Lab
Évaluation
- Dans quelle mesure est-ce que les utilisateurs des gants haptiques arrivent à percevoir toutes les propriétés de l’objet (poids, texture, etc.) ?
- Dans quelle mesure la caméra 360° et le robot permettent de communiquer avec les autres membres de l’équipe ?
- Dans quelle mesure le casque de réalité virtuelle et les gants permettent d’aider à la conception et à la modification du prototype
Plus-value
Notre dispositif permet un suivi de la création de l’objet tangible en temps réel à distance. En mettant le casque de réalité virtuelle et les gants haptiques, il est possible de sentir l’objet et de le voir sous ses yeux. Il est possible d’avoir accès à l’objet une fois qu’il est imprimé en 3D, mais aussi avant son impression, ce qui permet de mieux visualiser la conception de l’objet.
Les personnes n’ont pas besoin de se déplacer au FacLab pour voir l'évolution du projet et peuvent modifier l’objet directement dans l’espace virtuel, ce qui permet une réelle collaboration entre les personnes à distance et les personnes en présence.
Avantage : uniquement la personne à distance porte le casque.
Avantage : dispositif qui va du numérique au physique et inversement.
Limites
Le port du casque à réalité virtuelle peut causer de la fatigue, voir des maux de tête, s'il est trop utilisé. Il faut donc privilégier des séances de conception ou de modification du prototypes courtes avec le groupe.
Nous privilégions également un dispositif simple et faisable plutôt qu’un dispositif complexe et très développé, ce qui peut rendre le tout moins original.
Pour ce projet, nous nous somme concentré sur l'aspect collaboratif en présence/distance et en synchrone/asynchrone, mais nous n'avons pas eu l'occasion d'approfondir la dimension d'awareness qui aurait permit de mieux suivre et comprendre les émotions des collaborateurs lors d'un projet en multimodalité et qui ne nous donne pas d'informations sur le ressenti immédiat des participants (est-ce qu'ils ont du plaisir et de l'intérêt à travailler en groupe ? et est-ce qu'ils ressentent suffisamment la présence des autres même à distance ?). Ce point reste donc à creuser et à approfondir.
Références
https://cui.unige.ch/fr/pin/faclab/
Gaëlle Molinari et Elsa Schneider, 2020