BeCo'Lab

Introduction

Résumé

BeCo'Lab est une plateforme collaborative pour la création d'objets tangibles qui permet la continuité en présence et à distance et en synchrone/asynchrone grâce à la technologie des gants haptiques et du casque à réalité virtuelle intégrée dans la plateforme. L'accès aux traces des différents étapes de conception d'un objet est disponible dans une section dédiée à l'archivage et au stockage des données sur la plateforme BeCo'Lab. L'awareness est rendu possible au travers du canal de communication auditif et visuel.

Descriptif du projet

Contexte

Dans le cadre du cours ADID I 2022, Nathalie Borgognon, commanditaire du projet, nous a demandé de concevoir un prototype phygital pour la continuité présence-distances des activités du FacLab (laboratoire de fabrication) de Genève. Nous avons conçus une plateforme qui permet la collaboration entre plusieurs membres d'une équipe, qui travaille simultanément en présence et à distance, mais aussi de manière non synchrone.

Objectifs

Notre objectif est de créer un outil phygital qui permette la continuité, l'awareness et la communication en présente/distance et en synchrone/asynchrone​. Concrètement, il s'agit de permettre aux utilisateurs de l'outil de partager une production tangible avec des personnes à distances, en synchrone et en asynchrone.

Public cible

Afin d'ancrer ce prototype dans un contexte réel et réaliste, nous avons adapté notre projet à l'équipe de Beekee, mais celui-ci s'ouvre également à tous les membres du FacLab qui effectuent un travail collaboratif en présence et à distance. Beekee est une start-up Suisse axée sur l'impact. Ces fondateurs, Vincent Widmer et Sergio Estupiñán, docteurs en technologies éducatives, sont convaincus que des technologies bien conçues peuvent jouer un rôle important dans la promotion d'une éducation de qualité.

Équipe du projet

Notre équipe, Casse-tête Concept, est composée de Ana Rajic, Emma Schenkenberg van Mierop et Mehdi Laouini, étudiants en première année au master MALTT.

Besoins

--> Le besoin et/ou le problème concret qu’il faut outiller d’un point de vue technologique.​

Notre public cible souhaite pouvoir travailler en collaboration sur un produit tangible lorsqu’ils se trouvent au FacLab et ailleurs. Il s’agit donc de permettre la continuité physique/numérique de la collaboration entre ce qui est produit dans l’environnement physique (les objets tangibles tels que la Beekee Box ou Beekee Hub crées avec l'imprimante 3D) et ce qui est produit dans l’environnement virtuel/digital (les objets intangibles, tels que la Beekee Box virtuelle, la plateforme BeCo'Lab, etc.).​

Il s'agit aussi de permettre la continuité présence/distance entre les activités au sein et en dehors du FacLab (ex. lorsque l'équipe retourne chez elle ou ne peut pas accéder au FacLab et assister aux réunions en présence).

Problème/challenge : Comment partager les productions tangibles à distance ?

Revue de la littérature

Conception et collaboration

FacLab

Le FacLab est le laboratoire de fabrication de l'Université de Genève. Il se trouve dans une ancienne cafétéria au milieu du parc de Battelle, à Carouge. Il est basé sur le concept des Fab Lab, qui permet l'invention grâce à des outils de fabrication numérique. C'est un réseau mondial de laboratoires locaux.

Le FacLab a pour objectif de "placer la fabrication, au sens large, au coeur de l'université". Il accueille des étudiants, des chercheurs, des associations et des citoyens. Il permet la création et le partage d'artefacts tangibles, en utilisant l'impression 3D, la découpe au laser ou la broderie numérique, ainsi que la création et le partage de l'intangible comme des lois, des expériences ou des modèles économiques. L'apprentissage est collaboratif et a "comme fondement la pérennisation de la connaissance produite et accumulée sous forme de bien commun".

Hybridation

c.f. Diapos P3 + articles associés

Depuis plusieurs années, le domaine de la pédagogie s'est tourné vers le domaine des technologies numériques pour créer un espace hybride ou le physique et le digital se rencontrent afin de permettre une dimension fusionnée que Nathalie Borgognon nomme l'espace phygital. Dans cet idéal de continuité entre les dimensions physique/numérique, présence/distance et synchrone/asynchrone, notre prototype devrait être en mesure d'allier les interactions sociales, c'est-à-dire le travail collaboratif et la régulation socio-émotionnelle, avec ces espaces d'apprentissage hybrides afin de permettre une continuité dans l'apprentissage. (c.f. diapos Nathalie Borgognon)

Le FacLab est un parfait exemple d'espace hybride sur tout les points : on y passe du tangible à l'intangible, dans un espace qui est entre le formel et l'informel, et entre l'académique et le non académique. La collaboration fonctionne selon une communauté de pairs (étudiants, professeurs, administrateurs, etc.) qui implique un changement de casquette/rôle des membres du FacLab. Ainsi, un étudiant peut à la fois être un usager, contibuteur et facilitateur (c.f. Diapos Nathalie Borgognon).

Schéma produit dans le cadre de la thèse de Nathalie Borgognon

Tangible

Tangible provient du latin tangere qui signifie "palpable", que l'on peut "toucher". Un objet tangible est donc un objet physique, et non un objet virtuel sur un écran. Se sont "des objets présents, matériels et haptiques qui ont donc une réalité physique dans un lieu, un environnement et un contexte" (Klanten et al, dans Molinari, 2020). Les objets tangibles, par leur nature même, invitent à être touchés par les utilisateurs et provoquent des gestes qui leur sont spécifiques (Molinari et Schneider, 2020). Ils permettent aux étudiants d'effectuer des actions concrètes grâce à leur manipulation et au feedback multimodal (visuel, auditif et haptique) (ibid).

Le design tangible prend une place prépondérante dans le FacLab. Les membres (étudiants, enseignants, collaborateurs etc.) conçoivent régulièrement des prototypes physiques. Dans notre situation, il y a quelques membres en présence et quelques membres à distance. Le design tangible pourrait soutenir la volition en formation à distance. (Molinari)

Le design tangible peut soutenir l'apprentissage grâce à la manipulation d'objets physiques. (https://dl.acm.org/doi/abs/10.1145/1517664.1517688)

Technologie

Gants haptiques

Les objets tangibles sont utilisés dans la réalité virtuelle pour améliorer les informations haptiques sur la forme générale des objets virtuels. Cependant, ils sont souvent passifs ou incapables de simuler des propriétés mécaniques riches et variées. L’utilisation de dispositifs haptiques, comme des gants, permet la conception et la modification des objets tangibles créées par les utilisateurs. Une étude (Salazar et al, 2020) montre l’effet de la combinaison d’objets tangibles avec des haptiques portables pour améliorer les sensations de rigidité, de friction et de forme. En fournissant des stimulas cutanés, il est possible de donner l'impression qu'un objet est plus mou ou plus glissant qu'il ne l'est réellement, ou de créer l'illusion de rencontrer des bosses et des trous virtuels.

Une deuxième étude, tente également de combler à ce manque de retour haptiques, en concevant Wireality (Fang et al, 2020). Il a été conçu pour permettre aux utilisateurs de recevoir un retour haptique fort et complet d’objets, au travers des articulations de la main. Cela permet des interactions tangibles et convaincantes avec des géométries complexes, comme par exemple enrouler les doigts autour d'une balustrade.

Cet outil, habituellement utilisé seul, peut aussi être employé lors de travaux de groupes. Il existe à l'heure actuelle peu de recherches à propos de l'utilisation de gants haptiques dans des travaux de groupe, mais il est possible de trouver quelques dispositifs similaires.

Une recherche (Aguerreche et al, 2010) a été effectuée sur des dispositifs tangibles reconfigurables par la manipulation d’objets virtuels en 3D par un ou plusieurs utilisateurs. Ils ont découvert que pour manipuler le RTD-3, une personne tient un côté et une autre personne tient les deux autres côtés. Ensemble, ils déplacent le triangle en coordonnant leurs mouvement ce qui permet de faire une translation et une rotation de l’objet virtuel.

Une deuxième recherche (Salzmann et al, 2009), a permis de montrer qu’il est possible d’améliorer la manipulation collaborative 3D en réalité virtuelle grâce aux liens rigides entre les mains des utilisateurs qui peuvent agir comme un retour haptique passif.

Prototype

Scénario d'usage

Notre prototype a été imaginé pour l'équipe de Beekee qui comporte une équipe possédant des compétences en conception pédagogique, en ingénierie, en développement de logiciels, en UX, en impression 3D et en recherche, et composé de 6 membres : deux fondateurs, un ingénieur pédagogique, un graphiste, un ingénieur système, un CEO & CFO. Ils ont crée une Beekee Box et une Beekee Hub au FacLab et à distance, en synchrone et en asynchrone. Ils ont toutefois eu des difficultés à conceptualiser et à créer leurs objets tangibles en étant à différents endroits.

Nous avons identifié 4 étapes pour le processus :

• Une phase réflexive où ils identifient un besoin auquel il faut répondre en faisant des brainstormings.
• Une phase conceptuelle qui permet de créer un premier prototype en digital puis de l'imprimer en 3D. Ils peuvent découvrir ici des problèmes à résoudre.
• Une ou des phase(s) itérative(s) où ils modifient le prototype après un feedback général et impriment à nouveau le prototype en 3D.
• Une phase finale qui permet l'impression du prototype finalisé et le test auprès d'utilisateurs potentiels.

De manière générale, l'équipe communique initialement via Zoom et Discord lorsqu'ils travaillent en synchrone et via un gestionnaire de tâche dans l'onglet discussion, pour faire un retour sur l'avancée des travaux (messages, audio ou vidéo) lorsqu'ils travaillent en asynchrone.

Les problèmes qu'ils rencontrent ont lieu lorsque les personnes à distance souhaite contrôler la conception en physique de leur Beekee Box ou Beekee Hub. En effet, il ne leur est pas possible de manipuler l'objet et ainsi d'évaluer sa taille réelle, sa texture ou son poids.

• Problème rencontré et solution proposée avec dispositif phygital​

1. Le graphiste imprime un premier prototype de la Beekee Box en 3D.
2. Il souhaite le montrer aux fondateurs qui sont à distance et leur envoie une photo, mais ces derniers n’arrivent pas à bien voir l’objet.
3. Le graphiste prend alors l’objet en main avec ses gants haptiques et ses collègues mettent leurs casques de réalité virtuelle et les gants. Ils peuvent maintenant toucher la Box, sentir sa texture et son poids.
4. Les fondateurs réalisent alors que ce premier prototype ne peut pas être transporté, car il est trop grand et trop lourd.

style="color:white;background-color: 3581D8;"| Cas pratique du BeCo'Lab

style="background-color: CCDFF5;"| Le graphiste a conçu un premier prototype de la Beekee Box, il organise un rendez-vous pour le présenter. ​ ​ Les personnes à distances mettent le casque et les gants et les personnes au FacLab allument la caméra 360 et le robot. Le graphiste (G) met les gants haptiques. ​ ​ G : « J'ai imprimé le premier prototype, mais j’ai remarqué qu’il y avait un défaut de conception là. » (Il pointe avec son gant sur l’endroit en question). ​ ​ Un collègue à distance (CàD), qui voit le prototype dans son casque VR, voit une lumière rouge sur le défaut. ​ ​ CàD : « Ah oui, c’est lié à l’imprimante 3D ou à la conception sur le logiciel ? »​ ​ G : « C’est dû à l’imprimante, je l’ai mal réglé, mais sinon tu en penses quoi ? » ​ ​​ ​ CàD : « J’aime bien la texture alvéolée de la Box, par contre il est beaucoup trop lourd et là (il pointe à un endroit) il faudrait mettre le câble de branchement.» ​ ​ Le graphiste prend la box et ressent une vibration au niveau pointé par son collègue. ​ ​ G : « Oui tu as raison, elle doit être transportable donc ça ne va pas. Je vais changer ça et ajouter le câble. » ​

Outils : caractéristiques techniques

Gants haptiques et casque VR

• Phase conceptuelle :  utilisation du casque de réalité virtuelle et des gants haptiques pour modifier le prototype dans l'espace virtuel. Ils sont utilisables par l'équipe au FacLab et par ceux qui travaillent à distance.

​

• Phase itérative : utilisation du casque de réalité virtuelle et des gants pour observer, toucher et sentir le prototype imprimé en 3D lorsque l'on travaille à distance, en créant une immersion visuelle, auditive et kinesthésique. Ils peuvent modifier le prototype dans l'espace virtuel.  ​

BeCo'Lab connecte les différents outils tangibles (gants haptiques, casque de réalité virtuelle, caméra 360°, etc.) , ainsi que les outils intangibles, (vidéochat, discussion, archivage, etc.). ​Chacun des membres travaillant sur le projet se connecte sur la plateforme pour avancer et le reste de l'équipe reçoit l’information (avec une notification sur l'icône correspondante, ex. Conception) et peut entrer en interaction avec les membres connectés. ​Cette plateforme permet à chacun de suivre l’évolution du projet, de rejouer certains événements (réunion, avancée etc.) pour se mettre à jour, grâce à un journal de bord (traces).​

Plateforme centrale BeCo'Lab : interface et interactions qui en découlent

Généralités

• BeCo'Lab connecte les différents outils tangibles (gants haptiques, casque de réalité virtuelle, caméra 360°, etc.) , ainsi que les outils intangibles, (vidéochat, discussion, archivage, etc.). ​
• Chacun des membres travaillant sur le projet se connecte sur la plateforme pour avancer et le reste de l'équipe reçoit l’information (avec une notification sur l'icône correspondante, ex. Conception) et peut entrer en interaction avec les membres connectés. ​
• Cette plateforme permet à chacun de suivre l’évolution du projet, de rejouer certains événements (réunion, avancée etc.) pour se mettre à jour, grâce à un journal de bord (traces).​

Archivage et stockage des données

Le journal de bord permet l'archivage et le contrôle des versions de conception sur le site BeCo'Lab (permet de revisualiser les anciennes versions ainsi que de voir ce qui a été fait pendant l’absence d’un des pairs) :​Archivage des vidéochats et des discussions en lien avec la version de l’objet. ​Les personnes peuvent rejouer le moment de conception en asynchrone.​ Si nécessaire, le journal de bord nous permet de revenir à d'anciennes versions, par exemple, une version sans erreurs (sans perte de données).

Types de manipulations possibles (en présence et à distance) : fonctions du point de vue utilisateur

La technologie utilisée dans ce prototype est une sorte d'outil d'awareness qui permet de comprendre et de suivre le raisonnement des collaborateurs à distance : ce qu'ils font, regardent ou montrent et à quel moment et où ils le font :

• Pour une modification virtuelle sur l'objet : le modèle existe déjà en 3D sur la plateforme et les gants permettent à la personne à distance de pointer les éléments qui ont besoins de changement (par retour de vibration si uniquement port des gants, ou lumière si port du casque par les personnes en présence) ​
• Pour une modification dans le réel au Faclab : les gants permettent de scanner l’objet, sa texture, sa dureté, sa taille réelle, etc. et d’envoyer ces informations à la personne à distance afin qu’elle puisse “sentir” (gants) et voir (casque) les changements qui ont été fait sur l’objet tangible.

• La personne à distance portant le casque : la personne entend et parle dans la discussion avec l'audio et le micro intégré et elle voit l'objet virtuel en face d'elle, mais aussi les vidéos de chacun des membres du groupe qui sont disposées autour de la personne à distance dans le monde virtuel.​

• Les autres personnes présentes au faclab : ne portent pas de casque mais elles portent les gants quand c’est nécessaire (ex. pour pointer un élément de l’objet tangible qui sera visible par la personne à distance, grâce à un pointeur lumineux rouge sur l’objet virtuel).​
• Si la personne à distance pointe à son tour un élément de l’objet virtuel (visible grâce au pointeur lumineux rouge) les personnes en présence mettent les gants et ressentent une vibration à l’endroit pointé de l'objet tangible. ​

Les aspects d'awareness manquants sont les questions suivantes : qui interagit avec qui ? qui a participé à combien ? qui sait quoi ? qui ressent quoi ? qui n’est pas d'accord sur quoi ?

Moyen de communication: promouvoir le travail collaboratif

• A distance, une salle de réunion virtuelle pour la personne à distance. ​
• Sur place, une table de réunion avec une caméra à 360°, placé au centre, qui peut voir toutes les personnes autour de la table. ​
• La BeCo'Lab permet d'interagir avec les personnes qui travaillent en synchrone, et elle permet de retrouver les traces de ce qui a été fait si une personne était absente et cette personne peut interagir sur la plateforme plus tard (asynchrone)

Discussion et évaluation

--> La plus-value de la technologie numérique ciblée, et le dispositif d'évaluation à mettre en œuvre pour rendre compte de cette plus-value

Traces et stockage des données

grâce à l'onglet "archivage" sur la plateforme BCo'Lab

Évaluation

• Dans quelle mesure est-ce que les utilisateurs des gants haptiques arrivent à percevoir toutes les propriétés de l’objet (poids, texture, etc.) ? ​
• Dans quelle mesure la caméra 360° et le robot permettent de communiquer avec les autres membres de l’équipe ?​
• Dans quelle mesure le casque de réalité virtuelle et les gants permettent d’aider à la conception et à la modification du prototype

Plus-value

Notre dispositif permet un suivi de la création de l’objet tangible en temps réel à distance. En mettant le casque de réalité virtuelle et les gants haptiques, il est possible de sentir l’objet et de le voir sous ses yeux. Il est possible d’avoir accès à l’objet une fois qu’il est imprimé en 3D, mais aussi avant son impression, ce qui permet de mieux visualiser la conception de l’objet.

Les personnes n’ont pas besoin de se déplacer au FacLab pour voir l'évolution du projet et peuvent modifier l’objet directement dans l’espace virtuel, ce qui permet une réelle collaboration entre les personnes à distance et les personnes en présence.

Avantage : uniquement la personne à distance porte le casque.

Avantage : dispositif qui va du numérique au physique et inversement.

Limites

Le port du casque à réalité virtuelle peut causer de la fatigue, voir des maux de tête, s'il est trop utilisé. Il faut donc privilégier des séances de conception ou de modification du prototypes courtes avec le groupe.​

Nous privilégions également un dispositif simple et faisable plutôt qu’un dispositif complexe et très développé, ce qui peut rendre le tout moins original.

Pour ce projet, nous nous somme concentré sur l'aspect collaboratif en présence/distance et en synchrone/asynchrone, mais nous n'avons pas eu l'occasion d'approfondir la dimension d'awareness qui aurait permit de mieux suivre et comprendre les émotions des collaborateurs lors d'un projet en multimodalité et qui ne nous donne pas d'informations sur le ressenti immédiat des participants (est-ce qu'ils ont du plaisir et de l'intérêt à travailler en groupe ? et est-ce qu'ils ressentent suffisamment la présence des autres même à distance ?). Ce point reste donc à creuser et à approfondir.

Références

https://beekee.ch/

https://people.rennes.inria.fr/Anatole.Lecuyer/aguerreche_vrst10.pdf

https://www.uni-weimar.de/fileadmin/user/fak/medien/professuren/Virtual_Reality/documents/publications/2009-JVRC-Collaboration.pdf

https://cui.unige.ch/fr/pin/faclab/

https://www.faclab.ch/faclab

https://dl.acm.org/doi/abs/10.1145/3313831.3376470 gants haptiques

Gaëlle Molinari et Elsa Schneider, « Soutenir les stratégies volitionnelles et améliorer l’expérience des étudiants en formation à distance. Quels potentiels pour le design tangible ?  », Distances et médiations des savoirs [En ligne], 32 | 2020, mis en ligne le 12 décembre 2020, consulté le 21 décembre 2022. URL : http://journals.openedition.org/dms/5731 ; DOI : https://doi.org/10.4000/dms.5731