DeskToo

Une table sur laquelle est installé le système de capteurs de DeskToo.

Introduction

Contexte

Dans le cadre du cours ADID du master MALTT, la commanditaire Nathalie Borgognon nous a mandaté afin de concevoir un prototype phygital permettant au FacLab d’assurer une continuité synchrone-asynchrone et présence-distance dans ses divers projets tels que la conception d’objets tangibles et intangibles.

Faclab

Le Faclab se situe dans le parc Battelle à Carouge et se définit comme «un espace de création, de partage et d’apprentissage collaboratif». La création peut être tangible (ex: impression 3D) ou intangible (ex: modèles économiques).

Description du projet

DeskToo est un espace de travail phygital, virtualisé et connecté. Il permet le travail collaboratif en présence et à distance, synchrone et asynchrone, sur des projets tangibles ou intangibles.

DeskToo construit un flux 3D de l’environnement de travail et des personnes présentes en temps réel, à partir des capteurs disposés aux angles de la table sur laquelle est effectué le projet. Les personnes présentes autour de la table sont également filmées et enregistrées. Les utilisateurs à distance ou en asynchrone peuvent se connecter à ce flux d'informations, s’y déplacer et y communiquer. Les pointeurs-laser commandés par l’application leur permettent d'interagir sur les objets tangibles dans l’espace de travail, tout en étant à distance.

Le dispositif est simple à mettre en œuvre. En plus du serveur qui reste toujours connecté, les capteurs et le numériseur de pièce peuvent être installés ou démontés en 15 minutes sur une ou plusieurs tables du FacLab.

Notre équipe

Notre équipe de concepteurs est composée de 3 étudiants de première année du master MALTT. Il s’agit de LANGEL Ninn, VOIROL Ivan et GENERELLI Marco.

Besoin

Au sein du Faclab, les projets menés visent la conception de produits aussi bien numériques que physiques, ces projets varient donc entre tangible et intangible. Cette combinaison entre tangible et intangible constitue une problématique dans la continuité du travail effectué dans le cadre de ces projets. En effet, le tangible et l’intangible ne sont pas aisément interfacés, et sans outils adéquats pour les connecter et les relier efficacement, des discontinuités peuvent apparaître. Ces discontinuités sont de plusieurs types, car elles existent selon différentes dimensions :

• La discontinuité tangible/intangible : Les ressources mobilisées par le projet sont partagées entre des espaces réels et virtuels, ce qui pose le problème de la gestion de ressources qui ne sont pas du même ordre.
• La discontinuité présentiel/distanciel : La collaboration au sein de l’équipe peut être effectuée avec des collaborateur•trice•s à distance, qui ne sont pas présent•e•s sur le lieu de conception, ce qui pose le problème du partage des émotions, des informations et des connaissances, et donc de la communication.
• La discontinuité synchrone/asynchrone : Les traces permettant de comprendre l’avancée du projet (les choix de conceptions, les étapes suivies, les tâches à réaliser, les difficultés vécues, etc.) ne sont pas aisément produites, ou peuvent être numériques (données informatiques) et/ou physiques (dossiers écrits, notes manuscrites, objets physiques, etc.), ce qui pose le problème de la documentation du projet. De plus, en asynchrone, il est difficile d’avoir de l’awareness émotionnelle des membres de l’équipe.
• La discontinuité réel/virtuel : Les outils de conception utilisés dans le cadre du projet, servent à manipuler des ressources tangibles et/ou intangibles, ce qui pose le problème de la manipulation de ressources selon plusieurs dimensions.

Ces 4 types de discontinuité peuvent introduire des obstacles au bon déroulement des projets de conception, notamment en entravant la créativité de l’équipe, la santé mentale des collaborateur•trice•s, ou leur engagement dans le projet. Notre solution répond à la problématique introduite par ces 4 types de discontinuité, et par conséquent a pour objectif de pallier les obstacles qui résultent de ces discontinuités.

Revue de littérature

Collaboration et Awareness

La collaboration est de plus en plus liée à la technologie. En effet, la technologie étant de plus en plus présente, elle devient partie intégrante de notre vie, jusque dans le monde professionnel. «Because technology is such an integral part of the everyday worklife for teams, it is important to understand how the technology interacts with team processes and outcomes.» (Montoya, 2011, p.452). C’est pourquoi nous nous intéressons à l’«awarness», un terme qui vient de l’anglais et signifie la conscience ou perception d’une situation ou d’un acte. Dans le cas d’une collaboration professionnelle, le «group awareness» signifie la manière de travailler et comment les collaborateurs perçoivent ce qui est fait par les autres. «In CSCL contexts, group awareness refers to the state of being informed about cognitive and social attributes of group members, and being informed about the products that group members create.» (Buder, 2021, p.295). Cela peut parfois poser problème car créer un environnement de travail efficace permettant de développer une attache sociale avec les autres n’est pas instinctif. «The main reason for these failures is that the construction of a shared understanding is a demanding task that relies on complex cognitive and social processes.» (Sangin et al., 2011, p.1059).

Lorsque le travail se fait à distance, une grande partie des indices donnés par les pairs sur leur compréhension, sont difficiles à observer, voire inexistants. «In natural face-to-face collaboration, learners have a large set of cues at their disposal to estimate their peers’ level of understanding. However, in distant collaboration settings, these contextual awareness cues are either missing or are seriously limited.» (Sangin et al., 2011, p.1060). Par le biais de ses diverses fonctionnalités (capteur, vidéo, laser, etc.), DeskToo améliore l’awareness pour les personnes à distance et celles en asynchrone.

Interaction Humain-Machine (IHM)

Comme nous l’avons déjà mentionné plus haut, les humains sont en quasi constante interaction avec les machines. Ainsi, les interfaces se doivent d’être le plus ergonomiques possible afin d’en faciliter l’utilisation et de limiter au maximum les interactions inutiles. Les études concernant les «Interactions Hommes-Machines» (IHM) proposent des solutions pour créer des interfaces intuitives et accessibles qui permettent d’atteindre les objectifs de l’utilisateur de manière efficace. La conception des interfaces de DeskToo respecte les critères de Bastien et Scapin (1993).

Les technologies de notre solution

Notre solution technologique permet la numérisation et l’interaction avec un espace tridimensionnel, qui correspond à l’espace de travail offert par une table ordinaire. Cet espace tridimensionnel peut être représenté par une boîte de la largeur et la longueur de la table, et de la hauteur nécessaire pour intégrer tous les objets et mouvements techniques des utilisateurs : la surface de la table multipliée par une certaine hauteur «de travail». Les outils physiques de notre dispositif sont donc des éléments qui répondent à deux fonctions principales : numériser un espace tridimensionnel et communiquer au sein de cet espace tridimensionnel. Les systèmes de capteurs DeskEye que nous utilisons (voire Prototype final et description), placés sur les 4 coins de la table, assurent cette double fonction.

Les têtes DeskEye sont composées de plusieurs types de capteurs permettant de numériser l’espace de travail en temps réel. En plus des capteurs LiDAR permettant de générer le modèle polygonal 3D de l’environnement, les caméras captent l’espace de travail et les personnes autour de la table, et les microphones captent l’environnement audio.

Les têtes comportent également des pointeurs laser et des haut-parleurs, avatars de la présence de collaborateur.trice.s en ligne. Ces derniers assurent la communication au sein de l’espace de travail. L’usage du pointage laser à des fins collaboratives est ici outil d’awareness, comme il peut l’être dans d’autres contextes de travaux collaboratifs virtuels. En effet, le pointage laser a déjà été testé comme outil d’awareness en réalité virtuelle (Duval et Fleury, 2009), et notre proposition ne fait que reproduire cette technique dans un espace de travail physique réel. La capture et la reproduction sonore en quadriphonie améliorent l’awareness des usagers présents et distants, puisque les échanges audio sont localisés dans le modèle 3D. L’usager virtuel perçoit les sons autour de la table en fonction de sa position, et les usagers présents reçoivent la voix de l’usager distant en fonction de son placement dans l’environnement virtuel.

LiDAR

La technologie LiDAR (Light Detection And Ranging) est une technique de mesure utilisant les propriétés d'un faisceau de lumière renvoyé vers son point d'émission (Wikipedia, 2023). Cette technique, développée dès l'invention des lasers, est devenue accessible et miniaturisée avec la sortie du Kinect de Microsoft en 2010. Elle permet, par la mesure d'un grand nombre de points, de construire un modèle 3D d'un objet. La technologie de scan 3D par LiDAR est présente dans plusieurs générations de smartphones récents, et ses applications plus pointues ne cessent de se démocratiser et de gagner en précision.

Caméra 360°

Comme leur nom l'indique, ces caméras captent la scène à 360°. Dans le cas de DeskToo, leur présence aux coins de la table permet de capter tant le contenu de celle-ci sous tous ses angles, tant ce qui se passe autour de la table. Cette technologie est mature et bon marché.

Audio spatialisé

Les premières tentatives d'audio spatialité datent de 1940 quand les studios Disney ont produit Fantasia. Depuis la technologie est devenue courante. De nombreux algorithmes permettent de créer l'impression qu'un son est émis depuis un point dans l'espace qui ne correspond pas à la localisation des haut-parleurs. C'est une technologie éprouvée et relativement simple à mettre en œuvre.

Prototype final et description

Table équipée du dispositif DeskToo.

Notre prototype a été pensé pour répondre à plusieurs problématiques, et ce dans une multitude de configurations. Il offre des possibilités de gestion des hybridations digital - analogique, distance - présence et synchrone - asynchrone. Le dispositif a été pensé pour être facile d’installation et flexible dans son usage. Le concept fondamental est la virtualisation de l’espace de travail, pour pallier les limitations de la vidéo comme moyen de collaborer à distance. Le dispositif utilise un ensemble de capteurs et un algorithme complexe pour convertir l’espace de travail central et les personnes présentes en un modèle mêlant 3D et vidéo.

Le dispositif comprend deux composantes physiques : le système de capteurs et pointeurs ainsi que le serveur auquel ils sont raccordés, et deux composantes logicielles : l’application serveur et son algorithme DeskStitch, ainsi que l’application client.

DeskEye (les capteurs)

Les systèmes de capteurs sont au nombre de 4, un par coin de la surface de travail qui est nécessairement rectangulaire. Un système de capteurs est composé d’un support vertical en profilé d’aluminium extrudé sur lequel se déplace verticalement la tête de capture pivotante. Celle-ci comporte les capteurs optiques, le dispositif LiDAR, le haut-parleur, le microphone et le pointeur laser.

Un capteur DeskEye.

Le système de fixation d'un capteur DeskEye.

Le support est monté dans l’angle avec un système d'étau à came permettant une installation rapide et sûre, et un démontage aisé. Le câblage est caché dans le profilé, et les 4 têtes de capture sont raccordées au serveur par réseau Gigabit et alimentées en POE. La tête de capture est mobile sur le profilé.

DeskHub (le serveur)

Le serveur est le centre névralgique de DeskToo. Il est l’hôte de l’algorithme DeskStitch, qui rassemble tous les signaux pour construire l’environnement de travail virtuel. Il contient également un Raid Array pour stocker les données générées, ainsi que l’application DeskToo Server qui permet la connexion au service. L’application et le serveur sont contrôlés à distance par l’application client.

DeskStitch (l'algorithme)

L’algorithme DeskStitch est la pièce maîtresse du système DeskToo. Il a deux fonctions principales : il reçoit le flux des 4 capteurs LiDAR et reconstitue un modèle 3D détaillé de la table et son contenu. Il reçoit également les flux vidéo qu’il utilise pour texturer le modèle 3D de la zone de travail et constituer l’environnement virtuel hybride 2D - 3D qui donne l’illusion d’être dans la pièce avec les collaborateurs en temps réel, particulièrement si la personne distante porte un casque de VR. C’est aussi lui qui permet l’interaction par les microphones et haut-parleurs ainsi que le guidage des pointeurs laser.

DeskToo (l'application)

L’application client est l’interface digitale principale avec DeskToo, que ce soit à distance ou en présentiel. Elle se connecte à un serveur DeskHub et au projet sur lequel on veut travailler.

Présence

Interface Client en présence, visualisation de pièces et d'objets via modèles 3D numérisés.

Interface Client en présence, bibliothèque des réunions, visionnage des réunions.

• Manipuler les modèles 3D des objets présents dans l’environnement
  • Les visualiser, zoomer, assembler etc.
  • Les cataloguer
  • Lire et modifier les métadonnées qui y sont associées
• Utiliser le numériseur de pièces pour obtenir un modèle plus détaillé.
• Affiche les flux audio-vidéo des personnes connectées à distance (il est possible de connecter plusieurs clients en local pour que chaque personne distante soit visible simultanément).
• Accéder à l’enregistrement du flux DeskStitch du projet, c'est-à-dire qu’on peut le visionner et s’y déplacer de manière asynchrone.

Distance

Interface client à distance, visuel de la réunion et des modèles 3D du projet en cours.

Les mêmes fonctionnalités qu’en local ainsi que :

• Naviguer l’environnement DeskToo en temps réel.
• Connecter un casque de VR pour une meilleure immersion dans l’environnement.
• Sélectionner un point dans l’environnement DeskToo et y faire pointer les lasers des capteurs DeskEye

Scénarios d’usage

Nous avons créé deux scénarios d’usage permettant de visualiser concrètement le fonctionnement de notre technologie. Pour ce scénario, la séance de travail est orientée sur un objet physique en développement au FacLab avec trois personnes présentes, une personne à distance et une personne qui naviguera le flux DeskStich en asynchrone. Voici ci-dessous, le déroulement classique de ce projet en utilisant DeskToo, notre technologie. Le second scénario est plus court, il démontre comment un collaborateur peut naviguer dans le flux vidéo d’une séance de travail à laquelle il a participé, pour vérifier certaines informations dont il n’est plus sûr.

Scénario 1 :

Première étape :

Pour commencer, il est nécessaire d’installer le matériel. Premièrement, les capteurs doivent être installés aux 4 coins d’une table (la taille de la table peut varier, mais elle est nécessairement rectangulaire). Deuxièmement, il faut les connecter en réseau pour que le serveur les reconnaisse et lance un calibrage automatique d’une durée approximative de cinq minutes. Une fois cela fait, les lasers vont s’allumer quelques secondes pour informer les utilisateurs que le calibrage est terminé. Troisièmement, le numériseur est installé sur la table, et comme les capteurs, il doit être branché au réseau afin d’établir la connexion avec le serveur. Une fois tout cela préparé, grâce à l'application sur l’ordinateur, il faut lancer l’enregistrement de la réunion dès que tout le monde est présent. Afin de faciliter la connexion à une réunion, il est possible de faire des liens et de les envoyer directement aux collaborateurs par mail ou autre moyen de communication.

Avant de se connecter, le collaborateur à distance peut, s’il le désire, connecter le numériseur portable en réseau afin de proposer diverses solutions lors des discussions sur l’objet. Ensuite, il peut se connecter sur l’application grâce à son compte et cliquer sur le lien qui lui a été envoyé. Dès que tous les participants sont présents, la réunion peut débuter.

Deuxième étape :

Lors d’une séance de travail, DeskToo permet diverses actions pour les personnes en présence et celles à distance. Chaque acteur peut ainsi interagir avec le matériel et montrer ce qu’elle fait sur l’objet. S’il s’agit d’une personne présente, chaque action, chaque pièce déplacée, sera directement transmise et enregistrée sur l'application et permet aux personnes à distance de voir en détail ce qui se fait. De plus, grâce aux caméras, la personne à distance à une vision d’ensemble de la pièce et de ce que fait chaque acteur. S’il s’agit d’une personne à distance, il lui est possible d'interagir avec le modèle 3D de l’objet et d’indiquer des changements à apporter grâce à un pointeur laser directement relié à l’application. De plus, grâce à un numériseur portable, il lui est possible de numériser des pièces qu’il a à sa disposition pour l’implémenter dans le modèle 3D et voir si cela fonctionne. Ainsi, il peut participer activement au développement et l'avancée du projet.

Après la séance de travail présentielle, le collaborateur asynchrone peut, en se connectant sur l’application, aller dans la bibliothèque virtuelle, sélectionner le flux DeskStitch de la séance sur le serveur et en visionner le déroulement afin d’être à jour. Automatiquement, des time-codes sont ajoutés pour les moments clés afin de faciliter la navigation dans la time-line d’une réunion qui peut s’avérer très longue.

Troisième étape :

Afin de libérer de l’espace pour d’autres projets, notamment en lien avec de la réalité virtuelle (VR), les capteurs peuvent être très simplement enlevés et rangés dans un étui spécialement conçu pour garantir la sécurité du matériel. Quant aux tables qui sont normales, il suffit de les déplacer.

Scénario 2 :

Après une réunion réalisée avec DeskToo et chaque personne présente, l’une d’elles souhaite revoir la réunion pour vérifier une information qui a été dite depuis chez lui. Cette personne peut ainsi se connecter à distance depuis chez elle, sur le client DeskToo pour visionner la réunion. La navigation dans le flux vidéo de la réunion sera améliorée grâce à des titres automatiques de certaines parties détectés par le logiciel lors de l’enregistrement qui capte les changements de sujets.

plus-value et évaluation

Plus-value

Notre technologie permet de conserver un espace de travail physique simple et intuitif. En effet, au-delà de la mise en place des capteurs et du démarrage de l’interface sur ordinateur, le mode de travail traditionnel reste inchangé. Les tâches effectuées sur la table de travail ne sont pas influencées par le système, qui gère seul la numérisation, l’enregistrement des données, la sauvegarde et le partage de ces dernières. DeskToo offre donc un confort d’utilisation, grâce à des technologies non intrusives.

DeskToo permet aisément de documenter non seulement des pièces (par des modèles 3D), mais aussi des processus de travail (enregistrement de réunions) pour faciliter la collaboration asynchrone, en permettant aux personnes qui le souhaitent de revenir sur un geste technique particulier, ou d’un extrait de conversation qui permet de comprendre

Évaluation

Pour évaluer le dispositif technologique que propose DeskToo, nous pensons étudier d’une part l’utilisation réelle et effective, et d'autre part le ressenti des utilisateurs et utilisatrices.

Utilisation réelle

L'utilisation réelle et effective de DeskToo permettrait de vérifier si toutes les fonctionnalités intégrées sont, utilisées, mais aussi, si elles le sont comme les concepteurs l'ont imaginé. Ainsi la mesure de la fréquence d’utilisation de chacune des fonctionnalités assurerait que chacune des fonctionnalités soit intégrée dans le processus de travail. Grâce à cela, les fonctionnalités pourraient être aisément modifiées pour les rendre plus adaptés aux réels besoins des utilisateurs.

Ressenti des utilisateurs et utilisatrices

Les utilisateurs et les utilisatrices recevront, de manière trimestrielle, un mail qui leur donnera accès à un questionnaire sur leur satisfaction et les éventuelles remarques et propositions d’améliorations qu’ils auraient à faire. De plus, ils pourront s’exprimer librement  et en tout temps, sur le forum du site de DeskToo.

Limite

Les représentations 3D faites par un scan ne sont pas très précises, ce qui peut poser problème selon les situations, sauf si la technologie est très avancée et que la numérisation est bien plus performante.

Notre technologie est plutôt coûteuse au vu des technologies que nous souhaitons utiliser. De ce fait, le prix de DeskToo risque aussi d’être très élevé et ne sera ainsi pas accessible à tous.

La création de prototypes sera aussi complexe car pour arriver à nos attentes, il faudra employer une grande quantité d'ingénieurs et mettre beaucoup de temps à leur disposition pour arriver à ce que l’on souhaite en termes de capacité technique.