DeskToo

Une table sur laquelle est installé le système de capteurs de DeskToo.

Introduction

Contexte

Dans le cadre du cours ADID du master MALTT, La commanditaire Nathalie Borgognon nous a mandatés afin de concevoir un prototype phygital permettant au FacLab d’assurer une continuité synchrone-asynchrone et présence-distance dans ses divers projets tels que la conception d’objets tangibles et intangibles.

Faclab

Le Faclab se situe dans le parc Battelle à Carouge et se définit comme “un espace de création, de partage et d’apprentissage collaboratif”. La création peut être tangible (ex: impression 3D) ou intangible (ex: modèles économiques).

Description du projet

DeskToo est un espace de travail connecté mêlant fabrication digitale et manuelle, réparation et modification d’appareils, numérisation d’appareil et création de documentation. Cette technologie est amovible, elle peut être déplacée et installée ailleurs rapidement. DeskToo permet de participer et d’interagir à une séance de travail présentielle en étant à distance. L'intégration de pointeurs lasers permet d’indiquer quelles modifications faire, signaler un dysfonctionnement, etc. Notre technologie contient un applicatif pour ordinateur, un numériseur de pièces ainsi que des capteurs angulaires.

L'application permet notamment aux utilisateurs de naviguer dans une séance de travail numérisée précédemment, que ce soit pour se mettre à jour dans un projet, ou pour revoir un passage intéressant d’une séance à laquelle la personne à participé.

Le numériseur de pièces est composé d’une tête mobile avec divers capteurs et un plateau tournant. Le tout est contrôlé par l’application DeskToo Client (en présence ou à distance).

Les capteurs angulaires sont au nombre de 4 et déterminent l’espace de travail. Chaque capteur possède une caméra 360° qui permet de simuler l’espace de travail réel dans l’application.

Notre équipe

Notre équipe de concepteurs est composée de 3 étudiants de première année du master MALTT. Il s’agit de LANGEL Ninn, VOIROL Ivan et GENERELLI Marco.

Besoin

Au sein du Faclab, les projets menés visent la conception de produits aussi bien numériques que physiques, ces projets naviguent donc entre tangible et intangible. Cette combinaison tangible-intangible constitue une problématique dans la continuité du travail effectué dans le cadre de ces projets. En effet, le tangible et l’intangible ne sont pas aisément interfacés, et sans outils adéquats pour les connecter et les relier efficacement, des discontinuités peuvent apparaître. Ces discontinuités sont de plusieurs types, car elles existent selon différentes dimensions :

• La discontinuité tangible/intangible : Les ressources mobilisées par le projet sont partagées entre des espaces réels et virtuels, ce qui pose le problème de la gestion de ressources qui ne sont pas du même ordre.
• La discontinuité présentiel/distanciel : La collaboration au sein de l’équipe peut être effectuée avec des collaborateur•trice•s à distance, qui ne sont pas présent•e•s sur le lieu de conception, ce qui pose le problème du partage des émotions, des informations et des connaissances, et donc de la communication.
• La discontinuité synchrone/asynchrone : Les traces permettant de comprendre l’avancée du projet (les choix de conceptions, les étapes suivies, les tâches à réaliser, les difficultés vécues, etc.) ne sont pas aisément produites, ou peuvent être numériques (données informatiques) et/ou physiques (dossiers écrits, notes manuscrites, objets physiques, etc.), ce qui pose le problème de la documentation du projet. De plus, en asynchrone, il est difficile d’avoir de l’awareness émotionnelle des membres de l’équipe.
• La discontinuité réel/virtuel : Les outils de conception utilisés dans le cadre du projet, servent à manipuler des ressources tangibles et/ou intangibles, ce qui pose le problème de la manipulation de ressources selon plusieurs dimensions.

Ces 4 types de discontinuité peuvent introduire des obstacles au bon déroulement des projets de conception, notamment en entravant la créativité de l’équipe, la santé mentale des collaborateur•trice•s, ou leur engagement dans le projet. Notre solution répond à la problématique introduite par ces 4 types de discontinuité, et par conséquent a pour objectif de pallier les obstacles qui résultent de ces discontinuités.

Revue de littérature

Les technologies de notre solution

Notre solution technologique permet la numérisation et l’interaction avec un espace tridimensionnel, qui correspond à l’espace de travail offert par une table ordinaire. Cet espace tridimensionnel peut être représenté par une boîte de la largeur et la longueur de la table, et de la hauteur nécessaire pour intégrer tous les objets et mouvements techniques des utilisateurs : la surface de la table multipliée par une certaine hauteur “de travail”. Les outils physiques de notre dispositif sont donc des éléments qui répondent à deux fonctions principales : numériser un espace tridimensionnel et communiquer au sein de cet espace tridimensionnel. Les systèmes de capteurs DeskEye que nous utilisons (voire Prototype final et description), placés sur les 4 coins de la table, assurent cette double-fonction.

Ces systèmes de capteurs sont composés de plusieurs types de capteurs permettant de numériser l’espace de travail en temps réel.

Ces systèmes de capteurs comprennent également des pointeurs laser, avatars de la présence de collaborateur.trice.s en ligne. Ces derniers assurent la communication au sein de l’espace de travail. L’usage du pointage laser à des fins collaborative est ici outil d’awareness, comme il peut l’être dans d’autres contextes de travaux collaboratifs virtuels. En effet, le pointage laser a déjà été testé comme outil d’awareness en réalité virtuelle (Duval et Fleury, 2009), et notre proposition ne fait que reproduire cette technique dans un espace de travail physique réel.

Prototype final et description

Table équippée du dispositif DeskToo.

Notre prototype a été pensé pour répondre à plusieurs problématiques et ce dans une multitude de configurations. Il offre des possibilités de gestion des hybridations digital - analogique, distance - présence et synchrone - asynchrone. Le dispositif a été pensé pour être facile d’installation et flexible dans son usage. Le concept fondamental est la virtualisation de l’espace de travail, pour palier aux limitations de la vidéo comme moyen de collaborer à distance. Le dispositif utilise un ensemble de capteurs et un algorithme complexe pour convertir l’espace de travail central et les personnes présentes en un modèle mêlant 3d et vidéo.

Le dispositif comprend deux composantes physiques : le système de capteurs et pointeurs ainsi que le serveur auquel ils sont raccordés, et deux composantes logicielles : l’application serveur et son algorithme DeskStitch, ainsi que l’application client.

Il faut donc virtualiser toutes les données. Un dispositif doit être capable de scanner et d’intégrer automatiquement n'importe quel petit dessin, post-it ou autre fait sur papier.

Capteurs (DeskEye)

Un capteur DeskEye.

Le système de fixation d'un capteur DeskEye.

Les systèmes de capteurs sont au nombre de 4, un par coin de la surface de travail qui est nécessairement rectangulaire. Un système de capteurs est composé d’un support vertical en profilé d’aluminium extrudé sur lequel se déplace verticalement la tête de capture pivotante. Celle-ci comporte 3 capteurs optiques, 1 dispositif LIDAR et 1 pointeur laser.

Le support est monté dans l’angle avec un système d'étau à came permettant une installation rapide et sûre, et un démontage aisé. Le câblage est caché dans le profilé, et les 4 têtes de capture sont raccordées au serveur par réseau Gigabit et alimentées en POE.

Serveur

Le serveur est le centre névralgique de DeskToo. Il est l’hôte de l’algoritme DeskStitch, qui rassemble tous les signaux pour construire l’environnement de travail virtuel. Il contient également un Raid Array pour stocker les données générées, ainsi que l’application DeskToo Server qui permet la connexion au service. L’application et le serveur sont contrôlés à distance via l’application client.

Algorithme DeskStitch

L’algoritme DeskStitch est la pièce maîtresse du système DeskToo. Il a deux fonctions principales : il reçoit le flux des 4 capteurs LIDAR et reconstitue un modèle 3D détaillé de la table et son contenu. Il reçoit également les 4 x 3 flux vidéo qu’il utilise pour texturer le modèle 3d de la zone de travail et constituer l’environnement virtuel hybride 2D - 3D qui donne l’illusion d’être dans la pièce avec les collaborateurs en temps réel, particulièrement si la personne distante porte un casque de VR.

Client

L’application client est l’interface digitale principale avec DeskToo, que ce soit à distance ou en présentiel. Elle se connecte à un serveur DeskHub et au projet sur lequel on veut travailler.

Présence

Interface Client en présence, visualisation de pièces et de d'objets via modèles 3D numérisés.

Interface Client en présence, bibliothèque des réunions, visionnage des réunions.

• Manipuler les modèles 3D des objets présents dans l’environnement
  • Les visualiser, zoomer, assembler etc.
  • Les cataloguer
  • Lire et modifier les métadonnées qui y sont associées
• Utiliser le numériseur de pièces pour obtenir un modèle plus détaillé.
• Affiche les flux audio-vidéo des personnes connectées à distance (il est possible de connecter plusieurs clients en local pour que chaque personne distante soit visible simultanément).
• Accéder à l’enregistrement du flux DeskStitch du projet, c'est-à-dire qu’on peut le visionner et s’y déplacer de manière asynchrone.

Distance

Interface client à distance, visuel de la réunion et des modèles 3D du projet en cours.

• Les même fonctionnalités qu’en local ainsi que :
• Naviguer l’environnement DeskToo en temps réel.
• Connecter un casque de VR pour une meilleure immersion dans l’environnement.
• Sélectionner un point dans l’environnement DeskToo et y faire pointer les laser des capteurs DeskEye

Scénarios d’usage

Nous avons créé un scénario d’usage permettant de visualiser concrètement le fonctionnement de notre technologie. Pour ce scénario, le travail se fait sur un objet physique qui est en développement au FacLab avec 3 personnes présentes, une personne à distance et une personne qui naviguera le flux DeskStich en asynchrone. Voici ci-dessous, le déroulement classique de ce projet en utilisant DeskToo, notre technologie.

Première étape :

Pour commencer, il est nécessaire d’installer le matériel. Premièrement, les capteurs doivent être installés aux 4 coins d’une table (la taille de la table peut varier mais elle est nécessairement rectangulaire). Deuxièmement, il faut les connecter en réseau pour que le serveur les reconnaisse et lance un calibrage automatique d’une durée approximative de cinq minutes. Une fois cela fait, les lasers vont s’allumer quelques secondes pour informer les utilisateurs que le calibrage est terminé. Troisièmement, le numériseurs est installé sur la table, et comme les capteurs, il doit être branché au réseau afin d’établir la connexion avec le serveur. Une fois tout cela préparé, grâce à l'application sur l’ordinateur, il faut lancer l’enregistrement de la réunion dès que tout le monde est présent. Afin de faciliter la connexion à une réunion, il est possible de faire des liens et de les envoyer directement aux collaborateurs par mail ou autre moyen de communication.

Avant de se connecter, le collaborateur à distance peut, s’il le désire, connecter le numériseur portable en réseau afin de proposer diverses solutions lors des discussions sur l’objet. Ensuite, il peut se connecter sur l’application grâce à son compte et cliquer sur le lien qui lui a été envoyé. Dès lors où tous les participants sont présents, la réunion peut débuter.

Deuxième étape :

Lors d’une séance de travail, DeskToo permet diverses actions pour les personnes en présence et celles à distance. Chaque acteur peut ainsi interagir avec le matériel et montrer ce qu’elle fait sur l’objet. S’il s’agit d’une personne présente, chaque action, chaque pièce déplacée, sera directement transmise et enregistrée sur l'application et permet aux personnes à distance de voir en détail ce qui se fait. De plus, grâce aux caméras, la personne à distance à une vision d’ensemble de la pièce et de ce que font chaque acteurs. S’il s’agit d’une personne à distance, il lui est possible d'interagir avec le modèle 3D de l’objet et d’indiquer des changements à apporter grâce à un pointeur laser directement relié à l’application. De plus, grâce à un numériseur portable, il lui est possible de numériser des pièces qu’il a à sa disposition pour l’implémenter dans le modèle 3D et voir si cela fonctionne. Ainsi, il peut participer activement au développement et l'avancée du projet.

Après la séance de travail présentielle, le collaborateur asynchrone peut, en se connectant sur l’application, aller dans la bibliothèque virtuelle, sélectionner le flux DeskStitch de la séance sur le serveur et en visionner le déroulement afin d’être à jour. Automatiquement, des time-codes sont ajoutés pour les moments clés afin de faciliter la navigation dans la time-line d’une réunion qui peut s’avérer très longue.

Troisième étape :

Afin de libérer de l’espace pour d’autres projets, notamment en lien avec de la réalité virtuelle (VR), les capteurs peuvent être très simplement enlevés et rangés dans un étui spécialement conçu pour garantir la sécurité du matériel. Quant aux tables, étant normales , il suffit juste de les déplacer.