Meta a montré un prototype de gants VR permettant de ressentir des objets dans la réalité virtuelle
Vous ne pouvez pas caresser un chien avec les nouveaux gants haptiques de réalité virtuelle de Meta et ressentir chaque détail du toucher. Mais les chercheurs s'en rapprochent. Meta (anciennement Facebook) est connue pour son virage remarqué vers la réalité virtuelle et augmentée.
Pourtant, pendant sept ans, l'entreprise a travaillé discrètement sur l'un de ses projets les plus ambitieux : un gant tactile qui reproduit des sensations comme saisir un objet ou faire glisser la main sur une surface. L'entreprise a présenté pour la première fois un prototype de l'appareil.
En simplifiant, le prototype de sensations tactiles de Meta est un gant équipé d'environ 15 petits coussinets gonflables en plastique nervurés (actionneurs). Les coussinets sont disposés de manière à épouser la paume de l'utilisateur, la face interne de ses doigts et le bout de ses doigts. Le gant fait aussi office de manette de réalité virtuelle. Sur sa face arrière se trouvent de petits marqueurs blancs qui permettent aux caméras de suivre le mouvement des doigts dans l'espace, ainsi que des capteurs internes qui détectent la flexion des doigts de l'utilisateur.
Lorsque vous enfilez le gant et entrez en mode réalité virtuelle ou augmentée, un système de commande complexe régule le niveau de gonflage, exerçant une pression sur différentes parties de la main. Si vous touchez un objet virtuel du bout des doigts, vous sentirez cet objet s'enfoncer contre votre peau. Si vous tenez un objet virtuel, les actionneurs se raidissent, créant une sensation de résistance. Ces sensations fonctionnent de pair avec les signaux visuels et sonores pour créer l'illusion d'un contact physique.
Cette technologie repose sur le domaine relativement récent de la robotique molle, qui remplace les moteurs encombrants par de minuscules valves pneumatiques. L'entreprise y travaille presque depuis son rachat de la startup Oculus VR en 2014. Le premier prototype, un doigt avec un seul actionneur, a été développé dès 2015.
L'une des premières expériences que se rappelle le responsable de Reality Labs, Michael Abrash, a été de regarder une assiette virtuelle depuis l'intérieur du casque VR, où un seul actionneur combiné à une image virtuelle et au son du frottement contre de la céramique rugueuse était incroyablement convaincant : « J'ai vu l'assiette, j'ai vu mon doigt sur l'assiette, et j'ai entendu le son — ce grattement sur elle — et j'ai senti la vibration. Et je vous le dis, j'ai passé mon doigt sur une assiette en céramique ».
Simuler le toucher n'est pas du tout un phénomène nouveau. Même associer la réalité virtuelle à quelque chose d'aussi simple qu'une vibration de manette peut donner aux gens l'impression de toucher quelque chose. De nombreuses entreprises ont travaillé sur des appareils portables qui suivent les mains des utilisateurs ou génèrent des sensations tactiles. Certaines combinent même des sensations thermiques, auxquelles Reality Labs n'accorde pas la priorité.
Meta est prête à produire en masse des gants tactiles, ce que d'autres entreprises ne peuvent pas faire. La plupart des fabricants d'appareils tactiles vendent des produits spécialisés destinés aux militaires, à l'industrie ou aux établissements universitaires. L'entreprise, elle, fabrique le système Quest VR, dominant et destiné au grand public, et investit des milliards de dollars dans la création d'un « métavers » réunissant VR et AR. Si des gants tactiles arrivent sur le marché, Meta peut garantir qu'ils fonctionneront sur Quest et inciter les développeurs d'applications à les utiliser.
Reality Labs présente les gants comme l'une des plusieurs méthodes de contrôle pour de futures lunettes et casques, aux côtés de solutions plus légères basées sur l'électromyographie ou EMG — un système qui lit les signaux nerveux de votre bras et les convertit en entrée numérique. Meta a acquis en 2019 CTRL-Labs, qui fabrique des bracelets EMG ; l'équipe EMG travaille séparément du groupe de concepteurs tactiles, même si ces deux technologies pourraient facilement converger.
« Douglas Engelbart et Xerox PARC sont la seule fois où notre façon d'interagir avec le monde numérique a véritablement changé (il s'agit de l'invention de la souris et de la conception de l'ordinateur de bureau Alto dans les années 1970, qui a contribué à orienter les ordinateurs personnels modernes). Les lunettes AR exigeront que cela se reproduise. Vous ne comptez pas vous promener avec un clavier et une souris. Vous ne comptez pas sortir votre téléphone pour interagir avec lui »
Pour certaines tâches, un simple bracelet peut suffire. Pour d'autres, il faut des sensations tactiles plus complètes. Pourtant, de nombreux obstacles se dressent avant de pouvoir produire des gants tactiles prêts à l'emploi.
D'un côté, l'équipe d'ingénieurs veut augmenter fortement la densité des actionneurs des gants, de quelques dizaines à des centaines, voire des milliers, en quelques années. Pour l'instant, les gants peuvent donner une sensation des contours des objets, mais pas une distinction nette entre les surfaces : ils s'appuient plutôt sur la force de suggestion du son et des images.
« Vous pouvez caresser un chien, mais vous ne ressentirez pas les textures. Il faut des déclenchements à haute densité de mouvement pour obtenir réellement cette sensation, et ce gant ne le permet pas »
D'un autre côté, les gants doivent être considérablement réduits. Healey a déclaré que l'appareil devait être suffisamment léger pour que les gens sentent qu'ils peuvent interagir normalement avec le monde réel comme avec le monde virtuel, et qu'il devait être entièrement sans fil, au lieu de dépendre d'un câble comme aujourd'hui.
En outre, les gants tactiles doivent épouser précisément la peau de l'utilisateur. Cela pourrait nécessiter de développer différentes variantes pour chaque acheteur, ce qui est possible grâce à un procédé comme le tricotage tridimensionnel, capable de créer un vêtement sur mesure à partir d'un design numérique.
Des questions pratiques se posent également, par exemple comment nettoyer un gant high-tech — pour l'instant, on l'essuie soigneusement à l'alcool. Healey a expliqué : « Pour les vêtements en général, nous nous attendons à ce qu'ils puissent être lavés. Nous aimerions créer des gants lavables. Comment ? Nous ne le savons pas encore. Mais cela fait partie de notre vision ».
Si les gants arrivent sur le marché, ils se heurteront aux mêmes problèmes de confidentialité et de sécurité que les autres objets connectés qui collectent des données biométriques. Abrash compare l'utilisation de technologies comme les bracelets EMG à la saisie de texte au clavier, ce qui est rarement présenté comme une menace potentielle. Pourtant, les appareils portables peuvent analyser les mouvements physiques des personnes avec une grande précision, alors que même des schémas de frappe de base peuvent prédire l'apparition de maladies comme la maladie de Parkinson. Meta devra établir des règles précisant quelle partie de ces données quitte les appareils des utilisateurs et qui d'autre y a accès.
Pour l'instant, l'équipe essaie simplement de déterminer à quel point la réalité virtuelle peut être réelle. « L'une des particularités intéressantes des gants tactiles est que nous ne pouvons manifestement pas reproduire la réalité à l'identique, contrairement aux éléments audiovisuels », a déclaré Abrash.
« Il me semble probable que, si les gants tactiles fonctionnent, vous pourrez caresser un chien, mais ce sera un chien virtuel, et l'expérience sera un peu différente. Mais, pour l'essentiel — émotionnellement, empiriquement — cela ressemblera à la réalité »
Il convient de noter que la startup VR HaptX a publié une déclaration assez offensive, accusant Meta d'avoir présenté un prototype « pratiquement identique » à sa propre technologie brevetée. Dans cette déclaration, le PDG de HaptX, Jake Rubin, explique en détail que sa startup a présenté ses technologies pendant des années « à de nombreux ingénieurs, chercheurs et dirigeants de Meta » et que l'entreprise ne les a pas consultés pour ce dernier projet.
« Bien que nous n'ayons encore rien entendu de Meta, nous espérons collaborer avec eux pour parvenir à un accord équitable et équilibré qui résoudra nos problèmes et leur permettra d'intégrer nos technologies innovantes dans leurs futurs produits grand public », a souligné Rubin.
