Les chercheurs de Meta AI ont créé ReSkin, une « peau » universelle pour la recherche en IA sur la perception tactile
Notre toucher nous aide à nous orienter dans le monde qui nous entoure. Grâce à lui, nous pouvons recueillir des informations sur les objets (légers ou lourds, mous ou durs, stables ou instables) que nous utilisons pour accomplir nos tâches quotidiennes, de l'enfilage de chaussures à la préparation des repas. L'intelligence artificielle combine efficacement des sens comme la vue et l'ouïe, mais le toucher reste un défi permanent.
Cela tient à l'accès limité aux données tactiles dans le monde réel. Les chercheurs en IA qui espèrent intégrer le toucher à leurs modèles peinent à exploiter la richesse de la perception sensorielle, comme le font les humains. Facebook a annoncé ReSkin, une nouvelle « enveloppe » sensorielle open source créée par les chercheurs de Meta AI en collaboration avec l'Université Carnegie-Mellon, qui pourrait contribuer à améliorer rapidement et à grande échelle les capacités tactiles de l'IA.
En s'appuyant sur les avancées en apprentissage automatique et en détection magnétique, ReSkin propose une solution peu coûteuse, universelle, fiable et remplaçable, conçue pour un usage prolongé. La peau utilise un algorithme d'apprentissage auto-supervisé qui aide à calibrer automatiquement le capteur, ce qui le rend universel et capable d'échanger des données avec d'autres capteurs et systèmes.
L'entreprise prévoit de publier la conception, la documentation, le code et les modèles de base, afin d'aider les chercheurs en IA à utiliser ReSkin sans avoir à collecter et entraîner leurs propres jeux de données. Cela devrait favoriser un développement rapide et à grande échelle des capacités tactiles de l'IA. Une peau sensorielle comme ReSkin fournira une source de vastes données de contact, utiles pour faire progresser l'IA dans un large éventail de tâches sensorielles, notamment la classification d'objets, la proprioception et la préhension robotisée.
Les modèles d'intelligence artificielle entraînés aux compétences de perception tactile seront capables d'accomplir de nombreux types de tâches, notamment celles exigeant une grande sensibilité, comme le travail dans des établissements médicaux, ou une plus grande dextérité pour manipuler de petits objets mous ou délicats. ReSkin peut être intégrée à d'autres capteurs pour collecter des données visuelles, sonores et sensorielles en dehors du laboratoire et dans un environnement non structuré. La combinaison de jeux de données multimodaux aide à construire des modèles du monde physiquement réalistes, ainsi qu'à exploiter la redondance pour l'apprentissage autonome.
ReSkin coûte moins de 6 $ pour 100 unités, et encore moins en grandes quantités. Elle mesure 2 à 3 mm d'épaisseur et peut être utilisée pour plus de 50 000 interactions. Toutes ses caractéristiques font de cette peau une solution idéale pour divers facteurs de forme, tels que les mains de robots, les gants tactiles, les manches et même les chaussures pour chiens. Tout cela aidera les chercheurs à collecter des données tactiles pour de nouveaux modèles d'IA, auparavant difficiles ou impossibles à obtenir. ReSkin peut également transmettre des signaux tactiles triaxiaux à haute fréquence pour des manipulations rapides, comme le glissement, le lancer, la prise au vol et les claquements. Lorsqu'elle s'use, elle peut être facilement retirée et remplacée.
Comme ReSkin est un élastomère contenant des particules magnétiques intégrées, lorsqu'elle se déforme d'une manière ou d'une autre, le signal magnétique environnant change. Ces variations peuvent être mesurées à l'aide de magnétomètres proches et de méthodes de contrôle permettant de transformer ces données en informations telles que la localisation du contact et l'intensité de la force appliquée.
Actuellement, la plupart des expériences de perception tactile reposent sur un seul capteur, car il fallait réentraîner le modèle à chaque remplacement de la peau, ce qui est inefficace et peu pratique. Pour éviter d'avoir à entraîner une nouvelle peau à chaque remplacement, les chercheurs se sont attachés à créer une peau universelle.
« Avec ReSkin, nous surmontons les difficultés grâce à trois idées clés. Premièrement, ReSkin supprime le besoin de connexion électrique entre le matériau souple et l'électronique de mesure traditionnelle. Les signaux magnétiques dépendent de la distance, donc l'électronique doit simplement se trouver à proximité. ReSkin est aussi plus efficace que les capteurs souples classiques, car elle sépare le circuit électronique interne de l'interface passive. Cela rend le remplacement d'une peau usée aussi simple que le retrait et la pose d'un autocollant. Deuxièmement, au lieu de nous fier aux données d'un seul capteur, nous pourrions mieux entraîner la fonction de correspondance du modèle en utilisant les données de plusieurs capteurs. Nous avons ainsi entraîné le modèle sur une plus grande diversité de données, ce qui l'aide à produire des résultats plus efficaces et généralisables », ont déclaré les chercheurs de Meta AI.
Au lieu de collecter des données d'étalonnage pour chaque nouveau capteur, les avancées en apprentissage auto-supervisé sont utilisées pour régler automatiquement les capteurs avec de petits volumes de données non étiquetées. ReSkin ouvre un large éventail de modules tactiles universels, peu coûteux et évolutifs, impossibles avec les systèmes existants.
« La détection tactile fiable est une faiblesse majeure de la robotique. Les capteurs actuels sont soit trop chers, soit de faible résolution, soit tout simplement trop encombrants pour les robots spécialisés. ReSkin peut résoudre certains de ces problèmes. Son format léger et compact la rend compatible avec des pinces de formes variées, et j'ai hâte d'étudier davantage ce capteur sur les robots de notre laboratoire »
Pour montrer comment ReSkin peut aider les chercheurs à faire progresser l'IA grâce à des données tactiles variées, difficiles à collecter auparavant, son travail a été présenté à travers plusieurs exemples d'application :
Manipulations à la main. ReSkin offre des propriétés utiles de reconnaissance tactile pour les manipulations à la main, par exemple pour développer une IA permettant d'apprendre à des robots à utiliser une clé et ouvrir une porte, ou à saisir des objets fragiles comme des raisins ou des myrtilles.
Mesure des forces tactiles dans le monde réel. Sa conception compacte et discrète rend ReSkin idéale pour mesurer les forces tactiles dans des conditions réelles. Pour la démonstration, les chercheurs ont placé une peau magnétique et un circuit imprimé flexible à l'intérieur de la semelle d'une chaussure pour chien. Le capteur suit l'intensité et la direction de la force appliquée pendant que le chien se repose, marche et court.
Interaction homme-objet. ReSkin est utile pour mesurer les forces lors d'une interaction naturelle entre l'humain et un objet, par exemple lorsque nous soulevons des objets ou les poussons avec les mains. Les chercheurs ont placé la peau et un circuit imprimé rigide sur l'index de la main droite d'un sujet, sous un gant en nitrile.
Localisation du contact. ReSkin peut être mise à l'échelle pour localiser le contact sur de grandes surfaces. Cela est utile pour construire des modèles fondés sur la connaissance de la position d'un objet. Par exemple, si un chercheur veut apprendre à un robot à saisir fermement quelque chose, il doit savoir où il touche l'objet et avec quelle force.
