Des chercheurs du MIT conçoivent un système qui permet aux robots de signaler et corriger les étiquettes d'objets peu fiables en mémoire

Des chercheurs du Massachusetts Institute of Technology ont mis au point un système de mémoire qui repère les erreurs probables dans les descriptions d'objets stockées par un robot et les corrige, selon MIT News publié le 5 novembre.

Le système s'appelle UQ-DAAAM, abréviation de Uncertainty Quantification for Describe Anything, Anywhere, at Any Moment. L'équipe affirme qu'il pourrait à terme aider les robots domestiques ou industriels à accomplir des tâches complexes en plusieurs étapes, comme débarrasser une table de salle à manger ou aider des personnes à assembler des machines.

Le problème : de fausses mémoires qui persistent

UQ-DAAAM s'appuie sur le système précédent du groupe, DAAAM. Ce système utilise un modèle vision-langage, un modèle d'IA qui relie images et texte, pour décrire les objets vus par les caméras embarquées d'un robot. Les descriptions sont enregistrées sous forme de légendes dans une carte 3D de l'environnement que le robot peut interroger ultérieurement.

Les chercheurs expliquent qu'un robot peut ne voir un objet que partiellement, de loin, ou sur une image floue ou sombre, et que DAAAM peut alors le décrire de manière erronée. Un exemple cité : une cheminée grise prise pour un écureuil sur un toit.

« Sans moyen de se corriger, cette fausse mémoire persisterait à mesure que le robot évolue dans son environnement, ce qui pourrait affecter les applications en aval, »

Harry Zhang, étudiant diplômé au MIT et co-premier auteur

Comment fonctionne la correction

Lorsqu'un robot se déplace, il collecte de nombreuses images des mêmes objets sous différents angles. Selon le MIT, UQ-DAAAM calcule d'abord la confiance du modèle dans les mots produits pour un objet, puis vérifie la cohérence de cette description avec les légendes du même objet prises depuis d'autres points de vue.

« Nous fusionnons ces deux sources d'incertitude en un seul nombre qui indique à quel point le VLM est certain de sa compréhension globale de l'objet, »

Luca Carlone, professeur associé au Département d'aéronautique et d'astronautique du MIT

Si ce nombre dépasse un seuil, le système sélectionne des vues supplémentaires à l'aide d'une règle simple, ou heuristique. Les chercheurs affirment avoir démontré mathématiquement que cette règle peut identifier les meilleures images sans relancer le modèle vision-langage, ce qui réduit fortement les calculs. Un grand modèle de langage fusionne ensuite les légendes sélectionnées en une seule description, en accordant davantage de poids aux légendes les plus récentes et les moins ambiguës.

Résultats rapportés

Le MIT indique que l'étape d'affinage lève les ambiguïtés pour environ 92 % des objets de l'environnement du robot, tout en ne nécessitant que deux légendes supplémentaires par objet. Selon le rapport, la précision des descriptions d'objets a augmenté de 5 % par rapport à l'état de l'art.

Comparé aux méthodes de référence, le système a aussi fourni des réponses plus précises aux questions portant sur les objets observés par le robot, l'endroit où il les a vus et la dernière fois qu'il les a rencontrés, selon le MIT.

« Contrairement à ChatGPT, lorsqu'on parle d'IA physique, il ne suffit pas de placer un avertissement indiquant que le robot peut parfois se tromper. Permettre à un robot de savoir ce qu'il ne sait pas sera essentiel pour que cette technologie soit déployée en toute sécurité et ait un impact positif sur la société, »

Luca Carlone, professeur associé au MIT, auteur principal de l'article

Prochaines étapes

Carlone est l'auteur principal de l'article, avec Zhang et Nicolas Gorlo comme co-premiers auteurs. Ces travaux seront présentés à la Conference on Neural Information Processing Systems.

L'équipe prévoit d'utiliser UQ-DAAAM pour guider d'autres types de robots, comme les manipulateurs mobiles, et d'appliquer ses techniques d'incertitude à d'autres domaines. Elle étudie aussi comment le système pourrait indiquer aux robots les zones à forte incertitude à revisiter, et examine des méthodes d'incertitude pour les systèmes qui prévoient l'évolution de l'environnement d'un robot. Le financement provient en partie de l'U.S. Army Research Laboratory et de l'U.S. Office of Naval Research, selon le MIT.