Les chercheurs du MIT ont mis au point un algorithme d'IA qui comprend les relations entre les objets
Lorsque les gens regardent une surface quelconque, ils voient des objets et les relations qui les lient. Sur votre bureau, il peut y avoir un ordinateur portable situé à gauche d'un téléphone, lui-même placé devant l'écran d'un ordinateur.
De nombreux modèles d'apprentissage profond peinent à percevoir le monde de cette manière, car ils ne comprennent pas les relations complexes entre les objets individuels. Sans la connaissance de ces relations, un robot conçu pour aider quelqu'un dans la cuisine aura du mal à exécuter une instruction telle que « prends la spatule située à gauche de la cuisinière et place-la sur la planche à découper ».
Pour résoudre ce problème, des chercheurs de l'Institut de technologie du Massachusetts ont mis au point un modèle qui comprend les relations principales entre les objets d'une scène. Leur modèle représente les relations individuelles une par une, puis combine ces représentations pour décrire la scène entière. Cela permet au modèle de générer des images plus précises à partir de descriptions textuelles, même lorsque la scène comprend plusieurs objets entretenant différentes relations les uns avec les autres.
Ce travail peut être appliqué à des situations dans lesquelles des robots industriels doivent accomplir des tâches de manipulation complexes en plusieurs étapes, comme ranger des articles dans un entrepôt ou assembler des appareils. Il rapproche également le domaine scientifique d'une étape supplémentaire vers des machines capables d'apprendre et d'interagir avec leur environnement, comme le font les humains.
« Lorsque je regarde une table, je ne peux pas dire qu'il y a un objet à l'emplacement XYZ. Notre cerveau ne fonctionne pas ainsi. Dans notre esprit, lorsque nous comprenons un spectacle, nous le saisissons réellement en nous appuyant sur les relations entre les objets. Nous pensons qu'en construisant un système capable de comprendre les relations entre les objets, nous pourrions l'utiliser pour contrôler et modifier notre environnement plus efficacement »
La structure développée par les chercheurs peut générer une image de la scène à partir d'une description textuelle des objets et de leurs relations, par exemple : « Une table en bois à gauche d'une chaise bleue. Un canapé rouge à droite de la chaise bleue ».
Leur système découpait ces phrases en deux parties plus petites, décrivant chaque relation individuelle (« une table en bois à gauche de la chaise bleue » et « un canapé rouge à droite de la chaise bleue »), puis modélisait chaque partie séparément. Ces parties sont ensuite combinées au cours d'un processus d'optimisation, qui aboutit à la création de l'image de la scène.
Les chercheurs ont utilisé une méthode d'apprentissage automatique appelée modèles énergétiques pour représenter la relation entre les objets individuels dans la description de la scène. Cette méthode leur permet d'utiliser un seul modèle énergétique pour coder chaque description relationnelle, puis de les assembler de manière à restituer l'ensemble des objets et des relations.
« En découpant les phrases en parties plus courtes pour chaque relation, le système peut les recombiner de différentes manières afin de mieux s'adapter à des descriptions de scènes qu'il n'a pas déjà vues », a déclaré Shuang Li, doctorant au CSAIL.
« D'autres systèmes traitent toutes les relations comme un tout et génèrent une image en une seule fois à partir de la description. Cependant, ces approches échouent lorsque les descriptions sortent de la distribution habituelle, par exemple lorsqu'elles contiennent un grand nombre de relations, car ce modèle ne peut pas réellement adapter un seul cliché pour créer des images contenant davantage de relations. En revanche, lorsque nous assemblons ces modèles plus petits et distincts, nous pouvons modéliser un plus grand nombre de relations et nous adapter à de nouvelles combinaisons »
Le système fonctionne aussi dans le sens inverse : à partir d'une image, il peut trouver des descriptions textuelles correspondant à la relation entre les objets de la scène. En outre, le modèle peut servir à modifier une image en déplaçant les objets afin qu'ils correspondent à une nouvelle description.
Les chercheurs ont comparé leur modèle à d'autres méthodes d'apprentissage profond qui recevaient des descriptions textuelles et créaient des images montrant les objets correspondants et leurs relations. Dans chaque cas, leur modèle a surpassé les valeurs de référence.
Ils ont également demandé à des personnes d'évaluer si les images générées correspondaient à la description d'origine. Dans les exemples les plus complexes, où les descriptions contenaient trois relations, 91 % des participants ont conclu que le nouveau modèle fonctionnait mieux.
« Une chose intéressante que nous avons remarquée est que, avec notre modèle, nous pouvons étendre notre phrase d'une description à deux, trois, voire quatre descriptions, et notre approche permet toujours de générer des images correctement décrites par les relations, alors que d'autres méthodes échouent »
Les chercheurs ont également présenté des images modèles de scènes que le système n'avait pas encore vues, ainsi que plusieurs descriptions textuelles différentes de chaque image, et ils ont réussi à identifier la description qui correspondait le mieux aux relations entre les objets de l'image.
Lorsque les chercheurs ont donné au système deux descriptions relationnelles de scènes décrivant la même image, mais de manière différente, le modèle a su comprendre que les descriptions étaient équivalentes. Les scientifiques ont été impressionnés par la fiabilité de leur système, en particulier face à des descriptions qu'il n'avait jamais rencontrées auparavant.
« C'est très prometteur, car cela se rapproche du fonctionnement humain. Les gens ne peuvent voir que quelques exemples, mais nous pouvons extraire des informations utiles de ces quelques exemples et les combiner pour créer un nombre infini de combinaisons. Et notre modèle possède cette propriété, qui lui permet d'apprendre à partir de moins de données, tout en généralisant à des scènes plus complexes ou à des générations d'images »
Bien que ces premiers résultats soient encourageants, les chercheurs aimeraient voir comment leur modèle fonctionne sur des images réelles plus complexes, avec un arrière-plan bruité et des objets qui se masquent mutuellement.
Ils souhaitent également, à terme, intégrer leur modèle à des systèmes robotiques, ce qui permettrait à un robot d'identifier les relations entre les objets, puis d'utiliser ces connaissances pour manipuler les objets dans le monde réel.
« Développer des représentations visuelles capables de traiter la nature compositionnelle du monde qui nous entoure est l'un des principaux défis ouverts de la vision par ordinateur. Cette recherche a fait des progrès considérables pour résoudre ce problème, en proposant un modèle énergétique qui modélise explicitement les multiples relations entre les objets représentés dans une scène. Les résultats sont vraiment impressionnants »
