Les chercheurs de Meta ont créé un système d'IA pour animer les dessins d'enfants

Les enfants dessinent des personnages étonnamment uniques et inhabituels, qui stimulent notre imagination et nous obligent à réfléchir un peu différemment pour reconnaître les personnes et les objets sur leurs dessins. Si un parent ou un enseignant peut assez facilement voir ce que représente un dessin d'enfant, l'IA, elle, n'y parvient pas. 

Les dessins d'enfants sont souvent réalisés de manière abstraite et fantaisiste : si les jambes d'un personnage sont mal placées ou si les deux bras se trouvent du même côté du corps, cela déroute même les systèmes d'intelligence artificielle modernes, pourtant capables de détecter des objets sur des images et des dessins photoréalistes.

Les chercheurs de Meta travaillent à surmonter ce problème afin que les systèmes d'IA puissent mieux reconnaître les figures humaines dessinées de la multitude de façons dont les enfants les créent. Ils ont annoncé la première méthode de ce genre permettant d'animer automatiquement des silhouettes humaines et des personnages humanoïdes dessinés à la main par des enfants (avec deux bras, deux jambes et une tête). 

Ces dessins peuvent être animés en quelques minutes grâce à l'intelligence artificielle. En les téléchargeant sur le système de prototypes, parents et enfants peuvent éprouver l'enthousiasme de voir leurs dessins se transformer en personnages en mouvement qui dansent et sautent. Ils peuvent aussi télécharger leurs dessins animés pour les partager avec amis et famille. Si les parents le souhaitent, ces dessins peuvent être envoyés afin d'améliorer le modèle d'IA.

« En apprenant à l'IA à travailler efficacement avec cette forme typique de créativité humaine, nous espérons que ce projet nous rapprochera d'une IA capable de comprendre le monde du point de vue humain. Nous espérons également que ce travail ouvrira la voie à de nouvelles recherches sur l'utilisation de l'IA pour renforcer les capacités créatives des personnes et inspirera de nouvelles façons créatives d'utiliser cette technologie », ont déclaré les représentants de Meta. 

L'objectif des chercheurs était de créer un système d'intelligence artificielle capable d'identifier et d'animer automatiquement les figures humaines des dessins d'enfants avec un haut degré de réussite et sans aucune intervention humaine. 

Si de nombreux outils et méthodes d'IA sont conçus pour traiter des images réalistes de personnes, les dessins d'enfants ajoutent une part de diversité et d'imprévisibilité qui complique considérablement l'identification de ce qui est représenté. Les « personnes » dessinées par les enfants prennent des formes, des couleurs, des tailles et des échelles très variées, mais ont peu de points communs en matière de symétrie corporelle et de point de vue. 

Les scientifiques ont abordé cette tâche en suivant un processus en quatre étapes, en affinant leur approche à chaque étape pour s'adapter à l'immense diversité présente dans les dessins d'enfants.

Les chercheurs ont conçu un système permettant d'apprendre à l'IA à reconnaître une figure ressemblant à un humain sur un dessin d'enfant, ce qui peut être délicat lorsque d'autres objets ou formes de la page présentent des traits, couleurs ou tailles similaires. Ensuite, la figure humaine est isolée, et rien n'est ajouté à la page, afin que la figure animée soit aussi proche que possible de ce que l'enfant a imaginé. Les articulations de la figure sont ensuite déterminées, afin que l'animation puisse bouger de façon attrayante. Une fois toutes ces étapes franchies, le dessin est prêt à être animé.

Pour animer des figures 2D à l'aide de la capture de mouvement 3D, les chercheurs s'appuient sur le fait que de nombreux enfants dessinent en utilisant ce que les scientifiques appellent la perspective déformée. Beaucoup d'enfants dessinent d'abord les parties du corps sous l'angle qui les rend le plus reconnaissables, angle qui peut différer de leur apparence réelle. Par exemple, ils dessinent généralement les jambes et les pieds de profil, et la tête et le tronc de face.

Les chercheurs exploitent cette perspective lors de l'étape de réaffectation du mouvement. Quelle que soit la partie du corps, haut ou bas, ils déterminent automatiquement si le mouvement est plus reconnaissable de face ou de profil. À partir des vues choisies, le mouvement est projeté sur un seul plan 2D et utilisé pour piloter le personnage.

« En partageant ce travail, nous espérons également stimuler davantage de recherches en vision par ordinateur sur les dessins amateurs. Les futures études de ce projet pourraient porter sur l'identification et l'application de mouvements mieux adaptés à des sous-catégories de figures, comme les super-héros, les princesses, les monstres et les ninjas », ont expliqué les chercheurs. 

Une analyse plus détaillée des parties du personnage pourrait aussi permettre d'identifier les antennes, les queues et les capes, et d'appliquer des mouvements secondaires pour rendre l'animation plus attrayante. Un jour, peut-être, un système d'intelligence artificielle pourra prendre un dessin complexe et créer instantanément un dessin animé détaillé, mettant en scène plusieurs personnages fantastiques en interaction et des éléments de décor. 

Avec des lunettes AR, ces histoires pourraient même prendre vie dans le monde réel, en dansant ou en parlant avec l'enfant qui les a dessinées il y a quelques instants à peine. Les possibilités sont infinies, tout comme l'imagination humaine.

Si les adultes consentent à ce que le dessin de leur enfant et son interaction avec la démonstration soient utilisés pour des recherches supplémentaires, le dessin et les interactions peuvent être utilisés, publiés ou diffusés aux fins suivantes :

1. Apprendre au modèle à mieux détecter, segmenter et placer les articulations sur les personnages dessinés à la main.
2. Fournir des annotations de qualité par des spectateurs. 
3. Dans le cadre de travaux de recherche universitaires ou de vidéos. 
4. Dans le cadre d'une base de données publique destinée aux chercheurs travaillant sur des outils de création pour les enfants. 
5. Dans le cadre de futures initiatives visant à encourager la collecte d'images supplémentaires.