OpenAI a présenté GLIDE, un réseau neuronal qui modifie des images à partir d'une description textuelle

La génération d'images à partir de texte a été l'un des domaines les plus actifs et passionnants de l'intelligence artificielle en 2021. En janvier 2021, OpenAI a présenté DALL-E, une version du modèle de langage transformeur GPT-3 de l'entreprise, dotée de 12 milliards de paramètres et conçue pour créer des images photoréalistes à partir de légendes textuelles utilisées comme invites. 

Le succès immédiat auprès de la communauté de l'intelligence artificielle et les performances impressionnantes de DALL-E ont également attiré une large couverture médiatique. En novembre 2021, le géant technologique NVIDIA a publié GauGAN2, basé sur les GAN. Son nom s'inspire du peintre post-impressionniste français Paul Gauguin, tandis que DALL-E rend hommage au peintre surréaliste Salvador Dalí.

Pour ne pas être en reste, les chercheurs d'OpenAI ont présenté GLIDE (Guided Language-to-Image Diffusion for Generation and Editing), un réseau neuronal qui rivalise avec DALL-E en performances tout en utilisant moins d'un tiers des paramètres.

« Il a récemment été démontré que les modèles de diffusion génèrent des images synthétiques de haute qualité, en particulier lorsqu'ils sont combinés à une technique de guidage permettant de trouver un compromis entre diversité et précision. Nous explorons les modèles de diffusion pour la synthèse d'images conditionnée par du texte et comparons deux stratégies de contrôle différentes : le guidage CLIP et le guidage sans classificateur. Nous constatons que cette dernière est préférée par les évaluateurs, tant en termes de photoréalisme que de similarité avec les légendes, et qu'elle produit souvent des échantillons photoréalistes », indique l'étude publiée sur arXiv. 

Si la plupart des images sont relativement faciles à décrire avec des mots, leur création à partir d'un texte exige des compétences particulières et de nombreuses heures de travail. Faire appel à l'intelligence artificielle pour créer automatiquement des images photoréalistes à partir d'invites en langage naturel permet non seulement à chacun de produire un contenu visuel riche et varié avec une facilité sans précédent, mais aussi d'affiner plus facilement les images générées et d'en contrôler finement les détails.

Des recherches récentes ont montré que les modèles de diffusion fondés sur la vraisemblance peuvent également générer des images synthétiques de haute qualité, en particulier lorsqu'ils sont associés à une technique de guidage conçue pour trouver un compromis entre diversité et précision. En mai 2021, OpenAI a présenté un modèle guidé qui permet aux algorithmes de s'appuyer sur les étiquettes d'un classificateur.

GLIDE prolonge ces avancées en appliquant la diffusion guidée à la synthèse d'images conditionnée par du texte. Après l'entraînement d'un modèle GLIDE de 3,5 milliards de paramètres, qui utilise un encodeur de texte pour conditionner les images à partir de descriptions en langage naturel, les chercheurs ont comparé deux stratégies de contrôle différentes : le guidage CLIP et le guidage sans classificateur.

CLIP est une approche évolutive d'apprentissage de représentations communes au texte et aux images, qui fournit une évaluation reflétant la proximité entre une image et sa légende. L'équipe a appliqué cette méthode à ses modèles en remplaçant le classificateur par le modèle CLIP, qui « guide » le réseau.

Le guidage sans classificateur est une méthode de contrôle des modèles de diffusion qui ne nécessite pas l'entraînement d'un classificateur distinct. Elle présente deux propriétés intéressantes : 

1. Elle permet à un seul modèle d'utiliser ses propres connaissances pendant le guidage, au lieu de dépendre des connaissances d'un modèle de classification distinct. 
2. Elle simplifie le guidage lorsqu'il s'appuie sur des informations difficiles à prédire avec un classificateur.

Les chercheurs ont constaté que les évaluateurs humains préféraient les images produites sans classificateur, tant pour leur photoréalisme que pour leur ressemblance avec les légendes.

Lors des tests, GLIDE a produit des images de haute qualité avec des ombres, des reflets et des textures réalistes. Le modèle peut également combiner plusieurs concepts (par exemple, des corgis, des nœuds papillons et des chapeaux de fête) en attribuant à ces objets des propriétés telles que des couleurs.

Outre la création d'images à partir de texte, GLIDE peut aussi servir à modifier des images existantes : insérer de nouveaux objets, ajouter des ombres et des reflets, réaliser des retouches picturales, le tout à l'aide d'invites textuelles en langage naturel.

GLIDE peut également transformer de simples croquis linéaires en images photoréalistes, et les capacités du réseau en matière de création et de restauration sans échantillonnage sont très solides pour les scénarios complexes.

Comparées à DALL-E, les images produites par GLIDE ont été préférées par les évaluateurs humains, bien que ce modèle soit beaucoup plus petit (3,5 milliards de paramètres contre 12 milliards). Il nécessite une latence d'échantillonnage plus faible et n'a pas besoin de reclassement par CLIP.

L'équipe de chercheurs reconnaît que son réseau pourrait faciliter la création de fausses informations convaincantes ou de deepfakes par des malveillants. Pour se prémunir contre ces usages, ils ont publié une version réduite du réseau et un modèle CLIP bruité, entraîné sur des jeux de données filtrés. Le code source est disponible sur GitHub, sur la page du projet.

« GLIDE permet de créer des images photoréalistes, de combiner des concepts de manière cohérente et de réaliser des visualisations artistiques. Selon les estimations de l'équipe, les résultats sont préférés aux échantillons de DALL-E dans 87 % des cas », ont indiqué les responsables d'OpenAI. 

Les observateurs de ZME Science ont noté que la qualité des images finales est souvent comparable à un travail minutieux dans Photoshop. Le système gère des requêtes complexes comme « accrocher un tableau de Van Gogh au mur », mais ne comprend pas toujours des demandes étranges comme « voiture aux roues triangulaires ».