OpenAI presenta GLIDE, una red neuronal que edita imágenes a partir de una descripción de texto

La generación de texto a imagen fue una de las áreas más activas y apasionantes de la inteligencia artificial en 2021. En enero de 2021, OpenAI presentó DALL-E, una versión del modelo de lenguaje transformador GPT-3 de la compañía con 12 000 millones de parámetros, diseñada para crear imágenes fotorrealistas a partir de leyendas de texto usadas como indicaciones. 

El éxito instantáneo en la comunidad de la inteligencia artificial y el impresionante rendimiento de DALL-E también atrajeron una amplia cobertura en los medios de comunicación. En noviembre de 2021, el gigante tecnológico NVIDIA lanzó GauGAN2, basado en GAN; el nombre se inspira en el pintor posimpresionista francés Paul Gauguin, mientras que DALL-E se inspira en el pintor surrealista Salvador Dalí.

Para no quedarse atrás, los investigadores de OpenAI presentaron GLIDE (Guided Language-to-Image Diffusion for Generation and Editing), una red neuronal que iguala el rendimiento de DALL-E usando menos de una tercera parte de los parámetros.

«Recientemente se ha demostrado que los modelos de difusión generan imágenes sintéticas de alta calidad, especialmente combinados con una técnica de guía que permite encontrar un equilibrio entre diversidad y precisión. Estudiamos los modelos de difusión para la tarea de síntesis de imágenes condicionadas por texto y comparamos dos estrategias diferentes de control: la guía de CLIP y la guía sin clasificador. Descubrimos que los evaluadores prefieren esta última tanto en fotorrealismo como en similitud con las leyendas, y que a menudo produce muestras fotorrealistas», se afirma en el estudio publicado en arXiv. 

Aunque la mayoría de las imágenes son relativamente fáciles de describir con palabras, crear imágenes a partir de texto requiere habilidades especiales y muchas horas de trabajo. Incorporar la inteligencia artificial para generar automáticamente imágenes fotorrealistas a partir de indicaciones en lenguaje natural no solo permite a las personas crear contenido visual rico y diverso con una facilidad sin precedentes, sino que también facilita el refinamiento iterativo y el control detallado de las imágenes generadas.

Investigaciones recientes han demostrado que los modelos de difusión basados en verosimilitud también pueden generar imágenes sintéticas de alta calidad, especialmente combinados con una técnica de guía diseñada para equilibrar diversidad y precisión. En mayo de 2021, OpenAI presentó un modelo guiado que permite a los algoritmos depender de las etiquetas de un clasificador.

GLIDE avanza sobre este progreso aplicando la difusión guiada a la tarea de síntesis de imágenes condicionadas por texto. Tras entrenar el modelo GLIDE, de 3500 millones de parámetros, que utiliza un codificador de texto para condicionar las descripciones en lenguaje natural, los investigadores compararon dos estrategias diferentes de control: la guía de CLIP y la guía sin clasificador.

CLIP es un enfoque escalable para aprender representaciones conjuntas de texto e imagen, que ofrece una puntuación que refleja lo cerca que está una imagen de su leyenda. El equipo aplicó este método a sus modelos, sustituyendo el clasificador por el modelo CLIP, que «guía» la red.

La guía sin clasificador es un método para controlar los modelos de difusión que no requiere entrenar un clasificador aparte. Tiene dos propiedades atractivas: 

1. Permite que un único modelo use su propio conocimiento durante la guía, en lugar de depender del conocimiento de un modelo de clasificación independiente. 
2. Simplifica la guía cuando se usa información que es difícil de predecir con un clasificador.

Los investigadores señalaron que los evaluadores humanos preferían las imágenes generadas sin clasificador, tanto por su fotorrealismo como por su similitud con las leyendas.

En las pruebas, GLIDE generó imágenes de alta calidad con sombras, reflejos y texturas realistas. El modelo también puede combinar varios conceptos (por ejemplo, corgis, pajaritas y gorros de fiesta), asignando a esos objetos atributos como colores.

Además de crear imágenes a partir de texto, GLIDE también puede usarse para editar imágenes existentes: insertar nuevos objetos, añadir sombras y reflejos, realizar pintura de imágenes, todo mediante indicaciones de texto en lenguaje natural.

GLIDE también puede convertir bocetos lineales simples en imágenes fotorrealistas, y las capacidades de la red para crear y restaurar sin muestreo en escenarios complejos son muy sólidas.

En comparación con DALL-E, los evaluadores humanos prefirieron las imágenes de salida de GLIDE, a pesar de que es un modelo mucho más pequeño (3500 millones de parámetros frente a 12 000 millones). Requiere menor latencia de muestreo y no necesita la reordenación de CLIP.

El equipo de investigación reconoce que su red neuronal podría facilitar a los malintencionados la creación de desinformación convincente o de deepfakes. Para protegerse frente a esos usos, publicaron una red reducida y un modelo CLIP con ruido, entrenado con conjuntos de datos filtrados. El código fuente está disponible en GitHub, en el proyecto.

«GLIDE permite crear imágenes fotorrealistas, combinar conceptos de forma correcta y realizar visualización artística. Según las estimaciones del equipo, los resultados resultan preferibles a las muestras de DALL-E en el 87 % de los casos», declararon desde OpenAI. 

Los redactores de ZME Science señalaron que la calidad de las imágenes finales suele ser comparable al trabajo minucioso en Photoshop. El sistema maneja bien consultas complejas como «colgar un cuadro de Van Gogh en la pared», pero no siempre entiende peticiones extrañas como «coche con ruedas triangulares».