OpenAI представила GLIDE — нейросеть, которая редактирует изображения по текстовому описанию

Генерация текста в изображение была одной из самых активных и захватывающих областей искусственного интеллекта в 2021 году. В январе 2021 года OpenAI представила DALL-E — версию языковой модели преобразователя GPT-3 компании с 12 миллиардами параметров, предназначенную для создания фотореалистичных изображений с использованием текстовых подписей в виде подсказок. 

Мгновенный успех в сообществе искусственного интеллекта и потрясающая производительность DALL-E также привлекла широкое освещение в средствах массовой информации. В ноябре 2021 года технический гигант NVIDIA выпустил GauGAN2 на основе GAN — название вдохновлено французским художником-постимпрессионистом Полем Гогеном, а DALL-E — художником-сюрреалистом Сальвадором Дали.

Чтобы не отставать, исследователи OpenAI представили GLIDE (Guided Language-to-Image Diffusion for Generation and Editing) — нейросеть, которая обеспечивает конкурентоспособность DALL-E по производительности при использовании менее одной трети параметров.

«Недавно было показано, что диффузионные модели генерируют высококачественные синтетические изображения, особенно в сочетании с техникой наведения, позволяющей найти компромисс между разнообразием и точностью. Мы исследуем диффузионные модели для задачи синтеза текстовых условных изображений и сравниваем две разные стратегии управления: руководство CLIP и руководство без классификатора. Мы обнаружили, что последняя предпочитается оценщиками как с точки зрения фотореализма, так и с точки зрения сходства подписей, и часто дает фотореалистичные образцы», — говорится в исследовании на arXiv. 

Хотя большинство изображений относительно легко описать словами, создание изображений из текстового ввода требует специальных навыков и многих часов труда. Включение искусственного интеллекта для автоматического создания фотореалистичных изображений из подсказок на естественном языке не только дает людям возможность создавать богатый и разнообразный визуальный контент с беспрецедентной легкостью, но также обеспечивает более легкое итеративное уточнение и детальный контроль сгенерированных изображений.

Недавние исследования показали, что модели диффузии, основанные на правдоподобии, также могут создавать высококачественные синтетические изображения, особенно в сочетании с техникой наведения, разработанной для компромисса между разнообразием и точностью. В мае 2021 года OpenAI представила управляемую модель, которая позволяет алгоритмам зависеть от меток классификатора.

GLIDE развивает этот прогресс, применяя управляемую диффузию к задаче синтеза текстовых условных изображений. После обучения модели GLIDE с 3,5 миллиардами параметров, которая использует кодировщик текста для определения условий описания на естественном языке, исследователи сравнили две разные стратегии управления: руководство CLIP и руководство без классификатора.

CLIP — это масштабируемый подход к изучению совместных представлений текста и изображений, который обеспечивает оценку, отражающую, насколько близко изображение находится к подписи. Команда применила этот метод к своим моделям, заменив классификатор на модель CLIP, которая «направляет» сеть.

Руководство без классификатора — это метод управления диффузионными моделями, который не требует обучения отдельного классификатора. Он имеет два привлекательных свойства: 

1. Позволяет одной модели использовать свои собственные знания во время руководства, а не полагаться на знания отдельной модели классификации. 
2. Упрощает руководства при использовании информации, которую трудно предсказать с помощью классификатора.

Исследователи отметили, что люди-оценщики предпочитали выводить изображения без классификатора как из-за фотореализма, так и из-за схожести подписей.

В тестах GLIDE выдавал высококачественные изображения с реалистичными тенями, отражениями и текстурами. Модель также может комбинировать несколько концепций (например, корги, галстуки-бабочки и праздничные шляпы), привязывая к этим объектам такие атрибуты, как цвета.

Помимо создания изображений из текста, GLIDE также можно использовать для редактирования существующих изображений — вставки новых объектов, добавления теней и отражений, выполнения рисования изображений — с помощью текстовых подсказок на естественном языке.

GLIDE также может преобразовывать простые линейные наброски в фотореалистичные изображения, а возможности нейросети в создании и восстановлении без выборки для сложных сценариев очень сильны.

По сравнению с DALL-E люди-оценщики предпочли выходные изображения GLIDE, даже несмотря на то, что это гораздо меньшая модель (3,5 миллиарда параметров против 12 миллиардов параметров). Она требует меньшей задержки выборки и не нуждается в переупорядочивании CLIP.

Команда исследователей понимает, что их нейросеть может облегчить злоумышленникам создание убедительной дезинформации или дипфейков. Чтобы обезопасить себя от таких вариантов использования, они выпустили сокращенную нейросеть и модель CLIP с шумами, обученную на отфильтрованных наборах данных. Исходный код доступен на GitHub проекта.

«GLIDE позволяет создавать фотореалистичные изображения, объединять концепции правильным образом и осуществлять художественную визуализацию. По оценкам команды, результаты выглядят предпочтительнее образцов DALL-E в 87% случаях», — сообщили в OpenAI. 

Обозреватели из ZME Science отметили, что качество итоговых снимков зачастую сопоставимо с кропотливой работой в Photoshop. Система справляется со сложными запросами вроде «повесить картину Ван Гога на стену», но не всегда понимает странные запросы, такие как «автомобиль с треугольными колесами».