OpenAI представила GLIDE — нейромережу, яка редагує зображення за текстовим описом
Генерація тексту в зображення була однією з найактивніших і найцікавіших галузей штучного інтелекту у 2021 році. У січні 2021 року OpenAI представила DALL-E — версію мовної моделі трансформера GPT-3 компанії з 12 мільярдами параметрів, призначену для створення фотореалістичних зображень за текстовими підписами у вигляді підказок.
Миттєвий успіх у спільноті штучного інтелекту та вражаюча продуктивність DALL-E також привернули широке висвітлення в ЗМІ. У листопаді 2021 року технологічний гігант NVIDIA випустила GauGAN2 на основі GAN — назва натхненна французьким художником-постімпресіоністом Полем Гогеном, а DALL-E — художником-сюрреалістом Сальвадором Далі.
Щоб не відставати, дослідники OpenAI представили GLIDE (Guided Language-to-Image Diffusion for Generation and Editing) — нейромережу, яка забезпечує конкурентоспроможність DALL-E за продуктивністю при використанні менш ніж однієї третини параметрів.
«Нещодавно було показано, що дифузійні моделі генерують високоякісні синтетичні зображення, особливо в поєднанні з технікою спрямування, що дозволяє знайти компроміс між різноманітністю та точністю. Ми досліджуємо дифузійні моделі для завдання синтезу зображень, умовних на текст, і порівнюємо дві різні стратегії керування: спрямування CLIP і спрямування без класифікатора. Ми виявили, що останнє переважно оцінюється оцінювачами як з точки зору фотореалізму, так і з точки зору схожості підписів, і часто дає фотореалістичні зразки», — йдеться у дослідженні на arXiv.
Хоча більшість зображень відносно легко описати словами, створення зображень із текстового вводу потребує спеціальних навичок і багатьох годин праці. Залучення штучного інтелекту для автоматичного створення фотореалістичних зображень із підказок природною мовою не лише дає людям можливість створювати багатий і різноманітний візуальний контент із безприкладною легкістю, а й забезпечує легше ітеративне уточнення та детальний контроль над згенерованими зображеннями.
Останні дослідження показали, що дифузійні моделі на основі правдоподібності також можуть створювати високоякісні синтетичні зображення, особливо в поєднанні з технікою спрямування, розробленою для компромісу між різноманітністю та точністю. У травні 2021 року OpenAI представила керовану модель, яка дозволяє алгоритмам залежати від міток класифікатора.
GLIDE розвиває цей прогрес, застосовуючи керовану дифузію до завдання синтезу зображень, умовних на текст. Після навчання моделі GLIDE з 3,5 мільярда параметрів, яка використовує кодувальник тексту для визначення умов опису природною мовою, дослідники порівняли дві різні стратегії керування: спрямування CLIP і спрямування без класифікатора.
CLIP — це масштабований підхід до вивчення спільних уявлень тексту і зображень, який забезпечує оцінку, що відображає, наскільки близько зображення розташоване до підпису. Команда застосувала цей метод до своїх моделей, замінивши класифікатор на модель CLIP, яка «спрямовує» мережу.
Спрямування без класифікатора — це метод керування дифузійними моделями, який не потребує навчання окремого класифікатора. Він має дві привабливі властивості:
- Дозволяє одній моделі використовувати власні знання під час спрямування, а не покладатися на знання окремої моделі класифікації.
- Спрощує спрямування під час використання інформації, яку важко передбачити за допомогою класифікатора.
Дослідники зазначили, що люди-оцінювачі надавали перевагу зображенням, отриманим без класифікатора, як через фотореалізм, так і через схожість із підписами.
У тестах GLIDE видавав високоякісні зображення з реалістичними тінями, відбиттями та текстурами. Модель також може поєднувати кілька концепцій (наприклад, коргі, метелики-краватки та святкові капелюхи), прив'язуючи до цих об'єктів такі атрибути, як кольори.
Окрім створення зображень із тексту, GLIDE також можна використовувати для редагування наявних зображень — вставки нових об'єктів, додавання тіней і відбиттів, виконання малювання зображень — за допомогою текстових підказок природною мовою.
GLIDE також може перетворювати прості лінійні ескізи на фотореалістичні зображення, а можливості нейромережі у створенні та відновленні без вибірки для складних сценаріїв дуже сильні.
Порівняно з DALL-E люди-оцінювачі надали перевагу вихідним зображенням GLIDE, навіть попри те, що це значно менша модель (3,5 мільярда параметрів проти 12 мільярдів параметрів). Вона потребує меншої затримки вибірки і не потребує переупорядкування CLIP.
Команда дослідників розуміє, що їхня нейромережа може полегшити зловмисникам створення переконливої дезінформації або дипфейків. Щоб убезпечити себе від таких варіантів використання, вони випустили скорочену нейромережу та модель CLIP із шумами, навчену на відфільтрованих наборах даних. Вихідний код доступний на GitHub проєкту.
«GLIDE дозволяє створювати фотореалістичні зображення, правильно поєднувати концепції та здійснювати художню візуалізацію. За оцінками команди, результати виглядають кращими за зразки DALL-E у 87% випадків», — повідомили в OpenAI.
Оглядачі з ZME Science зазначили, що якість готових знімків часто порівнянна з ретельною роботою у Photoshop. Система справляється зі складними запитами на кшталт «повісити картину Ван Гога на стіну», але не завжди розуміє дивні запити, такі як «автомобіль із трикутними колесами».
