OpenAI, 텍스트 설명으로 이미지를 편집하는 신경망 GLIDE 공개
이미지 생성은 2021년 인공지능 분야에서 가장 활발하고 흥미로운 영역 중 하나였습니다. 2021년 1월 OpenAI는 텍스트 프롬프트로 사실적인 이미지를 만들기 위해 설계된, 120억 개의 매개변수를 가진 언어 모델 GPT-3의 변형인 DALL-E를 선보였습니다.
인공지능 커뮤니티에서 즉각적인 성공을 거둔 DALL-E의 뛰어난 성능은 언론의 폭넓은 관심도 끌었습니다. 2021년 11월 기술 대기업 NVIDIA는 GAN 기반의 GauGAN2를 출시했습니다. 이름은 프랑스 후기 인상파 화가 폴 고갱에게서, DALL-E라는 이름은 초현실주의 화가 살바도르 달리에게서 영감을 받았습니다.
뒤처지지 않기 위해 OpenAI 연구진은 GLIDE(Guided Language-to-Image Diffusion for Generation and Editing)를 선보였습니다. 이 신경망은 DALL-E의 3분의 1 미만의 매개변수만 사용하면서도 DALL-E에 필적하는 성능을 제공합니다.
«최근 연구에서 확산 모델이 특히 다양성과 정확성 사이의 균형을 찾도록 돕는 가이던스 기법과 결합될 때 고품질의 합성 이미지를 생성하는 것으로 나타났습니다. 우리는 텍스트 조건부 이미지 합성 작업에 확산 모델을 탐구하고, CLIP 가이던스와 분류기 없는 가이던스라는 두 가지 제어 전략을 비교합니다. 분류기 없는 가이던스가 사진 현실감과 캡션 유사성 모두에서 평가자들에게 더 선호되었으며, 종종 사실적인 샘플을 생성한다는 것을 발견했습니다»라고 arXiv 연구에서 밝혔습니다.
대부분의 이미지는 말로 설명하기 비교적 쉽지만, 텍스트 입력으로 이미지를 만드는 데는 특별한 기술과 많은 시간이 필요합니다. 자연어 프롬프트로부터 사실적인 이미지를 자동으로 생성하는 인공지능을 활용하면, 사람들은 전례 없이 쉽게 풍부하고 다양한 시각 콘텐츠를 만들 수 있을 뿐 아니라, 생성된 이미지를 더 쉽게 반복적으로 다듬고 세밀하게 제어할 수 있습니다.
최근 연구에서 우도 기반 확산 모델도 특히 다양성과 정확성 사이의 절충을 위해 설계된 가이던스 기법과 결합될 때 고품질의 합성 이미지를 생성할 수 있는 것으로 나타났습니다. 2021년 5월 OpenAI는 알고리즘이 분류기 레이블에 따라 동작하도록 하는 가이던스 모델을 선보였습니다.
GLIDE는 이러한 발전을 이어받아, 텍스트 조건부 이미지 합성 작업에 가이던스 확산을 적용합니다. 35억 개의 매개변수를 가진 GLIDE 모델을 학습시킨 뒤, 텍스트 인코더를 사용해 자연어 설명의 조건을 정의하고, 연구진은 CLIP 가이던스와 분류기 없는 가이던스라는 두 가지 제어 전략을 비교했습니다.
CLIP은 텍스트와 이미지의 공동 표현을 학습하는 확장 가능한 접근 방식으로, 이미지가 캡션에 얼마나 가까운지를 반영하는 점수를 제공합니다. 팀은 분류기를 CLIP 모델로 대체해 네트워크를 «안내»하는 방식으로 이 기법을 자사 모델에 적용했습니다.
분류기 없는 가이던스는 별도의 분류기를 학습시킬 필요가 없는 확산 모델 제어 기법입니다. 이 기법에는 두 가지 매력적인 특성이 있습니다:
- 가이던스 과정에서 하나의 모델이 자체 지식을 활용할 수 있으며, 별도의 분류 모델의 지식에 의존할 필요가 없습니다.
- 분류기로 예측하기 어려운 정보를 사용할 때 가이던스를 더 단순하게 만듭니다.
연구진은 평가자들이 사진 현실감과 캡션 유사성 모두 때문에 분류기 없는 가이던스로 생성된 이미지를 선호했다고 밝혔습니다.
테스트에서 GLIDE는 사실적인 그림자, 반사, 질감을 갖춘 고품질 이미지를 생성했습니다. 이 모델은 여러 개념을 결합할 수도 있어서(예: 웰시 코기, 나비넥타이, 파티 모자), 이러한 객체에 색상 같은 속성을 연결할 수 있습니다.
GLIDE는 텍스트에서 이미지를 만드는 것 외에도, 자연어 텍스트 프롬프트를 사용해 기존 이미지를 편집하는 데에도 쓸 수 있습니다. 새로운 객체를 삽입하거나, 그림자와 반사를 추가하거나, 이미지 인페인팅을 수행하는 식입니다.
GLIDE는 간단한 선 스케치를 사실적인 이미지로 변환할 수도 있으며, 복잡한 상황에서의 샘플 없는 생성 및 복원 능력도 매우 뛰어납니다.
DALL-E와 비교했을 때, 평가자들은 훨씬 작은 모델(35억 개 대 120억 개 매개변수)임에도 GLIDE의 출력 이미지를 선호했습니다. 샘플링 지연 시간이 더 짧고 CLIP 재정렬이 필요하지 않습니다.
연구팀은 이 신경망이 악의적인 행위자가 그럴듯한 허위 정보나 딥페이크를 만드는 데 쓰일 수 있다는 점을 인식하고 있습니다. 이러한 사용을 막기 위해 축소된 신경망과, 필터링된 데이터셋으로 학습된 노이즈 CLIP 모델을 공개했습니다. 소스 코드는 프로젝트의 GitHub에서 확인할 수 있습니다.
«GLIDE는 사실적인 이미지를 만들고, 개념을 올바르게 결합하며, 예술적인 시각화를 수행할 수 있습니다. 팀의 추정에 따르면, 결과물은 87%의 경우 DALL-E 샘플보다 더 선호되는 것으로 나타났습니다»라고 OpenAI는 밝혔습니다.
ZME Science의 리뷰어들은 최종 이미지의 품질이 종종 Photoshop에서 공들여 작업한 결과에 견줄 만하다고 指摘했습니다. 이 시스템은 «벽에 반고흐 그림 걸기» 같은 복잡한 요청은 처리하지만, «삼각형 바퀴가 달린 자동차» 같은 기이한 요청은 항상 이해하지는 못합니다.
