OpenAI、テキスト指示で画像を編集するAI「GLIDE」を発表

2021年12月29日, 17:00

2021年は、テキストから画像を生成する技術がAI分野で最も活発で注目を集めた領域の一つでした。2021年1月、OpenAIは、GPT-3言語モデルを基にした120億パラメータのトランスフォーマーモデル「DALL-E」を発表しました。テキストの説明文をプロンプトとして用い、フォトリアルな画像を作成するためのモデルです。

AIコミュニティでの即座の成功とDALL-Eの驚異的な性能は、主要メディアでも大きく取り上げられました。2021年11月、テクノロジー大手のNVIDIAは、GANをベースにしたGauGAN2を公開しました。その名称は、フランスのポスト印象派画家ポール・ゴーギャンにちなみ、DALL-Eはシュルレアリスム画家サルバドール・ダリにちなんでいます。

遅れを取らないため、OpenAIの研究者たちは、GLIDE（Guided Language-to-Image Diffusion for Generation and Editing）を発表しました。これは、使用するパラメータが3分の1未満でありながら、性能面でDALL-Eと競合できるニューラルネットワークです。

「最近、拡散モデルが、特に多様性と精度のバランスを取るためのガイダンス技術と組み合わせることで、高品質な合成画像を生成できることが示されてきた。我々は、テキスト条件付き画像合成のタスクに拡散モデルを検討し、2つの異なるガイダンス戦略、すなわちCLIPガイダンスとクラシファイアフリーガイダンスを比較する。後者は、フォトリアリズムとキャプションとの類似性の両面で評価者に好まれ、フォトリアリスティックなサンプルを生成することが多いことがわかった」と、arXiv上の研究論文には記されています。

多くの画像は言葉で説明するのが比較的容易ですが、テキスト入力から画像を作成するには特別なスキルと長い作業時間が必要です。自然言語のプロンプトからフォトリアルな画像を自動生成するAIを活用すると、人々は驚くほど簡単に豊かで多様なビジュアルコンテンツを作成できるようになるだけでなく、生成画像の反復的な改良や細かな制御もより容易になります。

最近の研究では、尤度に基づく拡散モデルも、多様性と精度のバランスを取るために設計されたガイダンス技術と組み合わせることで、高品質な合成画像を生成できることが示されています。2021年5月、OpenAIは、アルゴリズムが分類器のラベルに依存できるようにするガイド付きモデルを発表しました。

GLIDEは、この進歩を発展させ、テキスト条件付き画像合成のタスクにガイド付き拡散を適用します。自然言語による説明文の条件付けにテキストエンコーダーを用いる、35億パラメータのGLIDEモデルを訓練した後、研究者たちは2つの異なるガイダンス戦略、すなわちCLIPガイダンスとクラシファイアフリーガイダンスを比較しました。

CLIPは、テキストと画像の共同表現を学習するためのスケーラブルな手法で、画像がキャプションにどれだけ近いかを反映する評価を提供します。チームは、この手法をモデルに適用し、分類器をCLIPモデルに置き換えて、ネットワークを「導く」ようにしました。

クラシファイアフリーガイダンスは、個別の分類器を訓練する必要がない拡散モデルのガイダンス手法です。この手法には、次の2つの魅力的な特性があります。

1つのモデルがガイダンス中に自身の知識を利用できるようにし、個別の分類モデルの知識に頼らなくてすみます。
分類器では予測しにくい情報を使う場合でも、ガイダンスを簡素化します。

研究者たちは、評価者である人々が、フォトリアリズムとキャプションとの類似性の両面から、分類器なしのガイダンスによる画像を好んだと指摘しています。

テストでGLIDEは、現実的な影、反射、質感を備えた高品質な画像を生成しました。また、コーギー、蝶ネクタイ、パーティーハットといった複数の概念を組み合わせ、それらのオブジェクトに色などの属性を結びつけることもできます。

テキストから画像を生成するだけでなく、GLIDEは既存の画像の編集にも使用できます。新しいオブジェクトの挿入、影や反射の追加、画像への描き込みなどを、自然言語のテキストプロンプトで行えます。

GLIDEは単純な線画を写実的な画像に変換することもでき、マスクなしでの生成や復元の能力も、複雑なシナリオにおいて非常に高いです。

DALL-Eと比較すると、評価者はGLIDEの出力画像を好みました。GLIDEははるかに小さいモデル（35億パラメータ対120億パラメータ）であるにもかかわらずです。サンプリングの遅延が少なく、CLIPによる再ランキングも必要ありません。

研究チームは、このニューラルネットワークによって悪意のある人が説得力のある偽情報やディープフェイクを作りやすくなる可能性を理解しています。そうした利用を防ぐため、チームは縮小版のニューラルネットワークと、フィルタリングされたデータセットで学習させたノイズ入りCLIPモデルを公開しました。プロジェクトのソースコードはGitHubで公開されています。

「GLIDEでは、写実的な画像の生成、概念を適切に組み合わせること、芸術的な描画が可能です。チームの評価では、結果はDALL-Eのサンプルよりも87%のケースで好ましく見えました」とOpenAIは述べています。

ZME Scienceのライターたちは、最終的な画像の品質はしばしばPhotoshopでの丹念な作業に匹敵すると指摘しました。システムは「ゴッホの絵を壁に掛ける」といった複雑なクエリに対応できますが、「三角形の車輪を持つ車」のような奇妙なクエリは必ずしも理解できません。