MIT研究者、物体間の関係を理解するAIアルゴリズムを開発
人は表面を見るとき、そこにある物体とその関係を認識します。あなたのテーブルには、コンピューターのモニターの前にある電話機の左側にノートパソコンが置かれているかもしれません。
多くのディープラーニングモデルは、個々の物体間の複雑な関係を理解できないため、このように世界を捉えるのに苦労しています。これらの関係を知らなければ、キッチンで人を手伝うために設計されたロボットは、「コンロの左にあるフライ返しを取って、まな板の上に置いて」といった指示の実行に苦労するでしょう。
この課題に取り組むため、MITの研究者はモデルを開発しました。このモデルは、画面内の物体間の基本的な関係を理解します。個々の関係を一つずつ表現し、それらの表現を組み合わせて画面全体を記述します。これにより、複数の物体が互いに異なる関係にある場面でも、テキストの説明からより正確な画像を生成できるようになります。
この研究は、倉庫での物品の積み付けや機器の組み立てなど、産業用ロボットが複雑な多段階の操作作業を行う状況に応用できる可能性があります。また、機械が人間のように学習し、周囲の環境と相互作用できるようにする科学分野にも、一歩近づけるものです。
「テーブルを見たとき、XYZの位置に物体があるとは言えません。私たちの脳はそのように働いていません。私たちが光景を理解するとき、物体間の関係に基づいて理解しています。物体間の関係を理解できるシステムを構築すれば、環境をより効率的に制御し、変化させるために使えるのではないかと考えています」
研究者が開発した枠組みは、「左側に青い椅子がある木製のテーブル。右側に青い椅子がある赤いソファ」のような、物体とその関係のテキスト説明から場面の画像を生成できます。
このシステムは、これらの文を個々の関係を表す2つの短い部分（「青い椅子の左にある木製のテーブル」と「青い椅子の右にある赤いソファ」）に分け、それぞれを個別にモデル化します。その後、最適化の過程でこれらの部分を組み合わせ、場面の画像を生成します。
研究者らは、出来事の記述の中で個々の物体の関係を表現するために、エネルギーベースモデルと呼ばれる機械学習の手法を使用しました。この手法により、各関係の記述を一つのエネルギーモデルで符号化し、それらを組み合わせてすべての物体と関係を出力することができます。
「関係ごとに文をより短い部分に分割することで、システムはそれらをさまざまな方法で再結合でき、これまで見たことのない場面の記述にもよりうまく適応できます」とCSAILの博士課程学生シュアン・リーは述べました。
「他のシステムは、すべての関係を一つのまとまりとして扱い、記述から一度に画像を生成します。しかし、そうしたアプローチは、関係の数が多い記述など、学習データの範囲外の記述に直面すると失敗します。これは、そのモデルが一つのスナップショットを、より多くの関係を含む画像を作るために本当に適応させることができないからです。一方、これらの個別のより小さなモデルを組み合わせると、より多くの関係をモデル化でき、新しい組み合わせにも適応できます」
このシステムは逆方向にも機能します。画像から、画面内の物体間の関係に一致するテキスト説明を見つけることができます。さらに、このモデルは、物体を並べ替えて新しい説明に合うように画像を編集するためにも使えます。
研究者らは、テキストの説明を受け取って対応する物体とその関係を示す画像を生成する、他の深層学習手法とモデルを比較しました。いずれの場合も、彼らのモデルはベースラインの性能を上回りました。
研究者らはまた、生成された画像が元の説明に合っているかどうかを人々に評価してもらいました。説明が三つの関係を含む最も難しい例では、参加者の91%が新しいモデルの方が優れていると結論づけました。
「私たちが発見した興味深い点の一つは、このモデルでは、一つの説明から二つ、三つ、あるいは四つの説明へと文を増やしても、私たちのアプローチは関係によって正しく記述された画像を生成し続けられるのに対し、他の手法は失敗してしまうということです」
研究者らはまた、システムがこれまで見たことのないフレームのモデル画像と、各画像に対する複数の異なるテキスト説明を示したところ、画像内の物体の関係に最もよく一致する説明を正しく特定できました。
研究者らが、同じ画像を異なる表現で説明する二つの関係シーンの記述をシステムに与えたところ、モデルはそれらの記述が同等であることを理解できました。研究者らは、特にこれまで遭遇したことのない記述を扱う際の、システムの信頼性に感銘を受けました。
「これは非常に有望です。人間に近い働き方だからです。人は少数の例しか見られませんが、その少数の例から有用な情報を抽出し、組み合わせて無限の組み合わせを生み出すことができます。私たちのモデルも、より少ないデータから学習しつつ、より複雑な場面や画像生成へと一般化できるという特性を持っています」
これらの初期結果は有望ですが、研究者らは、雑音の多い背景や互いに遮り合う物体を含む、より複雑な実世界の画像でモデルがどのように機能するかを確認したいと考えています。
彼らはまた、最終的にこのモデルをロボティクスシステムに組み込むことにも関心を持っています。そうすることで、ロボットは物体間の関係を特定し、その知識を使って世界の物体を操作できるようになります。
「私たちを取り囲む世界の構成的な性質を扱える視覚表現の開発は、コンピュータビジョンにおける主要な未解決課題の一つです。この研究は、出来事の場面に描かれた複数の物体間の関係を明示的にモデル化する、エネルギーベースのモデルを提案することで、この課題の解決に大きく前進しました。結果は本当に印象的です」
