Meta の研究者、子どもの絵を動かすAIシステムを開発

2021年12月21日, 17:00

子どもたちは驚くほどユニークで風変わりなキャラクターを描き、私たちの想像力を刺激します。そして私たちは、その絵に描かれた人や物を、少し違う頭の使い方で認識します。親や教師にとって、子どもの絵が何を表しているのかを見分けるのは比較的簡単ですが、AIはこの課題をうまくこなせません。

子どもの絵は抽象的で独特な描き方をされることが多いため、人物の足の位置が不安定だったり、両手が体の同じ側にあったりすると、写真のようにリアルな画像や絵の中の物体を検出することに長けた現代のAIシステムでさえ混乱してしまいます。

Meta の研究者たちは、AIシステムが子どもが描くさまざまなスタイルの人物画をより正確に認識できるよう、この課題の克服に取り組んでいます。彼らは、子どもが手描きした人物やヒューマノイド風のキャラクター（両手、両足、頭を持つもの）を自動でアニメーション化する、この種では初の手法を発表しました。

これらの絵は、AIを使えば数分で動かすことができます。システムに絵をアップロードすると、親と子どもは、絵が踊ったり跳ねたりする動くキャラクターに変わる様子を見て楽しむことができます。また、アニメーション化された絵をダウンロードして、友人や家族と共有することもできます。親が希望すれば、AIモデルの改善のために絵を送信することもできます。

「AIにこの典型的な人間の創作形式を効果的に扱えるよう学習させることで、このプロジェクトが、人間の視点から世界を理解できるAIの実現に近づくことを期待しています。また、この研究が、人の創造力を高めるためのAI活用に関するさらなる研究を後押しし、この技術の新たな創造的な使い方を生み出すきっかけになることも願っています」と Meta は述べています。

研究者たちの目標は、子どもの絵の中の人物を高い精度で識別し、人の介入なしに自動でアニメーション化できるAIシステムを作ることでした。

多くのAIツールや手法は、リアルな人物画像を処理するために設計されていますが、子どもの絵は多様性と予測不可能性を加えるため、何が描かれているのかを判別することが格段に難しくなります。子どもの絵に描かれた「人」は、形、色、大きさ、スケールがさまざまで、体の対称性や視点の点ではほとんど共通点がありません。

研究者たちは、子どもの絵に見られる膨大な多様性に対応するため、4つのステップからなるプロセスでこの課題に取り組み、各段階でアプローチを細かく調整しました。

研究者たちは、子どもの絵の中で人のような形を認識するようAIを学習させるシステムを開発しました。ページ上の他の物体や図形が似た特徴、色、大きさを持つ場合、これは簡単ではありません。その後、人物の形を切り出し、ページには何も追加しないことで、アニメーションのキャラクターを子どもが意図したものにできる限り近づけます。次に、アニメーションが魅力的に動くように、人物の関節を特定します。これらのステップがすべて完了すると、絵はアニメーションの準備が整います。

2Dの人物を3Dモーションキャプチャで動かすには、多くの子どもが、科学者が「歪んだ遠近法」と呼ぶ方法で絵を描くという事実を利用します。多くの子どもは、まず体の各部分を最も特徴的な視点から描きます。これは、実際の人間の見え方とは異なることがあります。例えば、足や靴は横から、頭や胴体は正面から描くことがよくあります。

研究者たちは、この遠近法をモーションの再割り当て段階で利用しています。体の下部や上部に関係なく、正面と横のどちらから見たほうが動きをより認識しやすいかを自動で判断します。選ばれた視点を使って、動きは1つの2D平面に投影され、それをキャラクターの制御に利用します。

「研究を共有することで、アマチュアの絵を対象としたコンピュータビジョンの研究がさらに進むことを期待しています。このプロジェクトの今後の研究では、スーパーヒーロー、プリンセス、モンスター、忍者など、人物の下位カテゴリーに合わせたより適切な動きの特定と適用に焦点を当てることもできるでしょう」と研究者たちは語りました。

キャラクターの各部位をより詳しく分析することは、アンテナ、しっぽ、マントなどの特定や、アニメーションの魅力を高めるための二次的な動きの適用にも役立つ可能性があります。いつの日か、AIシステムが複雑な絵を取り込み、いくつもの空想的なキャラクターが互いに関わり合い、背景の要素も含んだ詳細なアニメーション動画を瞬時に作り出せるようになるかもしれません。