MIT、知的ソフトロボットを設計・訓練するシステムを開発
最高のはしご登りロボットを作りたいとします。脳と身体の両方を最適化する必要があり、おそらく高性能な脚と足裏を備えたロボットに、強力な登攀アルゴリズムを組み合わせることになるでしょう。
ロボットを動かすための重要な要素は、物理的な身体の設計と、その脳（「制御」）ですが、既存のベンチマーク環境は後者のみを重視しています。両方の要素を同時に最適化することは困難で、設計要素がなくても、さまざまなロボットモデルに異なる動作を学習させるには多くの時間がかかります。
マサチューセッツ工科大学のコンピューターサイエンス・人工知能研究所（CSAIL）の科学者たちはこの空白を埋めようと、自然と進化のプロセスからインスピレーションを得て、開発した「Evolution Gym」を発表しました。これは、ソフトロボットの設計と制御を同時に最適化するための大規模テストシステムです。
シミュレーター内のロボットは、柔らかい、硬い、駆動する「セル」がグリッド上に並んだ、柔らかく動くテトリスのピースに少し似ています。これらは歩行、登攀、物体の操作、形状変化、起伏の多い地形のナビゲーションに使われます。ロボットの能力を検証するため、チームは標準的な設計最適化手法と深層強化学習（RL）手法を組み合わせた独自の共同設計アルゴリズムを開発しました。
共同設計アルゴリズムは、設計最適化手法がロボットの身体を発展させ、RLアルゴリズムが提案された設計に対するコントローラー（ロボットに接続し動きを制御するコンピューターシステム）を最適化する、強力なペアのように機能します。設計最適化は「この設計はどれほどうまく機能するか？」と問い、制御の最適化は「歩行で5点」のような評価を与えます。
結果はロボットの小さなオリンピックのようです。歩行やジャンプといった標準的な課題に加えて、研究者たちは登攀、ひっくり返り、バランス、階段登りなど、独自の課題も取り入れました。
30以上の異なる環境で、ボットは歩行や物体の運搬といった単純な課題はうまくこなしましたが、キャッチングや階段登りといったより複雑な条件では失敗し、現在の共同設計アルゴリズムの限界を示しました。例えば、最適化されたロボットはチームが「フラストレーション」と呼ぶもの、つまり多くの課題で明らかに最適ではない振る舞いを見せることがありました。例えば、キャッチャーロボットは、後ろから落ちてくるブロックを捕まえるために、しばしば前方に飛び込みました。
ロボットの設計は、共同設計アルゴリズムに関する事前知識なしに、ゼロから自律的に進化し、より進化的なプロセスへと向かいましたが、それらはしばしば既存の自然の生き物に似たものになり、手作業で作られたロボットを上回りました。
「Evolution Gymを作るにあたり、私たちは機械学習と人工知能のアルゴリズムの限界を押し広げたいと考えています。速度と簡便さに重点を置いた大規模ベンチマークを構築することで、強化学習と共同設計の分野においてアイデアや結果を共有するための共通言語を生み出すだけでなく、研究者が最新の計算資源を利用して、これらの分野のアルゴリズム開発に貢献できるようにします。私たちの研究が、あなたや私のような賢いロボットとの未来に一歩近づけることを願っています」
場合によっては、ロボットが人間と同じように学習すると、試行錯誤によって強化学習の基礎にある課題をより深く理解できることがあります。ロボットは、ブロックを押すといった課題を、ブロックの位置や周囲の地形がどのようなものかを「見る」のに役立つ情報を受け取ることで学習しました。
その後、ロボットは自身の性能がどれほど良いかの評価（「報酬」）を受け取ります。ブロックを押すほど報酬は高くなります。ロボットは、探索（「ジャンプすれば報酬を増やせるだろうか？」と自問するような）と活用（報酬を増やす行動をさらに学ぶこと）のバランスを同時にとる必要があります。
アルゴリズムが異なる設計のために考え出した「セル」のさまざまな組み合わせは非常に効果的でした。その一つは、自然界に見られるものを模倣した脚のような構造を持つ、跳ねる馬に似たロボットへと発展しました。登攀ロボットは、登るのを助けるために、二本の腕と二本の脚のような構造（猿のような）を発達させました。階段登りロボットは、二本指のグリッパーに似ていました。
今後の研究の方向性の一つは、いわゆる「形態的発達」です。これは、ロボットがより複雑なタスクを解決する経験を積むにつれて、徐々に賢くなっていくというものです。例えば、まず単純な歩行ロボットを最適化し、次に同じ構造を運搬用に最適化し、その後は階段を登れるようにします。時間の経過とともに、ロボットの身体と脳は「変化」し、最初から同じタスクを直接学習させられたロボットと比べて、より複雑な課題を解決できるものへと変わっていきます。
「Evolution Gymは、AIコミュニティにおいて、知的な振る舞いを支える上で身体と脳が対等なパートナーであるという認識が高まっていることの一例です。このパートナーシップを形作るものが何なのかを明らかにするには、まだ非常に多くのことをしなければなりません。このジムは、そうした問題に取り組む上で重要なツールになると考えられます」
Evolution Gymはオープンソースで、無料で利用できます。これは意図的に行われたものです。研究者たちは、自身の研究が新しく改良されたコーディングアルゴリズムの開発を刺激することを期待しているためです。
