LiberAI、220万時間の人間の経験で学習したロボットモデル「Liber-0」を発表

北京拠点のスタートアップLiberAIは、タスク固有のロボットデモンストレーションなしでロボット操作を行うことを目指し、220万時間以上の人間の経験であらかじめ学習させた世界行動モデル「Liber-0」を発表した。The Robot Reportによると、同社は11月4日にこのモデルを発表した。

LiberAIによると、Liber-0は人間の動画とグローブで記録した手の動きを組み合わせ、さらに「身体条件付き学習」（動作を行う身体についてモデルに伝える手法）を用いて、人間の操作スキルをロボットに移転させる。

ゼロショットテストの結果

LiberAIは、GPT-6が提案した60のタスクでモデルを評価した。内訳は、ピック・アンド・プレース20件、その他の操作20件、難易度の高い長期的タスク20件。例として、ペンを筆箱に入れることや、引き出しを押して閉めることが含まれた。

同社は、ピック・アンド・プレースで63.5%、その他の操作で34.0%、最も難しいタスクで10.5%の成功率を報告し、600回の試行全体で36.0%だったとした。ここでいうゼロショットとは、テスト対象のチェックポイントが、そのタスク専用に収集されたロボットデモで学習されていないことを意味する。ただし、事前学習にはロボットデータが含まれていた。

モデルが人間の動画をロボットの動作にどうつなげるか

LiberAIは、人間の動画を直接ロボットの命令に変換することはできないと述べた。同社の説明では、カメラの位置は一定でなく、映像から推定した手の姿勢は不正確で、人間の身体はロボットとは異なる動きをする。

これに対処するため、同社は手の動きを直接記録するデータ収集用グローブ「LiberSense Glove」を使用している。また、カメラの視点や手・手首・腰の動きが人間により近いロボットプラットフォームを用い、身体の形状や関節の動きに関する情報を与える「Unified Embodiment Representation」も使う。Liber-0は将来のビデオフレームと動作を同時に予測し、これにより動作ラベルのない一般的な動画からも学習できる。

「人間の動画では人が何をしているかは分かるが、手がどのように動くのか、その動きが別の身体にどう当てはまるのかは正確には分からない、」

LiberAI創業者兼CEOのSongming Liu

ロボットのデモンストレーションの必要性を減らす

別途行った8タスクの実験では、LiberAIは、ロボットデモ集合の25%とグローブデータ全体で学習させたポリシーが進捗スコア75.6に達し、ロボットデータ全体で学習させたポリシーの72.8と比べて同等の性能だったと述べた。ロボットデモは75%少なくて済むが、混合ポリシーでは依然としてグローブデータ全体を使用している。

別の制御された実験では、ピック・アンド・プレースのみを対象としたロボットデモで学習させたポリシーは、それ以外のタスクで2.2のスコアだった。そうした動作のグローブ記録を追加すると、スコアは47.5に上がった。

制約

LiberAIは、グローブは手の姿勢と軌道を捉えるが、触覚や力は測定しないと指摘した。挿入、締結、柔らかい素材の扱いといったタスクでは、これらの信号が重要となる。同社は今後の研究課題として、触覚・力覚センシングや、より多様な家庭でのデータ収集を挙げた。