WIRED記者、GPT-6 Solで仮想ロボットMicroduckに猫を見つけさせる訓練

WIRED記者のウィル・ナイトは、OpenAIのGPT-6 Solモデルを使い、Pollen RoboticsとHugging Faceが開発したMicroduckロボットのシミュレーション版に、部屋を歩き回ってベンガル猫を見分けさせる訓練を行ったと述べた。ニュースレターの中で、ナイトはコーディングと訓練にわずか数時間しかかからなかったと説明した。以前であれば数週間かかっていた可能性があるという。

ナイトはまだ実機のMicroduckを受け取っていない。シミュレーションで学習した動作は比較的単純で、実機にもそのまま移せるはずだという。ペットのベンガル猫、レオナ用のおやつを出させる計画だ。取り付けた3Dプリント製の収納室からおやつを取り出すため、頭を下げる動作を使う可能性がある。

訓練の仕組み

ナイトは、GPT-6 Solを、Nous Researchのエージェント型ハーネス「Hermes」および、強力なAIチップを搭載した個人向けパソコンであるNvidiaのDGX Sparkと組み合わせた。ナイトによると、モデルはコードを書くだけにとどまらなかった。Nvidiaの「Isaac Sim」を使って仮想ロボットを制御するモデルに指示を送り、結果の動画を見て進捗を判断し、訓練方法の変更も提案したという。

この過程で、Microduckは転ばずに歩けるようになった。マイケル・ジャクソンのGIFを使ってムーンウォークを教える試みは、数時間の努力の末に終了した。ナイトはその結果を「とてもご機嫌な後ろ向きのジョグ」と表現した。

ナイトは、ロボットを確実に動かすことは依然として非常に難しく、高度なエンジニアリングの専門知識が必要だと注意を促した。自身のロボットの視覚システムは、実製品として使えるレベルには達していないと書いている。

研究者の間で用途が広がると見る

ナイトは、カリフォルニア大学バークレー校のケン・ゴールドバーグ教授の研究を取り上げた。ゴールドバーグ氏の学生は、9月に公開されたOpenAIのAstraモデルを試した。研究室のメンバーがAstraをNvidiaのツールであるNewtonに接続し、実際に動くロボットの映像を与えて、その場面のシミュレーションを作るよう求めたという。

「「われわれを驚かせたのは、1時間以内に、カメラの位置、照明、背景、すべての素材など、全パラメーターが設定された完全な3Dシミュレーションが生成されたことだ。」

カリフォルニア大学バークレー校教授、ケン・ゴールドバーグ

ゴールドバーグ氏は、Astraが実験を実行して結果を検証することで、シミュレーション訓練の退屈な作業の多くを自動化できるとも述べた。ナイトによると、複数の産業用ロボットや自動化企業がこの手法に関心を示しているという。

ゴールドバーグ氏と協力してきたNvidiaの研究者ジム・ファン氏は、AIモデルがソフトウェアのエージェントと同じような形でロボットを制御できるようになったと述べた。大規模言語モデルは、視覚言語行動モデルを呼び出せる。これらは物理的な動作を制御するよう訓練されており、コンピューターでさまざまなプログラムを使い分けるのと似ているという。

今週、ファン氏とゴールドバーグ氏らは、ロボットが新たなスキルを発見して使えるようにするオープンソースのエージェント型フレームワーク「Aspire」を公開した。一例では、GPT-6 Astraがロボットアーム2本を使ってルービックキューブを解く方法を見つけた。ファン氏はまた、テキサス州オースティンで開かれたロボット学習会議（Conference on Robot Learning）で基調講演を行い、Astraがロボットアームを操作してゴールデンゲートブリッジに絵を描く様子を見せた。