NVIDIA、駆動とロボットのシミュレーション向けにオープンウェイトのCosmos 3モデルを4つ追加

NVIDIAは、Cosmos 3モデルファミリーにオープンウェイトのチェックポイントを4つ追加したと、同社がHugging Faceへの投稿で明らかにした。インタラクティブな世界シミュレーションや、マルチセンサーかつマルチビューの運転シーン生成に対応するよう設計されているという。

チェックポイントは、Cosmos3-Nano-Transfer-Auto、Cosmos3-Nano-Sim-Auto、Cosmos3-Nano-Sim-Transfer、Cosmos3-Nano-Sim-Bimanualの4つ。NVIDIAによると、いずれも160億の学習可能パラメータを持つCosmos 3 Nanoの事後学習例で、OpenMDW1.1ライセンスを採用しており、同ライセンスの条件下で商用・非商用の利用が認められるという。

運転向けモデル

NVIDIAによると、Transfer-Autoは、オフラインでの合成運転データ生成に向けた双方向モデルだ。魚眼カメラを含む最大11のカメラビューで同期した映像を生成し、RGBとLiDARの同時生成にも対応する。開発者は天候、照明、時間帯を変更できると同社は述べている。

Sim-AutoはTransfer-Autoのストリーミング版で、各ステップが直前のステップにのみ依存するように学習されている。NVIDIAによると、数回のノイズ除去パスだけで、カメラ映像とLiDARを短い連続セグメントとして生成し、既に生成されたフレームと新しい運転入力を用いて、長時間のインタラクティブな実行を維持するという。クローズドループでの利用には、シミュレーション実行環境と、制御を更新するためのWorld Scenario Mapレンダラーが必要だと同社は述べている。

ロボティクス向けモデル

Sim-Transferは、物理シミュレーターから奥行きやセグメンテーションなどの空間的制御情報と、テキストプロンプトを受け取り、ロボットのポリシーが利用できるカラーの観測データをレンダリングする。NVIDIAによると、物理特性と正解状態はシミュレーター側に留まるという。

Sim-Bimanualは、二腕ロボットの動作に応じて環境がどう変化するかをシミュレーションする。NVIDIAによると、YAMとAgiBotのエンボディメントに対応し、ポリシーまたは人が操作するジョイスティックで制御でき、シーンとロボットの動作から次の観測を直接生成するという。

モデルの仕組み

NVIDIAによると、Cosmos 3は、テキスト処理ネットワークと映像生成ネットワークを、アテンションを通じて連結するMixture-of-Transformersバックボーンを採用している。モデルは潜在表現と呼ばれる圧縮された映像表現を扱い、同社は、より小さなチャンク単位にすることで、新しい制御がより頻繁に生成に影響できるようになると述べている。

投稿では、4つの学習段階が説明されている。双方向適応、教師強制、一貫性蒸留、そしてセルフフォーシングだ。NVIDIAは、最終段階が重要だと述べている。物体に関する小さな予測誤差がコンテキストとして後のフレームに引き継がれ、誤りが蓄積していくためだという。

NVIDIAによると、事後学習の手順はCosmos3-Nanoまたは互換性のあるベースウェイトから始まる。Sim-Bimanualについては、Linux、NVIDIA GPU、Docker、NVIDIA Container Toolkitが必要条件として挙げられており、公開されたセットアップは1基のGB200でテストされたという。同社は、これは最低メモリ仕様ではないとしている。

同社は、依然として難しい課題が残ることを認めている。今後は、モデルがポリシーの学習と評価をどの程度支援できるかの確認、限界の把握、弱点の改善に取り組むという。