NVIDIA ajoute quatre modèles Cosmos 3 à poids ouverts pour la simulation de conduite et de robots

NVIDIA a ajouté quatre points de contrôle à poids ouverts à sa famille de modèles Cosmos 3, conçus pour générer des simulations interactives de mondes et des scènes de conduite multi-capteurs et multi-vues, a indiqué l'entreprise dans une publication sur Hugging Face.

Les points de contrôle sont Cosmos3-Nano-Transfer-Auto, Cosmos3-Nano-Sim-Auto, Cosmos3-Nano-Sim-Transfer et Cosmos3-Nano-Sim-Bimanual. NVIDIA indique que les quatre sont des exemples post-entraînés de Cosmos 3 Nano dotés de 16 milliards de paramètres entraînables, et qu'ils utilisent la licence OpenMDW1.1, qui autorise les usages commerciaux et non commerciaux selon ses conditions.

Modèles de conduite

Transfer-Auto est un modèle bidirectionnel de génération hors ligne de données synthétiques de conduite, selon NVIDIA. Il produit une vidéo synchronisée sur jusqu'à 11 vues de caméra, y compris des caméras fisheye, et prend en charge la génération conjointe RGB et LiDAR. Les développeurs peuvent faire varier la météo, l'éclairage et l'heure de la journée, a indiqué l'entreprise.

Sim-Auto est la version en flux continu de Transfer-Auto, entraînée de sorte que chaque étape ne dépende que des précédentes. NVIDIA indique qu'il produit de la vidéo de caméra et des données LiDAR en segments courts successifs, avec seulement une poignée de passes de débruitage, en s'appuyant sur les images générées précédemment et de nouvelles entrées de conduite pour soutenir de longues sessions interactives. L'utilisation en boucle fermée nécessite un environnement d'exécution de simulation et un moteur de rendu World Scenario Map pour mettre à jour les commandes, a indiqué l'entreprise.

Modèles robotiques

Sim-Transfer prend en entrée des commandes spatiales, comme la profondeur et la segmentation, issues d'un simulateur physique, ainsi qu'une invite textuelle, et génère des observations couleur qu'une politique de robot peut exploiter. NVIDIA indique que la physique et l'état de référence restent dans le simulateur.

Sim-Bimanual simule la façon dont un environnement évolue en réponse aux actions d'un robot's à deux bras. NVIDIA indique qu'il prend en charge les morphologies YAM et AgiBot, contrôlées par une politique ou par des manettes actionnées par un humain, et qu'il génère l'observation suivante directement à partir de la scène et des actions du robot.

Fonctionnement des modèles

Cosmos 3 utilise une architecture Mixture-of-Transformers qui relie, par attention, des réseaux distincts de traitement de texte et de génération visuelle, indique NVIDIA. Les modèles travaillent sur des représentations vidéo compressées appelées latents, et l'entreprise affirme que des segments plus petits permettent aux nouvelles commandes d'influencer la génération plus souvent.

La publication décrit quatre étapes d'entraînement : adaptation bidirectionnelle, forçage par enseignant, distillation de cohérence et auto-forçage. NVIDIA indique que la dernière étape est importante, car une petite erreur de prédiction sur un objet est réinjectée dans les images suivantes comme contexte, ce qui permet aux erreurs de s'accumuler.

NVIDIA indique que les recettes de post-entraînement partent de Cosmos3-Nano ou de poids de base compatibles. Pour Sim-Bimanual, elle énumère les prérequis suivants : Linux, un GPU NVIDIA, Docker et NVIDIA Container Toolkit, et précise que la configuration publiée a été testée sur un GB200, ce qui, selon elle, ne constitue pas une spécification de mémoire minimale.

L'entreprise reconnaît que des problèmes difficiles subsistent. Elle indique que les travaux futurs consisteront à vérifier dans quelle mesure les modèles prennent en charge l'apprentissage et l'évaluation de politiques, à cartographier leurs limites et à améliorer les points faibles.