NVIDIA dévoile le modèle GR00T 2 pour robots et le framework de simulation Isaac Lab 3.0 à CoRL

NVIDIA Corp. a présenté GR00T 2, une version mise à jour de son modèle d'action du monde ouvert pour robots, ainsi qu'Isaac Lab 3.0, une nouvelle version de son framework open source d'apprentissage robotique, lors de la Conference on Robot Learning (CoRL), à Austin, au Texas.

L'entreprise indique avoir entraîné GR00T 2 sur un mélange de données robotiques et humaines, dont 100 000 heures de ses propres données égocentriques en open source, afin d'aider les robots à apprendre la manipulation adroite. NVIDIA indique que le modèle a réussi au moins une fois 40 des 50 tâches évaluées, sans démonstrations propres à chaque tâche. Il atteint un taux de réussite moyen de 71 % sur 50 tâches avec une seule démonstration par tâche, qui passe à 95 % avec cinq démonstrations.

NVIDIA indique aussi que GR00T 2 peut apprendre à partir de démonstrations humaines et transférer des compétences d'un corps de robot à un autre, sans démonstrations robotiques. Selon l'entreprise, les agents d'IA peuvent utiliser son interface de programmation et ses outils d'accompagnement pour enchaîner des compétences et corriger leurs erreurs. Elle affirme que le modèle figure parmi les trois meilleurs dans les catégories vision-langage-action et modèle d'action du monde, sur les benchmarks RoboCasa365, RoboLab, RoboDojo et MolmoSpaces.

Isaac Lab 3.0 et simulation physique

Isaac Lab 3.0 permet aux chercheurs de recourir à des agents pour configurer des environnements d'entraînement avec des actifs prêts pour la simulation, de passer d'un solveur physique à l'autre entre PhysX et Newton, et de choisir des moteurs de rendu pour l'entraînement fondé sur la perception. Il ajoute aussi une bibliothèque de post-entraînement par renforcement pour les modèles de fondation comme GR00T, indique NVIDIA.

Une intégration plus étroite avec Newton, un moteur physique open source, permet à Isaac Lab de modéliser des objets déformables, comme des câbles et des tissus, ainsi que des systèmes articulés, comme des mains robotisées à plusieurs articulations. Sur un benchmark de manipulation adroite fondé sur la vision, Isaac Lab 3.0 avec Newton aurait atteint un débit d'entraînement jusqu'à 2,5 fois supérieur à celui d'Isaac Lab 2.3 avec PhysX.

Nouveaux benchmarks et usages chez les partenaires

NVIDIA a publié une version préliminaire pour développeurs de la version 0.4 d'Isaac Lab-Arena, un framework open source permettant d'évaluer des politiques sur des milliers de variantes en parallèle. Deux nouveaux benchmarks ouverts bâtis dessus, DexBench et VABAR, visent à mesurer la dextérité et l'adaptabilité sur des tâches industrielles. DexBench, développé par RLWRLD avec NVIDIA, compte 15 tâches réparties sur quatre scènes : commerce de détail, logistique, fabrication et hôtellerie. VABAR, issu de l'UC Berkeley et de NVIDIA, couvre six tâches industrielles.

Skild AI a annoncé STEEL, un solveur de physique des corps rigides construit sur Newton pour accélérer l'entraînement des robots avec Isaac Lab. Flexion a montré comment Isaac Lab et Newton aident à entraîner son modèle d'intelligence robotique Reflect, et FieldAI utilise Newton, Isaac Lab et Isaac Sim pour entraîner et valider des politiques destinées à des environnements non structurés. Nexuni teste GR00T 2 pour la blanchisserie robotisée, Foxconn l'applique à l'automatisation de la fabrication de serveurs, et Siemens l'évalue pour des usages industriels, indique NVIDIA.

NVIDIA indique aussi avoir organisé un forum de partenariat pour des start-up d'IA en Corée du Sud, où elle a annoncé un investissement dans Point2 et prévu d'autres investissements dans Motif Technologies, RLWRLD et Upstage.