NVIDIA presenta el modelo para robots GR00T 2 y el marco de simulación Isaac Lab 3.0 en CoRL

NVIDIA Corp. presentó GR00T 2, una versión actualizada de su modelo de acción de mundo abierto para robots, y Isaac Lab 3.0, una nueva versión de su marco de aprendizaje robótico de código abierto, en la Conferencia sobre Aprendizaje Robótico (CoRL) de Austin, Texas.

La compañía explicó que entrenó GR00T 2 con una combinación de datos de robots y humanos, incluidas 100.000 horas de sus propios datos egocéntricos de código abierto, para que los robots aprendan manipulación hábil. NVIDIA indicó que el modelo completó al menos una vez 40 de las 50 tareas evaluadas sin demostraciones específicas para cada tarea, y alcanzó un 71 % de éxito medio en 50 tareas con una demostración por tarea, subiendo al 95 % con cinco.

Por otro lado, NVIDIA indicó que GR00T 2 puede aprender a partir de demostraciones humanas y transferir habilidades entre cuerpos de robot distintos sin demostraciones con robots. Los agentes de IA pueden usar su interfaz de programación y herramientas de apoyo para ejecutar habilidades en secuencia y recuperarse de errores, según la compañía. La empresa afirma que el modelo se sitúa entre los tres primeros en las categorías de modelos de visión-lenguaje-acción y de modelos de acción de mundo, en los puntos de referencia RoboCasa365, RoboLab, RoboDojo y MolmoSpaces.

Isaac Lab 3.0 y simulación física

Isaac Lab 3.0 permite a los investigadores usar agentes para preparar entornos de entrenamiento con activos listos para simulación, cambiar entre los solucionadores de física PhysX y Newton, y elegir renderizadores para el entrenamiento basado en percepción. Asimismo, incorpora una biblioteca de posentrenamiento por refuerzo para modelos fundacionales como GR00T, según NVIDIA.

La integración más estrecha con Newton, un motor de física de código abierto, permite a Isaac Lab modelar objetos deformables, como cables y tela, así como sistemas articulados, como las manos robóticas de varias articulaciones. En un punto de referencia de manipulación hábil basado en visión, Isaac Lab 3.0 con Newton habría alcanzado hasta 2,5 veces el rendimiento de entrenamiento de Isaac Lab 2.3 con PhysX, según se informa.

Nuevos puntos de referencia y uso por socios

NVIDIA lanzó una vista previa para desarrolladores de la versión 0.4 de Isaac Lab-Arena, un marco de código abierto para evaluar políticas en miles de variaciones en paralelo. Dos nuevos puntos de referencia abiertos construidos sobre él, DexBench y VABAR, buscan medir la destreza y la adaptabilidad en tareas industriales. DexBench, desarrollado por RLWRLD con NVIDIA, tiene 15 tareas en cuatro escenarios de venta minorista, logística, fabricación y hostelería. VABAR, de la UC Berkeley y NVIDIA, abarca seis tareas industriales.

Skild AI anunció STEEL, un solucionador de física de cuerpo rígido basado en Newton para acelerar el entrenamiento de robots con Isaac Lab. Flexion mostró cómo Isaac Lab y Newton ayudan a entrenar su modelo de inteligencia robótica Reflect, y FieldAI usa Newton, Isaac Lab e Isaac Sim para entrenar y validar políticas en entornos no estructurados. Nexuni está probando GR00T 2 para lavandería robotizada, Foxconn lo aplica a la automatización de la fabricación de servidores y Siemens lo evalúa para usos industriales, según NVIDIA.

NVIDIA indicó que celebró en Corea del Sur un foro de socios para startups de IA, donde anunció una inversión en Point2 y planea más inversiones en Motif Technologies, RLWRLD y Upstage.