NVIDIA añade cuatro modelos Cosmos 3 de pesos abiertos para simular conducción y robots

NVIDIA ha añadido cuatro puntos de control de pesos abiertos a su familia de modelos Cosmos 3, diseñados para generar simulaciones interactivas de mundos y escenas de conducción multisensor y multivista, según explicó la empresa en una publicación en Hugging Face.

Los puntos de control son Cosmos3-Nano-Transfer-Auto, Cosmos3-Nano-Sim-Auto, Cosmos3-Nano-Sim-Transfer y Cosmos3-Nano-Sim-Bimanual. NVIDIA afirma que los cuatro son ejemplos postentrenados de Cosmos 3 Nano, con 16 000 millones de parámetros entrenables, y que utilizan la licencia OpenMDW1.1, que permite el uso comercial y no comercial según sus condiciones.

Modelos de conducción

Transfer-Auto es un modelo bidireccional para la generación offline de datos sintéticos de conducción, según NVIDIA. Produce vídeo sincronizado en hasta 11 vistas de cámara, incluidas cámaras de ojo de pez, y admite la generación conjunta de RGB y LiDAR. Los desarrolladores pueden variar el clima, la iluminación y la hora del día, según la empresa.

Sim-Auto es la versión en streaming de Transfer-Auto, entrenada para que cada paso dependa únicamente de los anteriores. NVIDIA afirma que genera vídeo de cámara y LiDAR en segmentos cortos y sucesivos, con solo unas pocas pasadas de eliminación de ruido, y que aprovecha los fotogramas generados previamente y nuevas entradas de conducción para sostener ejecuciones interactivas largas. El uso en bucle cerrado requiere un entorno de ejecución de simulación y un renderizador World Scenario Map para actualizar los controles, según la empresa.

Modelos de robótica

Sim-Transfer toma controles espaciales, como la profundidad y la segmentación, de un simulador físico, junto con una instrucción de texto, y renderiza observaciones en color que una política de robot puede procesar. NVIDIA afirma que la física y el estado de referencia real permanecen en el simulador.

Sim-Bimanual simula cómo cambia un entorno en respuesta a las acciones de un robot bimanual. NVIDIA afirma que admite las configuraciones físicas YAM y AgiBot, controladas por una política o por joysticks manejados por personas, y que genera la siguiente observación directamente a partir de la escena y las acciones del robot.

Cómo funcionan los modelos

Cosmos 3 utiliza una arquitectura Mixture-of-Transformers que enlaza, mediante atención, redes independientes de procesamiento de texto y de generación visual, según NVIDIA. Los modelos trabajan con representaciones de vídeo comprimidas llamadas latentes, y la empresa afirma que fragmentos más pequeños permiten que los nuevos controles afecten a la generación con más frecuencia.

La publicación describe cuatro etapas de entrenamiento: adaptación bidireccional, teacher forcing, destilación de consistencia y self-forcing. NVIDIA afirma que la última etapa es importante porque un pequeño error de predicción sobre un objeto se transmite a los fotogramas posteriores como contexto, lo que permite que los errores se acumulen.

NVIDIA afirma que las recetas de postentrenamiento parten de Cosmos3-Nano o de pesos base compatibles. Para Sim-Bimanual, enumeró los requisitos de Linux, una GPU de NVIDIA, Docker y NVIDIA Container Toolkit, y explicó que la configuración publicada se probó en una GB200, lo que, según la empresa, no es una especificación de memoria mínima.

La empresa reconoció que quedan problemas complejos por resolver. Según indicó, el trabajo futuro incluye comprobar en qué medida los modelos admiten el aprendizaje y la evaluación de políticas, identificar sus límites y mejorar los aspectos débiles.