NVIDIA представила модель для роботов GR00T 2 и фреймворк симуляции Isaac Lab 3.0 на CoRL

Корпорация NVIDIA представила GR00T 2, обновлённую открытую модель действий в открытом мире для роботов, и Isaac Lab 3.0, новую версию своей открытой платформы для обучения роботов. Презентация прошла на конференции по обучению роботов (CoRL) в Остине, штат Техас.

Компания сообщила, что обучала GR00T 2 на смеси данных роботов и людей, в том числе на 100 000 часах собственных открытых эгоцентрических данных. Это должно помочь роботам осваивать ловкие манипуляции. NVIDIA заявила, что модель хотя бы раз выполнила 40 из 50 оценивавшихся задач без демонстраций для конкретной задачи. Средняя успешность по 50 задачам составила 71% при одной демонстрации на задачу и 95% при пяти.

NVIDIA сообщила, что GR00T 2 может учиться на демонстрациях людей и переносить навыки между роботами разных конструкций без демонстраций от роботов. ИИ-агенты могут использовать её программный интерфейс и вспомогательные инструменты, чтобы запускать навыки последовательно и исправлять ошибки, сообщила компания. По её данным, модель входит в число трёх лучших в категориях vision-language-action и world action model по бенчмаркам RoboCasa365, RoboLab, RoboDojo и MolmoSpaces.

Isaac Lab 3.0 и физическая симуляция

Isaac Lab 3.0 позволяет исследователям с помощью агентов настраивать среды обучения с готовыми к симуляции ассетами, переключаться между физическими решателями PhysX и Newton и выбирать рендереры для обучения на основе восприятия. В версию также добавили библиотеку для посттренинга с подкреплением базовых моделей, например GR00T, по словам NVIDIA.

Более тесная интеграция с Newton, открытым физическим движком, позволяет Isaac Lab моделировать деформируемые объекты, такие как кабели и ткань, а также сочленённые системы, например многосуставные роботизированные кисти. По имеющимся данным, на тесте ловкого манипулирования на основе зрения Isaac Lab 3.0 с Newton достигает пропускной способности обучения до 2,5 раза выше, чем у Isaac Lab 2.3 с PhysX.

Новые бенчмарки и использование партнёрами

NVIDIA выпустила предварительную версию для разработчиков Isaac Lab-Arena 0.4, открытой платформы для оценки политик на тысячах вариаций, запускаемых параллельно. Два новых открытых бенчмарка на её основе, DexBench и VABAR, призваны измерять ловкость и адаптивность на промышленных задачах. DexBench, разработанный RLWRLD совместно с NVIDIA, включает 15 задач в четырёх сценах: розничная торговля, логистика, производство и сфера гостеприимства. VABAR, созданный UC Berkeley и NVIDIA, охватывает шесть промышленных задач.

Компания Skild AI анонсировала STEEL, решатель физики твёрдых тел на базе Newton, который ускоряет обучение роботов в Isaac Lab. Компания Flexion показала, как Isaac Lab и Newton помогают обучать её модель интеллекта роботов Reflect. FieldAI использует Newton, Isaac Lab и Isaac Sim для обучения и проверки политик в неструктурированных средах. Nexuni тестирует GR00T 2 для роботизированной стирки, Foxconn применяет её для автоматизации производства серверов, а Siemens оценивает её для промышленного использования, сообщила NVIDIA.

Компания провела в Южной Корее форум партнёрства для ИИ-стартапов, где объявила об инвестиции в Point2 и запланировала дальнейшие вложения в Motif Technologies, RLWRLD и Upstage.