NVIDIA представила модель робота GR00T 2 і симулятор Isaac Lab 3.0 на CoRL

Корпорація NVIDIA представила GR00T 2, оновлену відкриту модель дій для роботів, і Isaac Lab 3.0, нову версію свого відкритого фреймворку для навчання роботів. Презентація відбулася на конференції з навчання роботів (CoRL) в Остіні, штат Техас.

Компанія заявила, що навчала GR00T 2 на суміші даних роботів і людей, зокрема на 100 000 годинах власних відкритих егоцентричних даних, щоб роботи навчилися вправної маніпуляції. NVIDIA повідомила, що модель виконала щонайменше раз 40 із 50 оцінюваних завдань без демонстрацій для окремих завдань. Середня успішність у 50 завданнях з однією демонстрацією на завдання становила 71%, а з п'ятьма демонстраціями зросла до 95%.

NVIDIA також заявила, що GR00T 2 вміє вчитися на демонстраціях людей і передавати навички між роботами різної конструкції без демонстрацій від роботів. За даними компанії, ШІ-агенти можуть використовувати її програмний інтерфейс і допоміжні інструменти, щоб виконувати навички послідовно і відновлюватися після помилок. Компанія стверджує, що модель входить до трійки найкращих у категоріях моделей «бачення, мова, дія» та моделей світових дій за результатами тестів RoboCasa365, RoboLab, RoboDojo і MolmoSpaces.

Isaac Lab 3.0 і фізична симуляція

Isaac Lab 3.0 дає дослідникам змогу використовувати агентів, щоб налаштовувати середовища навчання з готовими до симуляції асетами, перемикатися між фізичними розв'язувачами PhysX і Newton та вибирати рендерери для навчання на основі сприйняття. Isaac Lab 3.0 також додає бібліотеку для посттренування базових моделей, таких як GR00T, з підкріпленням, повідомила NVIDIA.

Тісніша інтеграція з Newton, рушієм фізики з відкритим кодом, дає Isaac Lab змогу моделювати деформовані об'єкти, як-от кабелі й тканину, а також зчленовані системи, наприклад багатосуглобові роботизовані кисті. На тесті з вправної маніпуляції на основі зору Isaac Lab 3.0 з Newton, за повідомленнями, досяг пропускної здатності навчання до 2,5 раза вищої, ніж Isaac Lab 2.3 з PhysX.

Нові тести і використання партнерами

NVIDIA випустила попередню версію для розробників версії 0.4 Isaac Lab-Arena, відкритого фреймворку для оцінювання політик у тисячах варіантів паралельно. Два нові відкриті тести, створені на його основі, DexBench і VABAR, мають вимірювати спритність і адаптивність у промислових завданнях. DexBench, який розробили RLWRLD разом із NVIDIA, містить 15 завдань у чотирьох сценах: роздрібна торгівля, логістика, виробництво та гостинність. VABAR, створений Каліфорнійським університетом у Берклі та NVIDIA, охоплює шість промислових завдань.

Skild AI анонсувала STEEL, розв'язувач для фізики твердих тіл, побудований на Newton для прискорення навчання роботів з Isaac Lab. Flexion показала, як Isaac Lab і Newton допомагають навчати її модель інтелекту роботів Reflect, а FieldAI використовує Newton, Isaac Lab і Isaac Sim, щоб навчати й перевіряти політики для неструктурованих середовищ. Як повідомила NVIDIA, Nexuni тестує GR00T 2 для роботизованого прання, Foxconn застосовує його в автоматизації виробництва серверів, а Siemens оцінює його для промислових потреб.

NVIDIA також повідомила, що провела форум партнерства для ШІ-стартапів у Південній Кореї, де оголосила про інвестицію в Point2 і планує подальші інвестиції в Motif Technologies, RLWRLD та Upstage.