NVIDIA додає чотири моделі Cosmos 3 з відкритими вагами для симуляції водіння та роботів

NVIDIA додала чотири контрольні точки з відкритими вагами до родини моделей Cosmos 3, призначені для генерування інтерактивних симуляцій світу та багатосенсорних багаторакурсних сцен водіння, повідомила компанія в дописі на Hugging Face.

Контрольні точки називаються Cosmos3-Nano-Transfer-Auto, Cosmos3-Nano-Sim-Auto, Cosmos3-Nano-Sim-Transfer і Cosmos3-Nano-Sim-Bimanual. За словами NVIDIA, усі чотири є донавченими прикладами Cosmos 3 Nano зі 16 мільярдами навчаних параметрів, і вони використовують ліцензію OpenMDW1.1, яка дозволяє комерційне та некомерційне використання на її умовах.

Моделі для водіння

Transfer-Auto є двоспрямованою моделлю для офлайн-генерації синтетичних даних водіння, за словами NVIDIA. Вона створює синхронізоване відео з до 11 камер, включно з фішай-камерами, і підтримує спільну генерацію RGB та LiDAR. Розробники можуть змінювати погоду, освітлення та час доби, повідомила компанія.

Sim-Auto — це потокова версія Transfer-Auto, навчена так, що кожен крок залежить лише від попередніх. За словами NVIDIA, вона створює відео з камер та дані LiDAR у послідовних коротких сегментах лише за кілька проходів шумозаглушення, спираючись на раніше згенеровані кадри та нові вхідні дані водіння, щоб підтримувати довгі інтерактивні сесії. Для роботи в замкнутому циклі потрібне середовище виконання симуляції та рендерер World Scenario Map для оновлення керуючих сигналів, повідомила компанія.

Моделі для робототехніки

Sim-Transfer приймає просторові керуючі сигнали, такі як глибина та сегментація, з фізичного симулятора, а також текстовий промпт, і відтворює колірні спостереження, які може використовувати політика робота. За словами NVIDIA, фізика та точний стан залишаються в симуляторі.

Sim-Bimanual симулює, як змінюється середовище у відповідь на дії дворукого робота. За словами NVIDIA, вона підтримує втілення YAM та AgiBot, якими керують політика або джойстики під контролем людини, і генерує наступне спостереження безпосередньо зі сцени та дій робота.

Як працюють моделі

Cosmos 3 використовує магістраль Mixture-of-Transformers, яка з'єднує окремі мережі обробки тексту та генерації зображення через механізм уваги, сказано в NVIDIA. Моделі працюють зі стиснутими відеопредставленнями, які називаються латентами, а компанія зазначила, що менші фрагменти дозволяють новим керуючим сигналам частіше впливати на генерацію.

У дописі описано чотири етапи навчання: двоспрямована адаптація, форсування вчителя, дистиляція узгодженості та самоформування. За словами NVIDIA, останній етап важливий, оскільки невелика помилка прогнозу щодо об'єкта передається в наступні кадри як контекст, і помилки можуть накопичуватися.

За словами NVIDIA, рецепти післятренування починаються з Cosmos3-Nano або сумісних базових ваг. Для Sim-Bimanual вона перелічила вимоги: Linux, GPU від NVIDIA, Docker і NVIDIA Container Toolkit, і повідомила, що опублікована конфігурація тестувалася на одному GB200, який, за її словами, не є специфікацією мінімальної пам'яті.

Компанія визнала, що складні проблеми залишаються. Вона заявила, що подальша робота передбачає перевірку того, наскільки добре моделі підтримують навчання та оцінювання політик, окреслення їхніх меж і покращення слабких місць.