NVIDIA добавила четыре модели Cosmos 3 с открытыми весами для симуляции вождения и роботов
NVIDIA добавила четыре контрольные точки с открытыми весами в семейство моделей Cosmos 3, предназначенные для генерации интерактивных симуляций мира и многосенсорных, многоракурсных сцен вождения, сообщила компания в публикации на Hugging Face.
Контрольными точками стали Cosmos3-Nano-Transfer-Auto, Cosmos3-Nano-Sim-Auto, Cosmos3-Nano-Sim-Transfer и Cosmos3-Nano-Sim-Bimanual. NVIDIA сообщила, что все четыре являются дообученными примерами Cosmos 3 Nano с 16 миллиардами обучаемых параметров и используют лицензию OpenMDW1.1, которая разрешает коммерческое и некоммерческое использование на её условиях.
Модели для вождения
Transfer-Auto — двунаправленная модель для автономной генерации синтетических данных о вождении, по данным NVIDIA. Она выдает синхронизированное видео с до 11 ракурсов камер, включая широкоугольные камеры типа «рыбий глаз», и поддерживает совместную генерацию RGB и лидарных данных. Разработчики могут менять погоду, освещение и время суток, сообщила компания.
Sim-Auto — потоковая версия Transfer-Auto, обученная так, что каждый шаг зависит только от предыдущих. NVIDIA сообщила, что модель выдает видео с камер и данные лидара последовательными короткими сегментами всего за несколько проходов шумоподавления, опираясь на ранее сгенерированные кадры и новые входные данные вождения, чтобы поддерживать долгие интерактивные сеансы. Для работы в замкнутом цикле требуются среда выполнения симуляции и рендерер World Scenario Map для обновления управляющих сигналов, сообщила компания.
Модели для робототехники
Sim-Transfer принимает пространственные управляющие сигналы, такие как глубина и сегментация, из физического симулятора, а также текстовый промпт, и выводит цветные наблюдения, которые может использовать политика робота. NVIDIA сообщила, что физика и эталонное состояние остаются в симуляторе.
Sim-Bimanual моделирует изменение среды в ответ на действия двурукого робота. NVIDIA сообщила, что модель поддерживает воплощения YAM и AgiBot, которыми управляют политика или джойстики под управлением человека, и генерирует следующее наблюдение напрямую по сцене и действиям робота.
Как работают модели
Cosmos 3 использует архитектуру Mixture-of-Transformers, которая связывает отдельные сети обработки текста и генерации визуальных данных через механизм внимания, сообщила NVIDIA. Модели работают со сжатыми видеопредставлениями, называемыми латентами, и, по словам компании, более мелкие фрагменты позволяют новым управляющим сигналам чаще влиять на генерацию.
В публикации описаны четыре этапа обучения: двунаправленная адаптация, teacher forcing, дистилляция согласованности и self-forcing. NVIDIA сообщила, что последний этап важен, поскольку небольшая ошибка предсказания об объекте передается в последующие кадры как контекст, и ошибки могут накапливаться.
NVIDIA сообщила, что рецепты дообучения начинаются с Cosmos3-Nano или совместимых базовых весов. Для Sim-Bimanual она перечислила требования: Linux, GPU NVIDIA, Docker и NVIDIA Container Toolkit, и указала, что опубликованная конфигурация тестировалась на одном GB200, который, по её словам, не является спецификацией минимального объема памяти.
Компания признала, что сложные проблемы остаются. По её словам, дальнейшая работа включает проверку того, насколько хорошо модели поддерживают обучение и оценку политик, картирование их ограничений и улучшение слабых мест.
