LiberAI представила Liber-0, модель роботов, обученную на 2,2 млн часов человеческого опыта

Пекинский стартап LiberAI представил Liber-0, мировую модель действий, предобученную на более чем 2,2 млн часов человеческого опыта и предназначенную для манипуляций роботов без демонстраций, специфичных для конкретной задачи, по данным The Robot Report. Компания анонсировала модель 4 ноября.

LiberAI заявила, что Liber-0 сочетает видео с людьми, данные о движении руки, записанные перчаткой, и обучение с учётом тела, выполняющего действие, то есть модель получает информацию о том, какое тело выполняет действие, чтобы переносить навыки манипуляций человека на роботов.

Результаты тестов без предварительного обучения под задачу

LiberAI оценила модель на наборе из 60 задач, предложенном GPT-6: 20 задач на захват и перемещение, 20 других задач манипуляции и 20 сложных долгосрочных задач. Примерами были укладка ручки в пенал и закрытие ящика стола толчком.

Компания сообщила об успешности 63,5% в задачах захвата и перемещения, 34,0% в других задачах манипуляции и 10,5% в самых сложных задачах, что в сумме дает общий показатель 36,0% по 600 попыткам. Здесь «без предварительного обучения под задачу» означает, что проверяемый контрольный чекпойнт не обучали на демонстрациях робота, собранных специально для этих задач, хотя предобучение всё же включало данные роботов.

Как модель связывает видео людей с действиями робота

LiberAI заявила, что видео с людьми нельзя напрямую превратить в команды для робота. По её словам, положение камер меняется, позы рук, оценённые по записи, неточны, а тела людей двигаются иначе, чем роботы.

Чтобы решить эту проблему, компания использует перчатку для сбора данных LiberSense Glove, которая напрямую записывает движения руки. Также применяется робототехническая платформа, ракурсы камер и движения кисти, запястья и торса которой ближе к человеческим, а также унифицированное представление воплощения (Unified Embodiment Representation), передающее информацию о форме тела и движении суставов. Liber-0 совместно предсказывает будущие кадры видео и действия, что позволяет учиться на обычных видео без разметки действий.

«Видео с людьми показывает, что они делают, но не то, как именно движутся их руки и как это движение соотносится с другим телом,»

Сунмин Лю, основатель и генеральный директор LiberAI

Снижение потребности в демонстрациях для роботов

В отдельном эксперименте из восьми задач LiberAI заявила, что политика, обученная на 25% пула демонстраций роботов и на всём пуле данных перчатки, достигла показателя прогресса 75,6, против 72,8 у политики, обученной на полном пуле данных роботов. Это означает сопоставимую производительность при на 75% меньшем количестве демонстраций роботов, хотя смешанная политика всё равно использовала все данные перчатки.

В другом контролируемом тесте политика, обученная только на демонстрациях роботов для захвата и перемещения, получила 2,2 балла в задачах, не связанных с захватом и перемещением. Добавление записей перчатки для этих действий повысило результат до 47,5.

Ограничения

LiberAI отметила, что перчатка фиксирует позы рук и траектории, но не измеряет прикосновение и усилие. Эти сигналы важны для таких задач, как вставка, крепление и работа с мягкими материалами. Компания назвала тактильные и силовые датчики, а также сбор данных в более широком круге домов будущими направлениями исследований.