LiberAI представила Liber-0, модель робота, навчену на 2,2 мільйона годин людського досвіду

Пекінський стартап LiberAI представив Liber-0, світову модель дій, попередньо навчену на понад 2,2 мільйона годин людського досвіду, призначену для маніпулювання роботами без демонстрацій рухів для конкретних завдань, повідомляє The Robot Report. Компанія анонсувала модель 4 листопада.

LiberAI заявила, що Liber-0 поєднує відео з людьми та дані про рухи руки, записані за допомогою рукавички, а також навчання з урахуванням тіла (embodiment-conditioned learning), тобто модель отримує інформацію про тіло, яке виконує дію, щоб передавати навички людських маніпуляцій роботам.

Результати тестів без попереднього навчання

LiberAI оцінила модель на наборі з 60 завдань, запропонованих GPT-6: 20 завдань «взяти і покласти», 20 інших завдань маніпулювання та 20 складних довгострокових завдань. Серед прикладів було покласти ручку в пенал і закрити шухляду штовханням.

Компанія повідомила про рівень успіху 63,5% у завданнях «взяти і покласти», 34,0% в інших завданнях маніпулювання та 10,5% у найскладніших завданнях, що становить загальні 36,0% за 600 спроб. Тут «без попереднього навчання» означає, що протестована контрольна точка не навчалася на демонстраціях роботів, зібраних спеціально для цих завдань, хоча попереднє навчання все ж включало дані роботів.

Як модель пов’язує відео з людьми з діями робота

LiberAI заявила, що відео з людьми не можна безпосередньо перетворити на команди для роботів. За її словами, положення камер різняться, пози рук, оцінені за відеозаписами, неточні, а людські тіла рухаються інакше, ніж роботи.

Щоб вирішити це, компанія використовує рукавичку для збору даних LiberSense Glove, яка безпосередньо записує рухи руки. Вона також використовує платформу робота, поля зору камер і рухи руки, зап'ястя та талії якої більше схожі на людські, а також Unified Embodiment Representation, що надає інформацію про форму тіла та рух суглобів. Liber-0 одночасно прогнозує майбутні кадри відео та дії, що дозволяє їй навчатися на звичайних відео без позначок дій.

«Відео з людьми показує, що роблять люди, але не те, як саме рухаються їхні руки або як цей рух пасує до іншого тіла,»

Сонмін Лю, засновник і генеральний директор LiberAI

Менша потреба в демонстраціях роботів

В окремому експерименті з восьми завданнями LiberAI заявила, що політика, навчена на 25% пулу демонстрацій роботів плюс на всьому пулі даних рукавички, досягла показника прогресу 75,6, тоді як політика, навчена на повному пулі роботів, — 72,8. Це означає порівнянну продуктивність при на 75% меншій кількості демонстрацій роботів, хоча змішана політика все ж використовувала повні дані рукавички.

В іншому контрольованому тесті політика, навчена лише на демонстраціях роботів для завдань «взяти і покласти», набрала 2,2 балла у завданнях, що не належать до «взяти і покласти». Додавання записів рукавички для цих дій підвищило результат до 47,5.

Обмеження

LiberAI зазначила, що рукавичка фіксує пози рук і траєкторії, але не вимірює дотик або силу. Ці сигнали важливі для таких завдань, як вставлення, закріплення та поводження з м’якими матеріалами. Компанія назвала сенсорику дотику й сили, а також збір даних у ширшому колі домівок напрямами майбутніх досліджень.