Журналіст Wired навчив віртуального Microduck розпізнавати котів за допомогою GPT-6 Sol від OpenAI
Журналіст Wired каже, що використав модель GPT-6 Sol від OpenAI, щоб навчити симульовану версію робота Microduck, створеного Pollen Robotics і Hugging Face, ходити по кімнаті та розпізнавати бенгальських котів. У черговому випуску інформаційного бюлетеня Вілл Найт написав, що написання коду та навчання зайняли лише кілька годин, тоді як раніше на таку роботу, за його словами, могли піти тижні.
Фізичного Microduck Найт ще чекає. За його словами, поведінка, якої навчили в симуляції, відносно проста і має перенестися на реальний пристрій. Він планує, щоб робот видавав ласощі для його домашньої бенгальської кішки Леони, можливо, нахиляючи голову, щоб дістати одне з відсіку для зберігання, надрукованого на 3D-принтері й закріпленого на ньому.
Як проходило навчання
Найт поєднав GPT-6 Sol з Hermes, агентною обв'язкою від Nous Research, і комп'ютером Nvidia DGX Spark, персональним комп'ютером із потужним чипом ШІ. За словами Найта, модель не обмежилася написанням коду: вона використала програмне забезпечення Nvidia Isaac Sim, щоб надсилати інструкції моделі, яка керувала віртуальним роботом, переглядала відео результатів, аби оцінити прогрес, і пропонувала зміни до підходу до навчання.
Навчання дозволило Microduck ходити, не падаючи. Спроба навчити його мунвоку за GIF-анімацією Майкла Джексона після кількох годин зусиль завершилася тим, що Найт назвав «дуже жвавим бігом назад».
Найт застеріг, що змусити роботів стабільно працювати й досі дуже складно і потребує значної інженерної експертизи. Система зору на його роботі, написав він, недостатньо добра для реального продукту.
Дослідники бачать ширше застосування
Найт згадав роботу Кена Голдберга, професора Каліфорнійського університету в Берклі, студенти якого випробували модель Astra від OpenAI після її випуску у вересні. Один із членів лабораторії під'єднав Astra до Newton, інструмента Nvidia, надав фрагмент відео з реальним роботом під час роботи і попросив модель створити симуляцію цієї сцени.
«Найбільше вразило те, що за годину він створив повноцінну 3D-симуляцію з усіма налаштованими параметрами: положенням камери, освітленням, фоном, усіма матеріалами,»
Голдберг також сказав, що Astra може автоматизувати значну частину рутинної роботи з навчання в симуляції, проводячи експерименти й аналізуючи результати. За словами Найта, кілька компаній у сфері промислової робототехніки та автоматизації виявили інтерес до цього підходу.
Джим Фан, дослідник Nvidia, який працював з Голдбергом, сказав, що моделі ШІ тепер можуть керувати роботами так само, як програмні агенти. Великі мовні моделі можуть викликати моделі «зір — мова — дія», які навчені керувати фізичними діями, подібно до того, як вони використовують різні програми на комп'ютері.
Цього тижня Фан, Голдберг та інші випустили агентну платформу з відкритим кодом Aspire, яка дозволяє роботу знаходити й використовувати нові навички. В одному з прикладів GPT-6 Astra визначив, як використати дві роботизовані руки, щоб розв'язати кубик Рубика. Фан також виступив із доповіддю на Конференції з навчання роботів в Остіні, штат Техас, де показав, як Astra керує роботизованою рукою, яка малює міст Золоті Ворота.
