Журналист Wired обучил виртуального робота Microduck находить кошек с помощью GPT-6 Sol от OpenAI
Журналист Wired рассказал, что с помощью модели GPT-6 Sol от OpenAI обучил симулированную версию робота Microduck от Pollen Robotics и Hugging Face ходить по комнате и распознавать бенгальских кошек. В рассылке Уилл Найт написал, что написание кода и обучение заняли всего несколько часов, тогда как раньше такая работа, по его словам, могла занимать недели.
Найт пока ждёт физического Microduck. По его словам, поведение, которому робот научился в симуляции, относительно простое и должно перенестись на настоящего робота. Он планирует, чтобы робот выдавал лакомство его домашней бенгальской кошке Леоне: возможно, наклоняя голову, он будет выдавать одно угощение из закреплённого на нём напечатанного на 3D-принтере отсека.
Как проходило обучение
Найт использовал GPT-6 Sol вместе с Hermes, агентной оболочкой от Nous Research, и персональным компьютером Nvidia DGX Spark с мощным ИИ-чипом. По словам Найта, модель делала не только код: через ПО Isaac Sim от Nvidia она отправляла инструкции модели, которая управляет виртуальным роботом, смотрела видео результатов, чтобы оценить прогресс, и предлагала изменения в подходе к обучению.
В ходе обучения Microduck научился ходить, не падая. Попытка научить его лунной походке по GIF с Майклом Джексоном после нескольких часов работы закончилась тем, что Найт назвал «очень бодрой пробежкой назад».
Найт предупредил, что заставить роботов надёжно работать по-прежнему очень сложно и требует серьёзной инженерной экспертизы. Система машинного зрения на его роботе, написал он, не годится для реального продукта.
Исследователи видят более широкое применение
Найт сослался на работу Кена Голдберга, профессора Калифорнийского университета в Беркли, студенты которого опробовали модель Astra от OpenAI после её выхода в сентябре. Участник лаборатории подключил Astra к Newton, инструменту Nvidia, передал запись работы реального робота и попросил модель построить симуляцию этой сцены.
«Больше всего нас поразило, что за час модель выдала полноценную 3D-симуляцию со всеми заданными параметрами: положением камеры, освещением, фоном, всеми материалами,»
Голдберг добавил, что Astra может автоматизировать большую часть рутинной работы по обучению в симуляции: проведению экспериментов и анализу результатов. По словам Найта, интерес к этому подходу проявили несколько компаний в сфере промышленной робототехники и автоматизации.
Джим Фан, исследователь Nvidia, который работал с Голдбергом, сказал, что ИИ-модели теперь могут управлять роботами по аналогии с программными агентами. Большие языковые модели способны обращаться к моделям «зрение — язык — действие», которые обучены управлять физическими действиями, примерно так же, как используют разные программы на компьютере.
На этой неделе Фан, Голдберг и другие выпустили открытую агентную платформу Aspire, которая позволяет роботу находить и использовать новые навыки. В одном из примеров GPT-6 Astra разобралась, как с помощью двух роботизированных рук собрать кубик Рубика. Фан также выступил с основным докладом на Конференции по обучению роботов в Остине, штат Техас, показав, как Astra управляет роботизированной рукой, которая рисует мост Золотые Ворота.
