Дослідники MIT створили систему для проєктування та навчання розумних м'яких роботів
Уявіть, що ви хочете створити найкращого у світі робота для підйому сходами. Вам доведеться оптимізувати як мозок, так і тіло, можливо, надавши боту кілька високотехнологічних ніг і стоп у поєднанні з потужним алгоритмом для підйому.
Хоча конструкції фізичного тіла та його мозку («контролю») є ключовими складовими, що дозволяють роботу рухатися, наявні еталонні середовища надають перевагу лише другому. Спільна оптимізація обох елементів ускладнена — потрібно багато часу, щоб навчити різні моделі роботів робити різні речі навіть без елемента дизайну.
Науковці з Лабораторії комп'ютерних наук і штучного інтелекту Массачусетського технологічного інституту (CSAIL) прагнули заповнити прогалину, розробивши «Evolution Gym» — масштабну систему тестування для спільної оптимізації конструкції та керування м'якими роботами, черпаючи натхнення в природі та еволюційних процесах.
Роботи в симуляторі трохи схожі на м'які рухомі елементи тетрісу, що складаються з м'яких, жорстких і приводних «клітинок» на сітці, які використовуються для ходьби, лазіння, маніпулювання об'єктами, зміни форми та навігації щільними шарами місцевості. Щоб перевірити здібності робота, команда розробила власні алгоритми спільного проєктування, поєднавши стандартні методи оптимізації дизайну та методи глибокого навчання з підкріпленням (RL).
Алгоритм спільного проєктування працює як силова пара, де методи оптимізації конструкції розвивають тіла роботів, а алгоритми RL оптимізують контролер (комп'ютерну систему, що підключається до робота для керування рухами) для запропонованої конструкції. Оптимізація дизайну запитує: «Наскільки добре працює дизайн?», а оптимізація керування дає оцінку, яка може виглядати як «п'ять за ходьбу».
Результат нагадує маленьку олімпіаду для роботів. Окрім стандартних завдань, таких як ходьба та стрибки, дослідники також включили деякі унікальні завдання, як-от лазіння, перекидання, балансування та підйом сходами.
У понад 30 різних середовищах боти чудово справлялися з простими завданнями, такими як ходьба або перенесення предмета, але в складніших умовах, як-от ловіння та підйом, вони не справлялися, демонструючи обмеження поточних алгоритмів спільного проєктування. Наприклад, іноді оптимізовані роботи демонстрували те, що команда називає «розчаруванням» — очевидною неоптимальною поведінкою в багатьох завданнях. Наприклад, робот-ловець часто нурхав уперед, щоб упіймати блок, що падав за ним.
Попри те, що конструкції роботів розвивалися автономно з нуля та без попередніх знань алгоритмів спільної розробки, рухаючись до більш еволюційних процесів, вони часто ставали схожими на наявні природні істоти, перевершуючи роботів, створених вручну.
«Створюючи Evolution Gym, ми прагнемо розширити межі алгоритмів машинного навчання та штучного інтелекту. Створивши масштабний еталонний тест, орієнтований на швидкість і простоту, ми не лише створюємо спільну мову для обміну ідеями та результатами в межах навчання з підкріпленням і спільного проєктування, а й даємо дослідникам можливість користуватися сучасними обчислювальними ресурсами, щоб зробити внесок у розробку алгоритмів у цих галузях. Ми сподіваємося, що наша робота на крок наблизить нас до майбутнього з такими розумними роботами, як ви чи я»
У деяких випадках, коли роботи навчаються так само, як люди, метод проб і помилок може призвести до кращого розуміння завдання, яке лежить в основі навчання з підкріпленням. Роботи навчилися виконувати таке завдання, як штовхання блока, отримуючи певну інформацію, яка допомагає їм: наприклад, «бачити», де знаходиться блок і на що схожа прилегла місцевість.
Потім робот отримує певну оцінку того, наскільки добре він працює («винагорода»). Чим більше робот штовхає блок, тим вища винагорода. Робот повинен одночасно збалансувати дослідження (можливо, запитуючи себе: «Чи можу я збільшити винагороду, стрибаючи?») та експлуатацію (подальше вивчення поведінки, що збільшує винагороду).
Різні комбінації «клітинок», які алгоритми придумали для різних конструкцій, були дуже ефективними: одна з них перетворилася на схожу на коня, що скаче, зі структурами, схожими на ноги, що імітують те, що можна знайти в природі. Робот-альпініст розвинув дві руки та дві структури, схожі на ноги (як у мавпи), щоб допомогти йому піднятися. Робот-підіймач нагадував дворучний захват.
Одним із напрямів майбутніх досліджень є так званий «морфологічний розвиток», коли робот поступово стає розумнішим, набуваючи досвіду вирішення складніших завдань. Наприклад, ви почнете з оптимізації простого робота для ходьби, потім візьмете ту саму конструкцію, оптимізуєте її для перенесення вантажів і потім для підйому сходами. З часом тіло та мозок робота «трансформуються» в щось, що може вирішувати складніші завдання порівняно з роботами, безпосередньо навченими тим самим завданням з самого початку.
«Evolution Gym — це частина зростаючого усвідомлення в спільноті ШІ того, що тіло і мозок є рівноправними партнерами у підтримці розумної поведінки. Ще дуже багато належить зробити, щоб з'ясувати, що формує це партнерство. Тренажерний зал, імовірно, стане важливим інструментом у роботі з такими питаннями»
Evolution Gym має відкритий вихідний код і безкоштовний для використання. Це зроблено навмисно, оскільки дослідники сподіваються, що їхня робота надихне на створення нових і покращених алгоритмів кодового оформлення.
