Дослідники Meta AI створили ReSkin — універсальну «шкіру» для досліджень ШІ у сфері тактильного сприйняття
Наше відчуття дотику допомагає нам орієнтуватися у світі навколо нас. За його допомогою ми можемо збирати інформацію про предмети (легкі вони чи важкі, м'які чи тверді, стабільні чи нестабільні), які використовуємо для виконання повсякденних завдань — від взуття до приготування їжі. Штучний інтелект ефективно поєднує такі відчуття, як зір і слух, але дотик залишається постійною проблемою.
Це пов'язано з обмеженим доступом до тактильних даних у дикій природі. Дослідники ШІ, які сподіваються включити дотик до своїх моделей, важко використовують багатство сенсорного сприйняття, як це роблять люди. Facebook анонсувала ReSkin — нову сенсорну «оболонку» з відкритим вихідним кодом, створену дослідниками Meta AI у співпраці з Університетом Карнегі-Меллона, яка може допомогти швидко й масштабно покращити тактильні здібності ШІ.
Використовуючи досягнення в галузі машинного навчання та магнітного зондування, ReSkin пропонує недороге, універсальне, надійне й змінне рішення для тривалого використання. Шкіра використовує самокерований алгоритм навчання, який допомагає автоматично калібрувати датчик, що робить його універсальним і здатним обмінюватися даними з іншими датчиками та системами.
Компанія планує оприлюднити дизайн, відповідну документацію, код і базові моделі, щоб допомогти дослідникам ШІ використовувати ReSkin без необхідності збирати й навчати власні набори даних. Це має сприяти швидкому й масштабному розвитку тактильних здібностей ШІ. Сенсорна шкіра, така як ReSkin, забезпечить джерело великого обсягу контактних даних, які можуть бути корисними у просуванні ШІ в широкому спектрі сенсорних завдань, включно з класифікацією об'єктів, пропріоцепцією та роботизованим захопленням.
Моделі штучного інтелекту, навчені навичкам тактильного сприйняття, зможуть виконувати багато типів завдань, зокрема ті, що вимагають високої чутливості — наприклад, робота в медичних закладах — або більшої спритності під час маніпуляцій з дрібними, м'якими чи чутливими предметами. ReSkin можна інтегрувати з іншими датчиками для збору візуальних, звукових і сенсорних даних поза лабораторією та в неструктурованому середовищі. Об'єднання мультимодальних наборів даних допомагає будувати фізично реалістичні моделі світу, а також використовувати надмірність для самостійного навчання.
ReSkin коштує менше $6 за 100 одиниць і ще менше за великих обсягів. Вона має товщину 2-3 мм і може використовуватися для більш ніж 50 000 взаємодій. Усі характеристики шкіри роблять її ідеальною для різних форм-факторів, таких як руки роботів, тактильні рукавички, рукави й навіть взуття для собак. Усе це допоможе дослідникам збирати тактильні дані для нових моделей ШІ, які раніше було важко або неможливо зібрати. ReSkin також може передавати високочастотні тривісні тактильні сигнали для швидких маніпуляцій, таких як ковзання, кидання, ловлення та плескання. Коли вона зношується, її можна легко зняти й замінити.
Оскільки ReSkin є еластомером із вбудованими магнітними частинками, коли він будь-яким чином деформується, навколишній магнітний сигнал змінюється. Ці зміни можна виміряти за допомогою сусідніх магнітометрів і використати методи керування, щоб перетворити ці дані на таку інформацію, як місце контакту та величина прикладеної сили.
Наразі більшість експериментів із тактильним сприйняттям покладаються на один датчик, адже повторне навчання моделі вимагалося щоразу, коли міняли шкіру, що є неефективним і непрактичним. Щоб уникнути необхідності навчати нову шкіру під час кожної заміни, дослідники працювали над створенням універсальної шкіри.
«З ReSkin ми долаємо проблеми, використовуючи три ключові ідеї. По-перше, ReSkin усуває потребу в електричному з'єднанні між м'яким матеріалом і традиційною вимірювальною електронікою. Магнітні сигнали залежать від відстані, тому електроніка має бути лише поблизу. ReSkin також ефективніша за звичайні м'які датчики, оскільки відокремлює внутрішню електронну схему від пасивного інтерфейсу. Це робить заміну зношеної шкіри такою ж простою, як зняття й наклеювання наклейки. По-друге, замість того, щоб покладатися на вхідні дані від одного датчика, ми могли б краще навчити функцію відображення моделі, використовуючи дані від кількох датчиків. Так ми навчили модель більшому різноманіттю даних, що допомагає їй давати ефективніші й узагальнювані результати», — повідомили дослідники Meta AI.
Замість збору калібрувальних даних для кожного нового датчика використовуються досягнення в галузі самонавчання для автоматичного точного налаштування датчиків з використанням невеликих обсягів немаркованих даних. ReSkin відкриває широкий спектр універсальних, недорогих і масштабованих модулів тактильних відчуттів, які неможливі в наявних системах.
«Надійні тактильні відчуття — серйозна слабка ланка в робототехніці. Наявні датчики або занадто дорогі, або мають низьку роздільну здатність, або просто завеликі для спеціалізованих роботів. ReSkin може вирішити деякі з цих проблем. Її легкий і малий форм-фактор робить її сумісною з довільними захватами, і я з нетерпінням чекаю можливості далі вивчати цей датчик на роботах у нашій лабораторії»
Щоб показати, як ReSkin може допомогти дослідникам просувати ШІ за допомогою різноманітних тактильних даних, які раніше було важко зібрати, її роботу продемонстрували на кількох прикладах застосування:
Маніпуляції рукою. ReSkin пропонує корисні властивості тактильного розпізнавання для маніпуляцій рукою, наприклад для розробки ШІ, що навчає роботів користуватися ключем і відчиняти двері або брати крихкі предмети, такі як виноград чи чорниця.
Вимірювання тактильних сил у дикій природі. Компактний і непомітний дизайн робить ReSkin ідеальною для вимірювання тактильних сил в умовах дикої природи. Для демонстрації дослідники помістили одну магнітну шкіру та гнучку друковану плату всередину підошви собачого взуття. Датчик відстежує величину та напрямок прикладеної сили під час відпочинку, ходьби й бігу собаки.
Взаємодія людини з предметом. ReSkin корисна для вимірювання сил під час природної взаємодії людини з предметом, наприклад, коли ми піднімаємо речі або штовхаємо їх руками. Дослідники помістили шкіру та жорстку друковану плату на вказівний палець правої руки випробовуваного під нітриловою рукавичкою.
Контактна локалізація. ReSkin можна масштабувати для локалізації контакту на великих площах. Це корисно для побудови моделей, що спираються на знання місцезнаходження об'єкта. Наприклад, якщо дослідник хоче навчити робота надійно брати щось, йому потрібно знати, де він торкається об'єкта і з якою силою.
