Исследователи Meta AI создали ReSkin — универсальную «кожу» для исследований ИИ в области тактильного восприятия
Наше осязание помогает нам ориентироваться в мире вокруг нас. С его помощью мы можем собирать информацию об объектах (легкие они или тяжелые, мягкие или твердые, стабильные или нестабильные), которые используем для выполнения повседневных задач — от надевания обуви до приготовления еды. Искусственный интеллект эффективно объединяет такие чувства, как зрение и звук, но осязание остается постоянной проблемой.
Это связано с ограниченным доступом к тактильным данным в дикой природе. Исследователи ИИ, которые надеются включить прикосновение в свои модели, изо всех сил пытаются использовать богатство сенсорного восприятия, как это делают люди. Facebook анонсировала ReSkin — новую сенсорную «оболочку» с открытым исходным кодом, созданную исследователями Meta AI в сотрудничестве с Университетом Карнеги-Меллона, которая может помочь быстро и масштабно улучшить тактильные способности ИИ.
Используя достижения в области машинного обучения и магнитного зондирования, ReSkin предлагает недорогое, универсальное, надежное и заменяемое решение для длительного использования. Кожа использует самоконтролируемый алгоритм обучения, который помогает автоматически калибровать датчик, что делает его универсальным и способным обмениваться данными между другими датчиками и системами.
Компания планирует выпустить дизайн, соответствующую документацию, код и базовые модели, чтобы помочь исследователям ИИ использовать ReSkin без необходимости собирать и обучать свои собственные наборы данных. Это должно способствовать быстрому и масштабному развитию тактильных способностей ИИ. Сенсорная кожа, такая как ReSkin, предоставит источник обширных контактных данных, которые могут быть полезны в продвижении ИИ в широком спектре сенсорных задач, включая классификацию объектов, проприоцепцию и роботизированное хватание.
Модели искусственного интеллекта, обученные навыкам тактильного восприятия, будут способны выполнять многие типы задач, в том числе требующие высокой чувствительности — например, работа в медицинских учреждениях — или большей ловкости в маневрировании небольшими, мягкими или чувствительными объектами. ReSkin можно интегрировать с другими датчиками для сбора визуальных, звуковых и сенсорных данных вне лаборатории и в неструктурированной среде. Объединение мультимодальных наборов данных помогает строить физически реалистичные модели мира, а также использовать избыточность для самостоятельного обучения.
ReSkin стоит менее $6 за 100 единиц и даже меньше при больших количествах. Она имеет толщину 2-3 мм и может использоваться для более чем 50 000 взаимодействий. Все характеристики кожи делают ее идеальной для различных форм-факторов, таких как руки роботов, тактильные перчатки, рукава и даже обувь для собак. Все это поможет исследователям собирать тактильные данные для новых моделей ИИ, которые ранее было трудно или невозможно собрать. ReSkin также может подавать высокочастотные трехосевые тактильные сигналы для быстрых манипуляций, таких как скольжение, бросание, ловля и хлопки. Когда она изнашивается, ее можно легко снять и заменить.
Поскольку ReSkin представляет собой эластомер со встроенными магнитными частицами, когда он каким-либо образом деформируется, окружающий магнитный сигнал меняется. Эти изменения можно измерить с помощью близлежащих магнитометров и использовать методы управления для преобразования этих данных в такую информацию, как местоположение контакта и величина приложенной силы.
В настоящее время большинство экспериментов по тактильному восприятию полагаются на один датчик, поскольку повторное изучение модели требовалось каждый раз, когда заменяли кожу, что неэффективно и непрактично. Чтобы избежать необходимости обучать новую кожу при каждой ее замене, исследователи работали над созданием универсальной кожи.
«С ReSkin мы преодолеваем проблемы, используя три ключевых идеи. Во-первых, ReSkin устраняет необходимость в электрическом соединении между мягким материалом и традиционной измерительной электроникой. Магнитные сигналы полагаются на расстояние, поэтому электроника должна находиться только поблизости. ReSkin также более эффективна, чем обычные мягкие датчики, поскольку она отделяет внутреннюю электронную схему от пассивного интерфейса. Это делает замену изношенной кожи такой же простой, как снятие и наклеивание наклейки. Во-вторых, вместо того, чтобы полагаться на входные данные от одного датчика, мы могли бы лучше обучить функцию отображения модели, используя данные от нескольких датчиков. Таким образом мы обучили модель большему разнообразию данных, что помогает ей производить более эффективные и обобщаемые результаты», — сообщили исследователи Meta AI.
Вместо сбора данных калибровки для каждого нового датчика используются достижения в области самостоятельного обучения для автоматической точной настройки датчиков с использованием небольших объемов немаркированных данных. ReSkin открывает широкий спектр универсальных, недорогих и масштабируемых модулей тактильных ощущений, которые невозможны в существующих системах.
«Надежные тактильные ощущения — серьезное слабое место в робототехнике. Текущие датчики либо слишком дорогие, либо имеют низкое разрешение, либо просто слишком громоздки для специальных роботов. ReSkin может решить некоторые из этих проблем. Ее легкий и маленький форм-фактор делает ее совместимой с произвольными захватами, и я с нетерпением жду возможности дальнейшего изучения этого датчика на роботах в нашей лаборатории»
Чтобы показать, как ReSkin может быть полезна для помощи исследователям в продвижении ИИ с помощью разнообразных тактильных данных, которые раньше было трудно собрать, ее работу продемонстрировали на нескольких примерах применения:
Манипуляции в руке. ReSkin предлагает полезные свойства тактильного распознавания для манипуляций в руке, например для разработки ИИ для обучения роботов использованию ключа и открытия двери или захватыванию хрупких предметов, таких как виноград или черника.
Измерение тактильных сил в дикой природе. Компактный и ненавязчивый дизайн делает ReSkin идеальной для измерения тактильных сил в условиях дикой природы. Для демонстрации исследователи поместили одну магнитную кожу и гибкую печатную плату внутрь подошвы собачьей обуви. Датчик отслеживает величину и направление приложенной силы во время отдыха, ходьбы и бега собаки.
Взаимодействие человека с объектом. ReSkin полезна для измерения сил во время естественного взаимодействия человека с объектом, например, когда мы поднимаем предметы или толкаем их руками. Исследователи поместили кожу и жесткую печатную плату на указательный палец правой руки испытуемого под нитриловой перчаткой.
Контактная локализация. ReSkin можно масштабировать для локализации контакта на больших площадях. Это полезно для построения моделей, основанных на знании местонахождения объекта. К примеру, если исследователь хочет научить робота надежно брать что-то, ему необходимо знать, где он касается объекта и с какой силой.
