Исследователи MIT создали систему, которая помогает роботам находить и исправлять ненадежные метки объектов в памяти

Исследователи Массачусетского технологического института разработали систему памяти, которая выявляет вероятные ошибки в сохраненных описаниях объектов робота и исправляет их. MIT News сообщил об этом 5 ноября.

Система называется UQ-DAAAM — сокращение от Uncertainty Quantification for Describe Anything, Anywhere, at Any Moment. Команда заявила, что в перспективе она может помочь бытовым или промышленным роботам справляться со сложными многоэтапными задачами, например уборкой обеденного стола или помощью людям в сборке механизмов.

Проблема: устойчивые неверные воспоминания

UQ-DAAAM опирается на предыдущую систему группы — DAAAM. Эта система использует визуально-языковую модель — ИИ-модель, которая связывает изображения и текст, — чтобы описывать объекты, которые видят бортовые камеры робота. Описания сохраняются в виде подписей на трехмерной карте окружения, к которой робот может обращаться позже.

Исследователи отметили, что робот может увидеть объект лишь частично, издалека или на размытом либо тусклом изображении, и тогда DAAAM может описать его неверно. В качестве примера приводится серая дымовая труба, принятая за белку на крыше.

«Без возможности самостоятельно исправить эту ошибку неверное воспоминание сохранялось бы по мере того, как робот продвигается по окружению, что могло бы повлиять на последующие приложения,»

Гарри Чжан, аспирант MIT и соавтор-руководитель исследования

Как работает исправление

Двигаясь, робот собирает множество снимков одних и тех же объектов с разных ракурсов. По данным MIT, UQ-DAAAM сначала вычисляет уверенность модели в словах, которыми она описала объект, а затем проверяет, насколько это описание согласуется с подписями к тому же объекту с других точек наблюдения.

«Мы объединяем оба источника неопределенности в одно число, которое показывает, насколько уверена VLM в своем общем понимании объекта,»

Лука Карлоне, адъюнкт-профессор кафедры аэронавтики и астронавтики MIT

Если это число превышает порог, система выбирает дополнительные ракурсы по простому правилу, или эвристике. Исследователи заявили, что математически доказали: это правило позволяет найти наилучшие кадры без повторного запуска визуально-языковой модели, что заметно снижает вычислительную нагрузку. Затем большая языковая модель объединяет выбранные подписи в одно описание, придавая больший вес более новым и менее неоднозначным подписям.

Результаты

MIT сообщает, что этап уточнения устраняет неоднозначности примерно для 92 процентов объектов в окружении робота, при этом требуется всего две дополнительные подписи на объект. По данным отчета, точность описаний объектов выросла на 5 процентов по сравнению с передовыми методами.

По сравнению с базовыми методами система также давала более точные ответы на вопросы о том, какие объекты робот наблюдал, где их видел и когда в последний раз встречал, сообщили в MIT.

«В отличие от ChatGPT, когда речь идет о физическом ИИ, недостаточно просто добавить оговорку о том, что робот иногда может ошибаться. Чтобы эту технологию можно было безопасно внедрять и она положительно влияла на общество, роботу необходимо знать, чего он не знает,»

Лука Карлоне, адъюнкт-профессор MIT, старший автор статьи

Дальнейшие шаги

Карлоне — старший автор статьи, а Чжан и Николас Горло — соавторы-руководители. Работа будет представлена на Конференции по нейронным системам обработки информации.

Команда планирует использовать UQ-DAAAM для управления роботами других типов, например мобильными манипуляторами, и применять свои методы оценки неопределенности в других областях. Также изучается, как система могла бы указывать роботам области с высокой неопределенностью для повторного осмотра, и рассматриваются методы оценки неопределенности для систем, которые прогнозируют, как будет меняться окружение робота. Финансирование частично поступило от Исследовательской лаборатории армии США и Управления военно-морских исследований США, сообщили в MIT.