Дослідники MIT створили систему, що дозволяє роботам позначати та виправляти ненадійні мітки об'єктів у пам'яті

Дослідники Массачусетського технологічного інституту розробили систему пам'яті, яка визначає ймовірні помилки в збережених описах об'єктів робота' та виправляє їх, повідомила MIT News 5 листопада.

Система називається UQ-DAAAM, скорочено від Uncertainty Quantification for Describe Anything, Anywhere, at Any Moment. Команда заявила, що з часом вона може допомогти побутовим або промисловим роботам виконувати складні багатоетапні завдання, наприклад прибирати обідній стіл або допомагати людям збирати механізми.

Проблема: хибні спогади, що зберігаються

UQ-DAAAM базується на попередній системі групи, DAAAM. Ця система використовує візуально-мовну модель, тобто ШІ-модель, яка пов'язує зображення та текст, щоб описувати об'єкти, які бачать бортові камери робота. Описи зберігаються як підписи у тривимірній карті середовища, до якої робот може звертатися пізніше.

Дослідники кажуть, що робот може бачити об'єкт лише частково, здалеку або на розмитому чи тьмяному зображенні, і тоді DAAAM може описати його неправильно. Як приклад навели сірий димохід, який було помилково сприйнято як білку на даху.

«Без можливості виправитися ця хибна пам'ять зберігатиметься, поки робот рухатиметься середовищем, що може вплинути на подальші застосунки,»

Харрі Чжан, аспірант MIT і співперший автор

Як працює виправлення

Поки робот рухається, він збирає багато зображень одних і тих самих об'єктів з різних ракурсів. За даними MIT, UQ-DAAAM спершу обчислює впевненість моделі у словах, які вона створила для об'єкта, а потім перевіряє, наскільки цей опис узгоджується з підписами до того самого об'єкта з інших точок огляду.

«Ми поєднуємо обидва джерела невизначеності в одне число, яке відображає, наскільки впевнена VLM у своєму загальному розумінні об'єкта,»

Лука Карлоне, асоційований професор кафедри аеронавтики й астронавтики MIT

Якщо це число перевищує порогове значення, система обирає додаткові ракурси за простим правилом, або евристикою. Дослідники заявили, що математично довели: це правило може знаходити найкращі кадри без повторного запуску візуально-мовної моделі, що суттєво зменшує обчислення. Велика мовна модель потім об'єднує вибрані підписи в один опис, надаючи більшої ваги новішим і менш неоднозначним підписам.

Отримані результати

MIT повідомляє, що етап уточнення усуває неоднозначності приблизно для 92 відсотків об'єктів у середовищі робота, потребуючи лише двох додаткових підписів на об'єкт. За звітом, точність описів об'єктів зросла на 5 відсотків порівняно з найсучаснішими методами.

Порівняно з базовими методами, система також давала точніші відповіді на запитання про те, які об'єкти бачив робот, де їх побачив і коли востаннє зустрічав, повідомила MIT.

«На відміну від ChatGPT, коли йдеться про фізичний ШІ, недостатньо просто додати застереження, що робот іноді може помилятися. Дозволити роботу знати, чого він не знає, буде ключовим для безпечного впровадження цієї технології та її позитивного впливу на суспільство,»

Лука Карлоне, асоційований професор MIT, старший автор статті

Наступні кроки

Карлоне є старшим автором статті, а Чжан і Ніколас Горло — співпершими авторами. Роботу буде представлено на Конференції з нейронних систем обробки інформації.

Команда планує використати UQ-DAAAM для керування іншими типами роботів, зокрема мобільними маніпуляторами, і застосувати свої методи оцінки невизначеності в інших сферах. Вона також вивчає, як система могла б вказувати роботам на зони з високою невизначеністю для повторного огляду, і досліджує методи невизначеності для систем, що прогнозують зміни навколишнього середовища робота. Фінансування частково надійшло від Дослідницької лабораторії армії США та Управління військово-морських досліджень США, повідомила MIT.