Дослідники MIT розробили алгоритм ШІ, який розуміє взаємозв'язки між об'єктами
Коли люди дивляться на будь-яку поверхню, вони бачать об'єкти та їхні взаємозв'язки. На вашому столі може бути ноутбук, який знаходиться ліворуч від телефону, який стоїть перед монітором комп'ютера.
Багато моделей глибокого навчання з труднощами бачать світ таким чином, бо не розуміють заплутаних відносин між окремими об'єктами. Без знання цих взаємозв'язків робот, призначений для допомоги комусь на кухні, матиме труднощі з виконанням такої команди, як «візьми лопатку, яка знаходиться ліворуч від плити, і поклади її на обробну дошку».
Намагаючись вирішити цю проблему, дослідники Массачусетського технологічного інституту розробили модель, яка розуміє основні відношення між об'єктами в кадрі. Їхня модель представляє окремі відношення по одному, а потім об'єднує ці представлення для опису всього кадру. Це дозволяє моделі генерувати точніші зображення з текстових описів, навіть якщо місце дії включає кілька об'єктів, які перебувають у різних відношеннях один з одним.
Ця робота може бути застосована в ситуаціях, коли промислові роботи мають виконувати складні багатоступеневі маніпуляційні завдання, такі як складання предметів на складі або збирання техніки. Це також наближає галузь науки на один крок до того, щоб машини могли навчатися та взаємодіяти з навколишнім середовищем, як це роблять люди.
«Коли я дивлюся на стіл, я не можу сказати, що в місці XYZ є об'єкт. Наш мозок так не працює. У нашій свідомості, коли ми розуміємо видовище, ми справді розуміємо його, спираючись на взаємозв'язки між об'єктами. Ми думаємо, що, побудувавши систему, яка може розуміти взаємозв'язки між об'єктами, ми могли б використати її для ефективнішого керування та зміни нашого середовища»
Розроблена дослідниками структура може генерувати зображення місця події на основі текстового опису об'єктів та їхніх взаємозв'язків, наприклад: «Дерев'яний стіл ліворуч від синього стільця. Червоний диван праворуч від синього стільця».
Їхня система розбивала ці речення на дві менші частини, які описують кожен окремий зв'язок («дерев'яний стіл ліворуч від синього стільця» і «червоний диван праворуч від синього стільця»), а потім моделювала кожну частину окремо. Потім ці частини об'єднуються в процесі оптимізації, у результаті якого створюється зображення місця події.
Дослідники використали метод машинного навчання, який називається енергетичними моделями, щоб представити взаємозв'язок окремих об'єктів в описі події. Цей метод дозволяє їм використовувати одну енергетичну модель для кодування кожного реляційного опису, а потім складати їх разом так, щоб вивести всі об'єкти та відношення.
«Розбиваючи речення на коротші частини для кожного відношення, система може рекомбінувати їх різними способами, щоб краще адаптуватися до описів епізодів, яких вона раніше не бачила», — заявив аспірант CSAIL Шуанг Лі.
«Інші системи розглядатимуть усі відношення як єдине ціле і генерують зображення за один раз з опису. Однак такі підходи зазнають невдачі, коли у нас є описи поза розподілом, наприклад описи з великою кількістю відношень, оскільки ця модель не може справді адаптувати один знімок для створення зображень, що містять більше відношень. Однак, коли ми складаємо ці окремі, менші моделі разом, ми можемо моделювати більшу кількість взаємозв'язків і адаптуватися до нових комбінацій»
Система також працює у зворотному напрямку — за зображенням вона може знаходити текстові описи, які відповідають зв'язку між об'єктами в кадрі. Крім того, модель можна використовувати для редагування зображення, переставляючи об'єкти так, щоб вони відповідали новому опису.
Дослідники порівняли свою модель з іншими методами глибокого навчання, які отримували текстові описи і створювали зображення, що відображають відповідні об'єкти та їхні відношення. У кожному випадку їхня модель перевершила базові показники.
Вони також попросили людей оцінити, чи відповідають згенеровані зображення вихідному опису. У найскладніших прикладах, де описи містили три зв'язки, 91% учасників дійшли висновку, що нова модель працює краще.
«Одна цікава річ, яку ми виявили, полягає в тому, що для нашої моделі ми можемо збільшити наше речення з одного опису до двох, трьох або навіть чотирьох описів, а наш підхід все одно дозволяє генерувати зображення, які правильно описуються зв'язками, тоді як інші методи зазнають невдачі»
Дослідники також показали модельні зображення кадрів, яких система раніше не бачила, а також кілька різних текстових описів кожного зображення, і вони змогли успішно визначити опис, який найкраще відповідав відношенням об'єктів на зображенні.
Коли дослідники дали системі два описи реляційних сцен, які описували одне й те саме зображення, але по-різному, модель змогла зрозуміти, що описи еквівалентні. Вчені були вражені надійністю їхньої системи, особливо під час роботи з описами, з якими вона раніше не стикалася.
«Це дуже обнадійливо, бо це ближче до того, як працюють люди. Люди можуть бачити лише кілька прикладів, але ми можемо витягти корисну інформацію лише з цих кількох прикладів і об'єднати їх разом, щоб створити нескінченну кількість комбінацій. І наша модель має таку властивість, яка дозволяє їй навчатися на меншій кількості даних, але узагальнювати для складніших сцен або поколінь зображень»
Хоча ці перші результати обнадійливі, дослідники хотіли б побачити, як їхня модель працює на складніших реальних зображеннях із шумним фоном та об'єктами, які блокують один одного.
Вони також зацікавлені в тому, щоб зрештою включити свою модель у робототехнічні системи, що дозволить роботу визначати взаємозв'язки між об'єктами, а потім застосовувати ці знання для керування об'єктами у світі.
«Розробка візуальних представлень, які можуть впоратися з композиційною природою навколишнього нас світу, є однією з ключових відкритих проблем комп'ютерного зору. Це дослідження значно просунулося у вирішенні цієї проблеми, пропонуючи засновану на енергії модель, яка явно моделює множинні відношення між об'єктами, зображеними в місці подій. Результати справді вражаючі»
