Исследователи MIT разработали алгоритм ИИ, который понимает взаимосвязи между объектами
Когда люди смотрят на любую поверхность, они видят объекты и их взаимосвязи. На вашем столе может быть ноутбук, который находится слева от телефона, который находится перед монитором компьютера.
Многие модели глубокого обучения с трудом видят мир таким образом, потому что не понимают запутанных отношений между отдельными объектами. Без знания этих взаимосвязей робот, предназначенный для помощи кому-то на кухне, будет испытывать трудности с выполнением такой команды, как «возьмите лопатку, которая находится слева от плиты, и поместите ее на разделочную доску».
Пытаясь решить эту проблему, исследователи Массачусетского технологического института разработали модель, которая понимает основные отношения между объектами в кадре. Их модель представляет отдельные отношения по одному, а затем объединяет эти представления для описания всего кадра. Это позволяет модели генерировать более точные изображения из текстовых описаний, даже если место действия включает в себя несколько объектов, которые находятся в различных отношениях друг с другом.
Эта работа может быть применена в ситуациях, когда промышленные роботы должны выполнять сложные многоступенчатые манипуляционные задачи, такие как складывание предметов на складе или сборка техники. Это также приближает область науки на один шаг к тому, чтобы машины могли учиться и взаимодействовать с окружающей средой, как это делают люди.
«Когда я смотрю на стол, я не могу сказать, что в местоположении XYZ есть объект. Наш мозг так не работает. В нашем сознании, когда мы понимаем зрелище, мы действительно понимаем его, основываясь на отношениях между объектами. Мы думаем, что, построив систему, которая может понимать отношения между объектами, мы могли бы использовать ее для более эффективного управления и изменения нашей среды»
Разработанная исследователями структура может генерировать изображение места события на основе текстового описания объектов и их взаимосвязей, например: «Деревянный стол слева от синего стула. Красный диван справа от синего стула».
Их система разбивала эти предложения на две более мелкие части, описывающие каждую индивидуальную взаимосвязь («деревянный стол слева от синего стула» и «красный диван справа от синего стула»), а затем моделировала каждую часть отдельно. Затем эти части объединяются в процессе оптимизации, в результате которого создается изображение места события.
Исследователи использовали метод машинного обучения, называемый энергетическими моделями, чтобы представить взаимосвязь отдельных объектов в описании происходящего. Этот метод позволяет им использовать одну энергетическую модель для кодирования каждого реляционного описания, а затем составлять их вместе таким образом, чтобы выводить все объекты и отношения.
«Разбивая предложения на более короткие части для каждого отношения, система может рекомбинировать их различными способами, чтобы лучше адаптироваться к описаниям эпизодов, которых она раньше не видела», — заявил аспирант CSAIL Шуанг Ли.
«Другие системы будут рассматривать все отношения как единое целое и генерировать изображение за один раз из описания. Однако такие подходы терпят неудачу, когда у нас есть описания вне распределения, такие как описания с большим количеством отношений, поскольку эта модель не может действительно адаптировать один снимок для создания изображений, содержащих больше отношений. Однако, когда мы составляем эти отдельные, более мелкие модели вместе, мы можем моделировать большее количество взаимосвязей и адаптироваться к новым комбинациям»
Система также работает в обратном направлении — по изображению она может находить текстовые описания, которые соответствуют связи между объектами в кадре. Кроме того, модель можно использовать для редактирования изображения, переставляя объекты так, чтобы они соответствовали новому описанию.
Исследователи сравнили свою модель с другими методами глубокого обучения, которые получали текстовые описания и создавали изображения, отображающие соответствующие объекты и их отношения. В каждом случае их модель превзошла базовые показатели.
Они также попросили людей оценить, соответствуют ли сгенерированные изображения исходному описанию. В наиболее сложных примерах, где описания содержали три связи, 91% участников пришел к выводу, что новая модель работает лучше.
«Одна интересная вещь, которую мы обнаружили, заключается в том, что для нашей модели мы можем увеличить наше предложение с одного описания до двух, трех или даже четырех описаний, а наш подход по-прежнему позволяет генерировать изображения, которые правильно описываются связями, в то время как другие методы терпят неудачу»
Исследователи также показали модельные изображения кадров, которые система раньше не видела, а также несколько различных текстовых описаний каждого изображения, и они смогли успешно идентифицировать описание, которое лучше всего соответствовало отношениям объектов на изображении.
Когда исследователи дали системе два описания реляционных сцен, которые описывали одно и то же изображение, но по-разному, модель смогла понять, что описания эквивалентны. Ученые были впечатлены надежностью их системы, особенно при работе с описаниями, с которыми она раньше не сталкивалась.
«Это очень многообещающе, потому что это ближе к тому, как работают люди. Люди могут видеть только несколько примеров, но мы можем извлечь полезную информацию только из этих нескольких примеров и объединить их вместе, чтобы создать бесконечное количество комбинаций. И наша модель обладает таким свойством, которое позволяет ей учиться на меньшем количестве данных, но обобщать для более сложных сцен или поколений изображений»
Хотя эти первые результаты обнадеживают, исследователи хотели бы увидеть, как их модель работает на более сложных реальных изображениях с шумным фоном и объектами, которые блокируют друг друга.
Они также заинтересованы в том, чтобы в конечном итоге включить свою модель в робототехнические системы, что позволит роботу определять взаимосвязи между объектами, а затем применять эти знания для управления объектами в мире.
«Разработка визуальных представлений, которые могут иметь дело с композиционной природой окружающего нас мира, является одной из ключевых открытых проблем компьютерного зрения. Это исследование значительно продвинулось в решении этой проблемы, предлагая основанную на энергии модель, которая явно моделирует множественные отношения между объектами, изображенными в месте событий. Результаты действительно впечатляют»
