Распознавание лиц вышло на новый уровень в виртуальной реальности
Лицо может разблокировать смартфон, предоставить доступ к охраняемому зданию и ускорить паспортный контроль в аэропортах, подтверждая личность для многих целей.
Международная группа исследователей из Австралии, Новой Зеландии и Индии подняла технологию распознавания лиц на новый уровень, используя выражение лица человека для управления объектами в условиях виртуальной реальности без использования портативного контроллера или сенсорной панели.
В первом в мире исследовании, проведенном Квинслендским университетом, эксперты по взаимодействию человека с компьютером использовали методы нейронной обработки, чтобы уловить улыбку, хмурый взгляд и сжатую челюсть человека, и использовали каждое выражение для запуска определенных действий в средах виртуальной реальности.
«Интерфейсы виртуальной реальности (VR) обеспечивают иммерсивную среду для взаимодействия с цифровым миром. Большинство интерфейсов виртуальной реальности требуют физического взаимодействия с использованием портативных контроллеров, но существуют и другие альтернативные методы взаимодействия, которые могут поддерживать различные варианты использования и пользователей. Методы взаимодействия в виртуальной реальности в первую очередь оцениваются с точки зрения их удобства использования, однако их различия в неврологических и физиологических эффектах остаются менее изученными», — говорится в исследовании.
Один из исследователей, участвовавших в эксперименте, профессор Университета Южной Австралии Марк Биллингхерст, говорит, что система была разработана для распознавания различных выражений лица через гарнитуру ЭЭГ.
«Для запуска команды «движение» использовалась улыбка, для команды «стоп» — хмурое выражение лица, а для команды «действие» — сжатие челюсти, а не ручной контроллер, выполняющий эти действия. По сути, мы фиксируем распространенные выражения лица, такие как гнев, счастье и удивление, и реализуем их в среде виртуальной реальности»
Исследователи разработали три виртуальных среды — счастливую, нейтральную и пугающую — и измерили когнитивное и физиологическое состояние каждого человека, пока они были погружены в каждый сценарий.
Воспроизводя три универсальных выражения лица — улыбку, хмурый взгляд и сжатие — они исследовали, вызывают ли изменения в окружающей среде одно из трех выражений, основываясь на эмоциональных и физиологических реакциях.
«Были использованы три разных окружения с разным опытом взаимодействия: счастливое (ловля бабочек), нейтральное (выбор объекта) и страшное (стрельба в зомби). В целом мы заметили влияние методов взаимодействия на гамма-активность в головном мозге и на проводимость кожи. По некоторым аспектам присутствия выражение лица превосходило контроллеры, но было обнаружено, что контроллеры лучше, чем выражения лица, с точки зрения удобства использования», — сообщили ученые.
Например, в счастливой среде перед пользователями стояла задача пройти через парк и поймать бабочек сачком. Пользователь двигался, когда улыбался, и останавливался, когда хмурился.
В нейтральной среде участникам было поручено пройти по мастерской, чтобы собрать разбросанные повсюду предметы. Сжатая челюсть вызывала действие — в данном случае взятие каждого предмета — в то время как команды «начать» и «остановить движение» инициировались с улыбкой и хмурым взглядом.
Те же выражения лиц использовались в пугающей среде, где участники перемещались по подземной базе, чтобы стрелять в зомби.
«В целом мы ожидали, что портативные контроллеры будут работать лучше, поскольку они являются более интуитивным методом, чем мимика, однако люди сообщали, что чувствуют себя более погруженными в виртуальную реальность, управляемую мимикой»
Профессор Биллингхерст рассказал, что полагаться на выражения лица в условиях виртуальной реальности — тяжелая работа для мозга, но дает пользователям более реалистичный опыт: «Надеюсь, после дополнительных исследований мы сможем сделать его более удобным для пользователя».
Помимо предоставления нового способа использования виртуальной реальности, эта технология также позволит людям с ограниченными возможностями, в том числе людям с ампутированными конечностями и пациентам с заболеванием двигательных нейронов, взаимодействовать в виртуальной реальности без помощи рук, и им больше не нужно будет использовать контроллеры, предназначенные для полностью дееспособных людей.
Исследователи утверждают, что эту технологию можно также использовать для дополнения портативных контроллеров, где выражение лица является более естественной формой взаимодействия.
Результаты исследования были опубликованы в International Journal of Human-Computer Studies: «В этой статье — наряду с другими традиционными качественными матрицами, такими как присутствие, аффект и удобство использования системы, — мы исследуем нейрофизиологические эффекты — сигналы мозга и электродермальную активность — использования альтернативного метода взаимодействия с выражением лица для взаимодействия с интерфейсами виртуальной реальности. Эту форму взаимодействия также сравнивали с традиционными портативными контроллерами».