Розпізнавання облич вийшло на новий рівень у віртуальній реальності
Обличчя може розблокувати смартфон, надати доступ до охоронюваної будівлі та прискорити паспортний контроль в аеропортах, підтверджуючи особу для багатьох цілей.
Міжнародна група дослідників з Австралії, Нової Зеландії та Індії підняла технологію розпізнавання облич на новий рівень, використовуючи вираз обличчя людини для керування об'єктами в умовах віртуальної реальності без використання портативного контролера чи сенсорної панелі.
У першому у світі дослідженні, проведеному Квінслендським університетом, фахівці з взаємодії людини з комп'ютером використали методи нейронної обробки, щоб вловити усмішку, насупленість і стиснуту щелепу людини, та використали кожен вираз для запуску певних дій у середовищах віртуальної реальності.
«Інтерфейси віртуальної реальності (VR) забезпечують іммерсивне середовище для взаємодії з цифровим світом. Більшість інтерфейсів віртуальної реальності потребують фізичної взаємодії з використанням портативних контролерів, але існують й інші альтернативні методи взаємодії, які можуть підтримувати різні варіанти використання та користувачів. Методи взаємодії у віртуальній реальності насамперед оцінюються з точки зору їх зручності використання, однак їхні відмінності в неврологічних і фізіологічних ефектах залишаються менш вивченими», — йдеться в дослідженні.
Один з дослідників, які брали участь в експерименті, професор Університету Південної Австралії Марк Біллінгхерст, каже, що система була розроблена для розпізнавання різних виразів обличчя через гарнітуру ЕЕГ.
«Для запуску команди «рух» використовувалась усмішка, для команди «стоп» — насуплений вираз обличчя, а для команди «дія» — стиснення щелепи, а не ручний контролер, що виконує ці дії. По суті, ми фіксуємо поширені вирази обличчя, такі як гнів, щастя та здивування, і реалізуємо їх у середовищі віртуальної реальності»
Дослідники розробили три віртуальні середовища — щасливе, нейтральне та страшне — і виміряли когнітивний і фізіологічний стан кожної людини, поки вона була занурена в кожен сценарій.
Відтворюючи три універсальні вирази обличчя — усмішку, насуплення та стиснення — вони досліджували, чи викликають зміни в навколишньому середовищі один із трьох виразів, спираючись на емоційні та фізіологічні реакції.
«Були використані три різних оточення з різним досвідом взаємодії: щасливе (ловіння метеликів), нейтральне (вибір об'єкта) та страшне (стрільба по зомбі). Загалом ми помітили вплив методів взаємодії на гамма-активність у головному мозку та на провідність шкіри. За деякими аспектами присутності вирази обличчя перевершували контролери, але було виявлено, що контролери краще за вирази обличчя з точки зору зручності використання», — повідомили науковці.
Наприклад, у щасливому середовищі перед користувачами стояло завдання пройти через парк і зловити метеликів сачком. Користувач рухався, коли усміхався, і зупинявся, коли хмурився.
У нейтральному середовищі учасникам доручили пройти майстерню, щоб зібрати предмети, розкидані всюди. Стиснута щелепа викликала дію — в даному випадку взяття кожного предмета — тоді як команди «почати» та «зупинити рух» ініціювалися усмішкою та насупленим поглядом.
Ті самі вирази обличчя використовувались у страшному середовищі, де учасники пересувалися підземною базою, щоб стріляти в зомбі.
«Загалом ми очікували, що портативні контролери працюватимуть краще, оскільки вони є більш інтуїтивним методом, ніж міміка, однак люди повідомляли, що відчувають себе більш зануреними у віртуальну реальність, керовану мімікою»
Професор Біллінгхерст розповів, що покладатися на вирази обличчя у віртуальній реальності — важка праця для мозку, але це дає користувачам більш реалістичний досвід: «Сподіваюся, після додаткових досліджень ми зможемо зробити його зручнішим для користувача».
Окрім надання нового способу використання віртуальної реальності, ця технологія також дозволить людям з обмеженими можливостями, зокрема людям з ампутованими кінцівками та пацієнтам із захворюванням рухових нейронів, взаємодіяти у віртуальній реальності без допомоги рук, і їм більше не доведеться використовувати контролери, призначені для повністю дієздатних людей.
Дослідники стверджують, що цю технологію також можна використовувати для доповнення портативних контролерів, де вираз обличчя є природнішою формою взаємодії.
Результати дослідження були опубліковані в International Journal of Human-Computer Studies: «У цій статті — разом з іншими традиційними якісними матрицями, такими як присутність, афект і зручність використання системи, — ми досліджуємо нейрофізіологічні ефекти — сигнали мозку та електродермальну активність — використання альтернативного методу взаємодії з виразом обличчя для взаємодії з інтерфейсами віртуальної реальності. Цю форму взаємодії також порівнювали з традиційними портативними контролерами».
