顔認識が仮想現実で新たな段階へ
顔は、スマートフォンのロック解除、警備された建物への入館、空港での旅券審査の迅速化など、多くの場面で本人確認に使われています。
オーストラリア、ニュージーランド、インドの国際研究チームは、携帯型コントローラーやタッチパッドを使わず、人の表情を使って仮想現実の物体を操作する方法を開発し、顔認識技術を新たな段階へ引き上げました。
クイーンズランド大学が行った世界初の研究では、人とコンピューターの相互作用の専門家が、神経信号処理の手法を用いて人の笑顔、しかめ面、食いしばった顎を捉え、それぞれの表情を仮想現実環境内の特定の動作の開始に割り当てました。
「仮想現実（VR）インターフェースは、デジタル世界と対話するための没入型環境を提供します。多くのVRインターフェースは携帯型コントローラーを使った物理的な操作を必要としますが、さまざまな用途やユーザーに対応できる他の代替的な操作方法も存在します。VRの操作方法は主に使いやすさの観点から評価されてきましたが、神経学的および生理学的な影響の違いについてはまだ十分に研究されていません」と研究では述べられています。
実験に参加した研究者の一人、南オーストラリア大学の教授マーク・ビリングハーストは、このシステムがヘッドセット型の脳波計（EEG）を通じてさまざまな表情を認識するように設計されたと述べています。
「「移動」の命令には笑顔、「停止」の命令にはしかめ面、「アクション」の命令には顎の食いしばりを使用しました。これらの動作を行う手持ちのコントローラーは使っていません。基本的に私たちは、怒り、喜び、驚きといった一般的な表情を捉え、仮想現実環境に実装しているのです」
研究者たちは、幸せ、中立、恐怖という3つの仮想環境を作成し、参加者が各シナリオに没入している間の認知状態と生理状態を測定しました。
普遍的な3つの表情（笑顔、しかめ面、食いしばり）を再現しながら、環境の変化が感情的および生理的反応に基づいて、これら3つの表情のいずれかを引き起こすかどうかを調べました。
「異なる操作体験を持つ3つの環境を使用しました。幸せな環境（蝶採り）、中立的な環境（物体の選択）、そして怖い環境（ゾンビ射撃）です。全体として、操作方法がガンマ波の脳活動と皮膚の電気伝導度に影響することが確認されました。存在感のいくつかの側面では表情による操作がコントローラーを上回りましたが、使いやすさの点ではコントローラーの方が優れていることがわかりました」と科学者たちは報告しています。
例えば幸せな環境では、ユーザーは公園を歩き、網を使って蝶を捕まえる課題に取り組みました。ユーザーは笑顔のときに移動し、しかめ面のときに停止しました。
中立的な環境では、参加者は工房を歩き回り、あちこちに散らばった物を集めるよう指示されました。食いしばった顎は動作を引き起こしました。この場合は各物体を拾うことです。一方、「移動開始」と「移動停止」の命令は笑顔としかめ面で開始されました。
同じ表情が怖い環境でも使われ、参加者は地下基地を移動してゾンビを撃ちました。
「全体として、コントローラーの方が表情による操作よりも直感的な方法であるため、より良い結果が出ると予想していました。しかし参加者は、表情で操作する仮想現実の方に、より没入感を覚えたと報告しました」
ビリングハースト教授は、仮想現実で表情に頼ることは脳にとって負担の大きい作業だが、よりリアルな体験をユーザーにもたらすと述べ、「今後さらなる研究を経て、ユーザーにとってより使いやすいものにできることを願っています」と語りました。
この技術は、仮想現実の新しい利用方法を提供するだけでなく、切断された手足を持つ人や運動ニューロン疾患の患者など、障害のある人々が手を使わずに仮想現実と対話できるようにし、完全に身体機能を持つ人を想定したコントローラーを使う必要もなくなります。
研究者たちは、この技術を携帯型コントローラーの補完にも使えると主張しています。表情は、より自然な操作方法になり得るからです。
研究結果はInternational Journal of Human-Computer Studiesに掲載されました。論文の抜粋：「本稿では、存在感、感情、システムの使いやすさといった従来の定性的指標とあわせて、表情による代替的な操作方法を仮想現実インターフェースとのやり取りに使用した際の神経生理学的影響（脳信号と皮膚電気活動）を調べます。この操作方式は、従来の携帯型コントローラーとも比較されました。」
