La reconnaissance faciale franchit un nouveau cap en réalité virtuelle
Le visage peut déverrouiller un smartphone, donner accès à un bâtiment sécurisé et accélérer le contrôle des passeports dans les aéroports, en confirmant l’identité de la personne à de nombreuses fins.
Une équipe internationale de chercheurs originaires d’Australie, de Nouvelle-Zélande et d’Inde a porté la technologie de reconnaissance faciale à un nouveau niveau, en utilisant l’expression du visage humain pour commander des objets en réalité virtuelle, sans recourir à une manette portable ni à un pavé tactile.
Dans une étude inédite au monde menée par l’Université du Queensland, des experts de l’interaction homme-machine ont utilisé des méthodes de traitement neuronal pour capter un sourire, un froncement de sourcils et une mâchoire serrée, et ont employé chaque expression pour déclencher des actions précises dans des environnements de réalité virtuelle.
« Les interfaces de réalité virtuelle (VR) offrent un environnement immersif pour interagir avec le monde numérique. La plupart de ces interfaces nécessitent une interaction physique à l’aide de manettes portables, mais il existe d’autres méthodes d’interaction alternatives, susceptibles de convenir à différents usages et utilisateurs. Les méthodes d’interaction en réalité virtuelle sont évaluées avant tout selon leur facilité d’utilisation, mais leurs effets neurologiques et physiologiques restent moins étudiés », indique l’étude.
L’un des chercheurs ayant participé à l’expérience, le professeur Mark Billinghurst de l’Université du Sud de l’Australie, explique que le système a été conçu pour reconnaître différentes expressions faciales grâce à un casque EEG.
« Un sourire servait à lancer la commande « mouvement », un froncement de sourcils la commande « arrêt », et la mâchoire serrée la commande « action », à la place d’une manette qui exécute ces actions. En somme, nous captons des expressions courantes, comme la colère, la joie et la surprise, et nous les intégrons dans un environnement de réalité virtuelle »
Les chercheurs ont conçu trois environnements virtuels — heureux, neutre et effrayant — et ont mesuré l’état cognitif et physiologique de chaque participant pendant qu’il était immergé dans chaque scénario.
En reproduisant trois expressions faciales universelles — le sourire, le froncement de sourcils et la mâchoire serrée —, ils ont examiné si les changements de l’environnement suscitaient l’une de ces trois expressions, en s’appuyant sur les réactions émotionnelles et physiologiques.
« Trois environnements différents, offrant des expériences d’interaction distinctes, ont été utilisés : un environnement heureux (attraper des papillons), un environnement neutre (sélection d’objets) et un environnement effrayant (tirer sur des zombies). Dans l’ensemble, nous avons observé l’influence des méthodes d’interaction sur l’activité gamma du cerveau et sur la conductance cutanée. Sur certains aspects de la présence, les expressions faciales ont surpassé les manettes, mais les manettes se sont révélées meilleures que les expressions du visage en matière de facilité d’utilisation », ont indiqué les scientifiques.
Par exemple, dans l’environnement heureux, les utilisateurs devaient traverser un parc et attraper des papillons avec un filet. L’utilisateur avançait lorsqu’il souriait et s’arrêtait lorsqu’il froncait les sourcils.
Dans l’environnement neutre, les participants devaient traverser un atelier pour ramasser des objets éparpillés partout. La mâchoire serrée déclenchait une action — ici, ramasser chaque objet —, tandis que les commandes « commencer » et « arrêter le mouvement » étaient activées par un sourire et un froncement de sourcils.
Les mêmes expressions faciales étaient utilisées dans l’environnement effrayant, où les participants se déplaçaient dans une base souterraine pour tirer sur des zombies.
« Dans l’ensemble, nous nous attendions à ce que les manettes portables fonctionnent mieux, car elles constituent une méthode plus intuitive que la mimique, mais les personnes ont indiqué qu’elles se sentaient plus immergées dans la réalité virtuelle contrôlée par la mimique »
Le professeur Billinghurst a expliqué que se fier aux expressions du visage en réalité virtuelle demande un gros effort cérébral, mais offre aux utilisateurs une expérience plus réaliste : « J’espère que, après des recherches supplémentaires, nous pourrons le rendre plus facile à utiliser ».
Au-delà d’offrir une nouvelle façon d’utiliser la réalité virtuelle, cette technologie permettra aussi aux personnes en situation de handicap, notamment aux personnes amputées d’un membre et aux patients atteints de maladie des motoneurones, d’interagir en réalité virtuelle sans l’aide de leurs mains, sans avoir besoin de manettes conçues pour des personnes pleinement valides.
Les chercheurs affirment que cette technologie peut aussi compléter les manettes portables, l’expression du visage constituant une forme d’interaction plus naturelle.
Les résultats de l’étude ont été publiés dans l’International Journal of Human-Computer Studies : « Dans cet article, en plus d’autres indicateurs qualitatifs traditionnels, tels que la présence, l’affect et la facilité d’utilisation du système, nous examinons les effets neurophysiologiques — signaux cérébraux et activité électrodermale — de l’utilisation d’une méthode d’interaction alternative par l’expression du visage pour interagir avec des interfaces de réalité virtuelle. Cette forme d’interaction a également été comparée aux manettes portables traditionnelles ».
