Ученые из Квинслендского университета использовали выражение лица для запуска определенных действий в средах виртуальной реальности. Технология по распознаванию лиц используется для разблокировки смартфонов, предоставления доступа к охраняемому зданию, а также позволяет ускорить паспортный контроль в некоторых аэропортах.

Теперь международная группа ученых из Австралии, Новой Зеландии и Индии подняла технологию распознавания лиц на новый уровень, используя выражение лица человека для управления объектами в условиях виртуальной реальности. Особенность новой технологии в том, что для нее не требуется использование портативного контроллера или сенсорной панели.

Ученые провели уникальное исследование. Эксперты по взаимодействию человека с компьютером использовали методы нейронной обработки, чтобы «ловить» разные эмоции человека — улыбку, хмурый взгляд и сжатую челюсть. Каждое выражение лица использовали для запуска определенных действий в средах виртуальной реальности.

«По сути, мы фиксируем распространенные выражения лица, такие как гнев, счастье и удивление, и реализуем их в среде виртуальной реальности» — объясняет Марк Биллингхерст, профессор Университета Южной Австралии и один из исследователей, участвовавших в эксперименте.

Сама система разработана для распознавания различных выражений лица через ЭЭГ-гарнитуру. В ходе работы исследователи разработали три виртуальных среды — счастливую, нейтральную и пугающую — и измерили когнитивное и физиологическое состояние людей, пока они были погружены в каждый сценарий.

В счастливой среде перед пользователями стояла задача пройти через парк и поймать бабочек сачком. Пользователь двигался, когда улыбался, и останавливался, когда хмурился. В нейтральном сценарии участникам поручили пройти по мастерской, чтобы собрать разбросанные повсюду предметы. Сжатая челюсть вызывала действие — в данном случае поднятие каждого предмета, а команды «начать» и «остановить движение» инициировались с улыбкой и хмурым взглядом. Те же выражения лиц использовались в пугающей среде, где участники перемещались по подземной базе, чтобы стрелять в зомби.