Meta показала прототип VR-перчаток — они позволяют ощущать предметы в виртуальной реальности
Вы не можете погладить собаку в новых высокотехнологичных перчатках виртуальной реальности Meta и ощутить каждую деталь прикосновения. Но исследователи приближаются к этому. Meta (ранее Facebook) известна своим громким переходом в виртуальную и дополненную реальность.
Тем не менее, в течение семи лет компания незаметно работала над одним из самых амбициозных проектов — тактильной перчаткой, которая воспроизводит такие ощущения, как хватание за объект или движение рукой по поверхности. Компания впервые продемонстрировала прототип устройства.
На упрощенном уровне прототип тактильных ощущений Meta представляет собой перчатку с примерно 15 ребристыми надувными пластиковыми подушечками (приводами). Подушечки расположены так, чтобы соответствовать ладони пользователя, внутренней стороне его пальцев и кончикам пальцев. Перчатка также действует как контроллер виртуальной реальности. На задней панели есть маленькие белые маркеры, которые позволяют камерам отслеживать перемещение пальцев в пространстве, а также внутренние датчики, которые фиксируют сгибание пальцев пользователя.
Когда вы надеваете перчатку и входите в режим виртуальной или дополненной реальности, сложная система управления регулирует уровень накачивания, создавая давление на разные части руки. Если вы дотронетесь до виртуального объекта кончиками пальцев, вы почувствуете, как этот объект прижимается к вашей коже. Если вы держите виртуальный предмет, приводы станут жесткими, создавая ощущение сопротивления. Эти ощущения работают вместе с визуальными и звуковыми сигналами, создавая иллюзию физического прикосновения.
Технология опирается на относительно новую область мягкой робототехники, заменяя громоздкие двигатели крошечными воздушными клапанами. Компания работает над этим почти с тех пор, как в 2014 году приобрела стартап Oculus VR. Первый прототип — один палец с одним приводом — был разработан еще в 2015 году.
Одним из первых опытов, которые вспоминает глава Reality Labs Майкл Абраш, был взгляд на виртуальную пластину изнутри гарнитуры VR, где один привод в сочетании с виртуальным изображением и звуком трения о шероховатую керамику был невероятно убедительным: «Я увидел пластину, и я увидел свой палец на пластине, и я услышал звук — такой царапающий звук по нему — и я почувствовал вибрацию. И я вам скажу, я водил пальцем по керамической тарелке».
Имитация прикосновения — далеко не новое явление. Даже сочетание виртуальной реальности с чем-то таким простым, как вибрация контроллера, может заставить людей чувствовать себя так, будто они касаются чего-то. Многие компании работали над носимыми устройствами, которые либо отслеживают руки пользователей, либо создают тактильные ощущения. Некоторые даже объединяют температурные ощущения, которым Reality Labs не уделяет первоочередного внимания.
Meta готова к массовому производству тактильных перчаток, чего не могут сделать другие компании. Большинство производителей тактильных устройств продают специализированные продукты для военных, промышленных или академических учреждений. Компания же производит доминирующую, ориентированную на потребителя систему Quest VR и вкладывает миллиарды долларов в создание «метавселенной», объединяющей VR и AR. Если появятся тактильные перчатки, Meta может гарантировать, что система будет работать на Quest, и побудить разработчиков приложений использовать ее.
Reality Labs представляет перчатки как один из нескольких методов управления для будущих очков и гарнитур наряду с более легкими решениями, основанными на электромиографии или ЭМГ — системе, которая считывает нервные сигналы на вашей руке и преобразует их в цифровой ввод. Meta приобрела компанию CTRL-Labs, производящую браслеты EMG, в 2019 году, а команда EMG работает отдельно от группы тактильных дизайнеров, хотя эти две технологии могут легко совпадать.
«Дуглас Энгельбарт и Xerox PARC — единственный раз, когда фундаментально наш способ взаимодействия с цифровым миром когда-либо менялся (речь идет о изобретении мыши и дизайне настольного компьютера Alto в 1970-х годах, что помогло задать курс на современные персональные компьютеры). Очки AR потребуют, чтобы это произошло. Вы не собираетесь ходить с клавиатурой и мышью. Вы не собираетесь доставать телефон, чтобы с ним взаимодействовать»
Для некоторых задач вам может понадобиться простой браслет. Для других вам нужны более полные тактильные ощущения. Тем не менее, существует множество препятствий для производства тактильных перчаток, готовых к использованию.
С одной стороны, команда инженеров хочет резко увеличить плотность исполнительных механизмов перчаток с десятков до сотен или даже тысяч в течение нескольких лет. Прямо сейчас перчатки могут дать ощущение контуров объектов, но не четкое различие между поверхностями — вместо этого они полагаются на наводящую силу звука и изображений.
«Вы можете погладить собаку, но вы не почувствуете текстуры. Вам нужно срабатывание с высокой плотностью движения, чтобы действительно получить это ощущение, а эта перчатка этого не делает»
С другой стороны, перчатки нуждаются в резком уменьшении размера. Хили заявила, что устройство должно быть достаточно легким, чтобы люди чувствовали, что они могут нормально взаимодействовать как с реальным, так и с виртуальным миром, и оно должно быть полностью беспроводным, а не полагаться на трос, как сейчас.
Кроме того, тактильные перчатки должны точно прилегать к коже пользователя. Это может потребовать разработки разных вариантов для каждого покупателя, что возможно с помощью такого процесса, как трехмерное вязание, которое может создавать предмет одежды из цифрового дизайна нестандартного размера.
Также возникают практические вопросы, например, как почистить высокотехнологичную перчатку — прямо сейчас ее тщательно протирают спиртом. Хили рассказала: «Что касается одежды в целом, мы ожидаем, что ее можно будет стирать. Мы хотели бы создать перчатки, которые можно было бы стирать. Как? Пока не знаем. Но это часть нашего видения».
Если перчатки появятся на рынке, они столкнутся с теми же проблемами конфиденциальности и безопасности, что и другие носимые устройства, собирающие биометрическую информацию. Абраш сравнивает использование таких технологий, как браслеты EMG, с набором текста на клавиатуре, что редко называют потенциальной угрозой. Однако носимые устройства могут анализировать физическое движение людей на точном уровне, в то время как даже базовые шаблоны набора текста могут предсказать начало таких заболеваний, как болезнь Паркинсона. Meta необходимо будет установить политики, определяющие, какая часть этих данных покидает устройства пользователей и кто еще имеет к ним доступ.
На сегодняшний день команда просто пытается понять, насколько реальна виртуальная реальность. «Одна из интересных особенностей тактильных перчаток заключается в том, что мы, очевидно, не можем точно воспроизвести реальность, что отличается от аудиовизуальных вещей», — заявил Абраш.
«Мне кажется вероятным, что если тактильные перчатки сработают, вы сможете погладить собаку, но это будет виртуальная собака, и это будет немного другой опыт. Но в основном — эмоционально, эмпирически — это будет ощущаться как реальность»
Стоит отметить, что VR-стартап HaptX выпустил довольно агрессивное заявление, в котором обвинил Meta в демонстрации прототипа, который был «практически идентичен» их собственной запатентованной технологии. В заявлении генерального директора HaptX Джейка Рубина подробно рассказывается, что его стартап на протяжении многих лет демонстрировал свои технологии «многим инженерам, исследователям и руководителям из Meta» и что компания не консультировалась с ними по этому последнему проекту.
«Хотя мы еще ничего не слышали от Meta, мы надеемся на сотрудничество с ними, чтобы достичь справедливого и равноправного соглашения, которое решит наши проблемы и позволит им включить наши инновационные технологии в свои будущие потребительские продукты», — отметил Рубин.
