Дополненная реальность. Все, что вы хотели узнать о технологии будущего

Эсбен Варминг Педерсен, член исследовательской группы Копенгагенского университета, объясняет, чем отличается работа деформируемого дисплея от того, как работают обычные стеклянные сенсорные экраны. «Все, что видит iPad, – это кончик пальца, касающийся стекла. Так, когда iPad пытается определить, где и как мы его касаемся, устройство можно рассматривать как своего рода систему координат». Деформируемый дисплей имеет более сложный принцип работы: когда вы прикладываете палец к экрану, камера считывает информацию в трех изменениях и определяет силу давления пальца на поверхность. Педерсен работает над разработкой алгоритмов компьютерного зрения, которые позволят распознавать эти трехмерные данные и использовать их таким образом, чтобы компьютер мог лучше понять и применить их в своей работе.

Одна из проблем, которую обозначает Педерсен, заключается в том, что мы еще не знаем, как работать с этими новыми экранами. Он говорит о том, что к настоящему моменту уже выработался определенный «словарь» для взаимодействия с двумерными дисплеями, например, если свести пальцы, изображение уменьшится, а если смахнуть пальцем картинку, она сменится другой. Однако если говорить о жестах в трехмерном пространстве, или деформируемых жестах, использование таких экранов уже становится менее очевидным. Педерсен в настоящее время занимается разработкой такого интуитивного словаря новых жестов.

Педерсен и Хорнбэк опубликовали[37] в 2014 году исследование по распознаванию жестов, где респондентов попросили показать жесты, которые они находят подходящими для выполнения различных задач, таких как выбор, навигация и трехмерное моделирование на деформируемом экране. Среди жестов, которые предлагали участники исследования, были движения за дисплеем, толчок ладонью с вытянутыми пальцами, захват и скручивание.

Интеграция тактильного ощущения за пределами экрана

Компания Disney Research Labs использует другой подход к технологии тактильной стимуляции, не делая упор на разработку специальных экранов, но развивая новые способы для взаимодействия с системой. Технология REVEL[38], разработанная в 2012 году Иваном Пупыревым и Оливье Бо, может обеспечить интеграцию искусственных тактильных ощущений не только в сенсорные экраны, но и в предметы повседневного пользования, такие как мебель, стены, деревянные и пластиковые предметы и даже человеческую кожу.

REVEL использует новый тактильный эффект, которому Disney Research Labs дала название реверсивная электровибрация[39]. Работа устройства заключается в том, что оно выдает слабый электрический сигнал в тело пользователя, создавая колебательное электрическое поле вокруг его пальцев. Когда пользователь проводит пальцами по поверхности объекта, он чувствует соприкосновение с определенной текстурой, что создает дополненную реальность. Различные тактильные ощущения могут быть созданы путем изменения уровня сигнала.

Гладкий пластиковый предмет может показаться на ощупь шершавым и неровным, хотя на самом деле он не такой. REVEL можно применить к AR, чтобы добавить текстуру к виртуальному контенту, проецируемому на стол, стены или отображаемому через AR-очки. REVEL также может использоваться без очков или проекций для создания дополненной реальности к существующим объектам, таким как, например, стеклянные витрины в музеях, что могло бы позволить посетителям ощущать артефакты, которые могут быть хрупкими и единственными в своем роде, а в определенных случаях и вовсе недоступными для прикосновения. Кроме того, REVEL может быть настроен индивидуально под каждого пользователя и может даже использоваться для отображения личного контента, такого как подсказки при восстановлении пароля, которые вы можете почувствовать.

В 2013 году Disney Research Labs также разработала AIREAL[40]. Эта технология обеспечивает тактильные ощущения в воздухе без необходимости носить или касаться какого-либо специального устройства. Такой эффект достигается путем стимуляции кожи пользователя полями давления сжатого воздуха с использованием воздушных завихрений (воздушных колец), позволяющих пользователям одновременно видеть и чувствовать проецируемые изображения.

Датчики глубины изображения, интегрированные в AIREAL, фиксируют в трехмерном режиме изменения положения рук, головы и тела пользователя. Например, спроецированная трехмерная бабочка может отображаться на руке пользователя. Движение руки пользователя отслеживается AIREAL, и направление завихрений регулируется в соответствии с движением крыльев бабочки. Первые отзывы пользователей подтверждают[41]: «физические ощущения от взаимодействия с виртуальной бабочкой соответствуют аналогичным реальным», что, по словам одного из пользователей, «ощущается как реальность – кажется, что бабочка настоящая».