Берешь телефон, сканируешь пространство — и твоя комната превращается в пещеру Как будут работать телефоны и планшеты с функцией дополненной реальности. Репортаж «Медузы»

В июне 2017 года Apple впервые рассказала про iOS 11. Одним из нововведений стал ARKit — инструмент для разработчиков, позволяющий легко создавать приложения в дополненной реальности. Осенью, когда выйдет iOS 11, десятки миллионов айфонов и айпадов (вот список моделей) получат доступ к играм и приложениям, смешивающим реальный и виртуальный миры. Корреспондент «Медузы» Султан Сулейманов встретился с представителями четырех российских компаний, которые работают над своими приложениями в области дополненной реальности — и убедился, что им будет, чем удивить пользователей.

Что такое дополненная реальность?

Дополненной реальностью (augmented reality, AR) называют систему, которая совмещает в себе реальные и виртуальные объекты. Простейший пример дополненной реальности — распознавание лиц в цифровых фотоаппаратах: когда фотограф наводит камеру на человека, он видит на экране рамочку, нарисованную вокруг головы модели. Здесь к реальному объекту (модель) добавляется виртуальный элемент (рамочка), причем эти две реальности действительно совмещены — прямоугольник нарисован не в случайном месте, а именно в той части кадра, где оказалась голова человека.

Дополненную реальность следует отличать от виртуальной реальности (VR), мир которой целиком состоит из виртуальных объектов.

Комары, покемоны и бог

Корреспондент «Медузы» наводит камеру айпада на пол. Он видит на экране планшета первобытное племя. Если подойти ближе, можно разглядеть выражения лиц — человечки удивленно смотрят в камеру. Если отвести айпад на метр назад, на экране появятся пальмы, расставленные вокруг человечков. Над ними — облака, отбрасывающие тени на пол. Если поднять камеру наверх, где-то под потолком покажется солнце.

Это — «симулятор бога» ARrived от российской студии Luden.io, выросшей из компании Nival. В роли бога — игрок, он решает, что будет с его персонажами. Он может ударить молнией в дерево, чтобы появился костер и человечки согрелись. Может отодвинуть костер, если хочет взглянуть на их страдания. А может раздать им по кружке чая и посмотреть, как они пытаются его пить, соблюдая этикет.

ARrived — мобильная игра в дополненной реальности. Человечки и пальмы останутся привязанными к той точке пола, на которой они появились. Игрок может обойти их, чтобы разглядеть с другой стороны, отойти подальше или наоборот, прижаться к полу, подглядывая за персонажами из-за деревьев. Он может запустить игру на столе, на улице или в парке — тогда человечки будут играть в траве.

Первая массовая мобильная игра появилась почти 15 лет назад. В 2003 году Siemens выпустила телефон SX1 на платформе Symbian. Одна из трех установленных в ней игр — Mozzies — позволяла охотиться на комаров в реальном мире. На экран выводилось изображение с камеры, поверх которого были нарисованы комары и прицел: нужно было нацелиться на насекомых, словно парящих в комнате и расстрелять их.

Работало это довольно просто: игра оценивала, насколько влево-вправо и вверх-вниз сместилась картинка с камеры, и двигала комаров в ту же сторону, чтобы казалось, что они висят в определенной части комнаты.

AR-игры развивались вместе с телефонами. Игра Mosquitoes, выпущенная под iPhone 3GS, использовала встроенные в него сенсоры — акселерометр и цифровой компас (в предыдущих моделях айфонов компаса не было).

Самой популярной мобильной игрой, использовавшей элементы дополненной реальности, стала Pokemon Go — пик ее популярности пришелся на лето 2016 года. В ней игрок сначала ходит по реальным улицам, чтобы найти точки, где водятся виртуальные покемоны. А затем наводит камеру на дорогу (лестницу, машину, диван — как повезет), видит стоящего там покемона и ловит его.

Правда, по-настоящему дополненной реальностью в Pokemon Go можно считать только элемент с картой реального мира, по которой разбросаны виртуальные предметы. «Технически Pokemon Go не видела, где пол, — объяснил „Медузе“ главный гейм-дизайнер Luden.io Денис Поздняков. — Игра просто размещала где-то картинку покемона. Она не могла никак связать его с окружающей действительностью, не могла наложить красивую тень на пространство, и не могла увидеть, где находится сам игрок».

Вселенная в центре комнаты

Чтобы телефон (а следовательно, и приложения в нем) мог разобраться в окружающем мире, одной камеры недостаточно — нужны дополнительные сенсоры, которые позволят определять расстояние до объектов и понимать положение пользователя. Самый известный проект в этой сфере — Tango от Google.

В 2014 году корпорация представила телефон, который может строить 3D-карты помещений — и использовать их, в том числе, для проектов в дополненной реальности. Для этого в него встроили инфракрасный дальномер, камеру-фишай и другие сенсоры.

Проект Tango пока неинтересен широкой аудитории. Несмотря на то, что впечатляющие технологии встроены прямо в телефон, этот телефон еще нужно купить — а на рынке существует лишь несколько моделей, поддерживающих эту платформу. Из-за небольшого количества пользователей не стремятся туда и разработчики.

В июне 2017 года на конференции WWDC представители Apple рассказали про свой подход к AR в мобильных устройствах. Корпорация решила внести дополненную реальность в уже существующие айфоны и айпады, используя встроенные в них сенсоры — камеру, гироскоп и акселерометр. Это значит, что с выходом iOS 11 осенью 2017 года миллионы пользователей получат доступ к этой технологии.

Чтобы сделать это, Apple выпустила для разработчиков набор инструментов ARKit, который сильно упрощает начало работы с дополненной реальностью. В отличие от игры 2003 года Mozzies, которая двигала картинку в одной плоскости, ARKit определяет положение и движение пользователя в шести степенях свободы — вперед-назад, вверх-вниз, влево-вправо и повороты вокруг каждой из трех осей.

О том, как это работает, подробно рассказывал в своем блоге специалист по дополненной реальности Мэтт Майсникс. Если коротко, то айфон параллельно высчитывает положение пользователя с помощью камеры (визуальная система) и сочетания гироскопа и акселерометра (инерционная система). У каждой из этих систем есть свои минусы — например, камере сложно ориентироваться на равномерно белой стене, зато акселерометр поймет, что устройство движется в определенную сторону; при этом инерционная система постоянно накапливает ошибки в расчетах, — но сочетая показания от них, ARKit может с достаточной точностью определить, куда и как движется айфон.

Вторая ключевая составляющая ARKit — определение горизонтальных плоскостей в кадре, будь то пол, стол или дорога. Это нужно, чтобы виртуальные объекты не висели в воздухе, а могли «стоять» на твердой поверхности. «Если система поймет, что слева, справа и перед пользователем одна и та же плоскость, она объединит ее в одну большую, — рассказал „Медузе“ Сергей Пронин, технический директор компании App in the Air. — А еще она дает [приложению] точки, якоря: „Ты можешь поставить здесь объект, и я буду следить, чтобы он остался здесь“».

Приложение App in The Air позволяет пользователям записывать информацию о своих перелетах. В него после выхода ARKit встроили глобус, на котором отображаются перелеты пользователя. Как и человечки в ARrived (игра тоже использует ARKit), глобус в App in The Air привязан к полу и остается там, где он появился. Благодаря этому пользователь может ходить вокруг модели Земли, подходить поближе (тогда появится информация о городах) и даже ложиться на пол, чтобы взглянуть на Антарктиду.

С появлением ARKit порог входа в мир мобильных AR-приложений заметно снизился — для тех разработчиков, которые уже имели дело с 2D и 3D-графикой. В Сети уже можно встретить инструкции про создание игр с дополненной реальностью «за пару десятков строк» (у автора получилась трехмерная версия Mozzies).

Сергей Пронин рассказывает, что команда App in the Air на хакатоне в Сан-Хосе «буквально за 20 часов» создала прототип еще одного AR-приложения ARvis. Оно состоит из трех сцен. Сначала пользователь говорит, откуда, куда и когда он хотел бы полететь — и видит рейсы на глобусе. Выбрав нужный рейс, он увидит у себя на полу 3D-модели пассажирских кресел, которые установлены в том самолете, на котором ему предлагается полететь. Кресла изображены в натуральную величину, чтобы пользователь мог оценить, хватит ли ему места для ног в эконом-классе, или нужно брать бизнес.

На последнем этапе на полу появляется две модели чемоданов — небольшого (с теми размерами, которые допускаются на рейс бесплатно) и крупного, за дополнительную плату. Пользователь может поставить на пол свой настоящий чемодан и оценить, вписывается ли он в допустимые размеры. «Это взгляд на то, как покупка путешествий могла бы выглядеть в будущем. Когда можешь буквально „try before you buy“», — объясняет Пронин.

В дополненной реальности можно располагать не только отдельные объекты, вроде глобуса или первобытных человечков, но и полноценное игровое поле. Так сделала европейская студия Game Insight: она добавила AR-режим в свою игру Guns of Boom.

Guns of Boom — мобильный шутер от первого лица. Игроки бегают по карте и устраивают перестрелки. В AR-режиме зритель следит за всем происходящим со стороны; игровое поле проецируется у него на столе или полу целиком. Он может следить за отдельными игроками, «влетать» внутрь зданий и оценивать обстановку с высоты птичьего полета (относительно масштабов игры).

Этот режим должен изменить подход индустрии к мобильному киберспорту, считает директор по инновациям Game Insight Андрей Ивашенцев: любой желающий сможет вести трансляции с киберспортивных матчей, не завися от операторов и комментаторов. Просмотр игр в AR-режиме может подойти и в менее масштабных мероприятиях, рассказывает Ивашенцев: «Вы собираетесь с друзьями в баре, достаете телефоны и начинаете играть между собой. А один запускает AR, размещает сцену на столе и транслирует на все телевизоры в баре через Apple TV».

Студия iCandi Apps уместила в дополненной реальности еще больше пространства — Солнечную систему целиком. В ее приложении Night Sky появился AR-режим, в котором Солнце и окружающие его планеты появляются прямо в комнате. Отображение реального мира на фоне виртуальных планет в Night Sky можно отключить — и так становится даже лучше (космос слишком красив, чтобы смотреть на него на фоне неубранной кровати).

Но благодаря ARKit айфон или айпад даже при отключенном фоне продолжит понимать, как двигается пользователь — с какой стороны он смотрит на Марс и подходит ли ближе к Сатурну. В AR-режиме можно даже «влететь» в планету — тогда на экране появится звездное небо, каким бы оно выглядело с ее поверхности.

Сооснователь и технический директор iCandi Apps Дмитрий Фадеев рассказал «Медузе», что ARKit также дает разработчикам информацию о том, как падает свет: «Виртуальную сцену можно затенять или освещать так, чтобы она соответствовала [тому, как освещен] реальный мир».

Информацию об освещении передает разработчикам и ARCore — аналогичный AR-инструментарий для телефонов и планшетов на базе Android, который Google представила в конце августа. ARCore, в отличие от Tango, работает без дополнительных сенсоров. Корреспондент «Медузы» встретился с разработчиками через несколько дней после анонса Google, поэтому полноценно испытать ARCore они не успели.

Сергей Пронин из App in the Air поделился первыми впечатлениями: это «то же самое, что ARKit, только хуже». У инициативы есть одна серьезная (и традиционная) проблема — в мире слишком много разных моделей телефонов на Android, и с этим приходится считаться. Сейчас ARCore поддерживает только две модели, но Google планирует расширить этот ряд и обещает, что к релизу через несколько месяцев в мире будет 100 миллионов Android-устройств, поддерживающих дополненную реальность.

Мечты об AR-очках

Несмотря на то, что мобильные AR-игры существуют уже пятнадцатый год, они все еще находятся в начале пути (хотя появление ARKit и ARCore, очевидно, хорошо разгонит это направление). Разработчикам и дизайнерам приходится самостоятельно искать ответы на простые вопросы. Например, каким должен быть интерфейс приложения.

Надо ли рисовать кнопки у границ экрана, как в Night Sky? Или делать сами игровые объекты интерактивными, как в ARrived? Или оставить всего одну кнопку, которая запускает голосовой ввод (так работает поиск рейсов в ARvis)? Или вообще сделать положение айпада в пространстве главным элементом управления, как в режиме наблюдателя в Guns of Boom?

Сергей Пронин из App in the Air вспоминает, что виртуальный глобус проверяли «на гуманитариях»: давали им айпад с приложением и смотрели, что они будут делать. Так, например, разработчики поняли, что глобус должен реагировать на жесты: увеличиваться, когда пользователь разводит пальцы по экрану и вращаться, когда он смахивает влево или вправо. Причем изначально глобус мог вращаться и вверх-вниз, но затем эту возможность убрали — оказалось неудобно. Позже Apple выпустила документ с подсказками по проектированию интерфейсов в дополненной реальности; там тоже говорится, что объекты лучше вращать только вокруг одной оси.

То, что игра будет существовать в дополненной реальности, должны постоянно учитывать гейм-дизайнеры, рассказывает Денис Поздняков из Luden.io: шикарную картинку пользователь может поместить на фоне какого-нибудь ужаса (или наоборот: «визуальный ад» наложит на ребенка). К тому же, игрок сам решает, куда повернуть камеру — и насильно вернуть его взгляд, куда требуется, не получится, можно лишь подсказать и дождаться реакции.

Чтобы виртуальные объекты могли не только стоять на плоскостях, которые найдет ARKit, но и взаимодействовать с предметами окружающего мира, — например, спрятаться за настоящим стулом, — придется вложить много усилий в разработку. Поздняков говорит, что для этого придется привлекать Core ML — инструментарий, позволяющий работать с машинным обучением прямо на айфоне. Андрей Ивашенцев из Game Insight поясняет: «Ты берешь фотографию стула, и нейросеть, изучившая тысячи других стульев, говорит, что это стул».

Он ожидает, что такие технологии появятся в широком доступе в ближайшие 5-10 лет. Это будет эра смешанной реальности — термина, описывающего промежуточный этап между дополненной и виртуальной реальностью. В смешанной реальности виртуальные объекты не просто вписываются в интерьер, но и взаимодействуют с ним; они интегрированы в физическую реальность. Ивашенцев приводит такой пример: «Ты берешь телефон или другое устройство, сканируешь пространство — и твоя комната превращается в пещеру. [Программа обрисовывает] все поверхности, стулья превращает в сталактиты и сталагмиты, стол — в котел гоблинов, сверху свисают лианы, — и все это в реальном времени».

В начале сентября Microsoft объявила, что уже в октябре на рынке появится несколько очков смешанной реальности, построенных на базе Windows. Но пока это лишь маркетинговый ход — фактически это будут очки виртуальной реальности.

Но у Microsoft есть другая разработка, которая позволит со временем создать очки, работающие с по-настоящему смешанной реальностью. Речь о Hololens — очках с массой сенсоров, которые рисуют виртуальные объекты на полупрозрачном экране. Благодаря им на пустом столе можно увидеть модель автомобиля; машину можно рассматривать с разных сторон, а по жесту — менять характеристики (например, цвет). Skype под Hololens позволяет подвесить окошко с лицом собеседника посреди комнаты. После этого можно ходить из угла в угол и смотреть куда угодно — окно останется там же.

Главное преимущество Hololens — то, что это — очки, а не визуализация на экране телефона. Недостатков тоже много: небольшой угол обзора, громоздкость, высокая цена. Hololens выпускаются не для широкой аудитории, их основная аудитория — разработчики (для экспериментов) и корпорации (для того же, но в прикладном смысле). Например, очки предлагается использовать авиаинженерам, чтобы в деталях рассмотреть 3D-модель двигателя самолета.

Негромоздкими были другие знаменитые очки — Google Glass. Они походили на дужки от очков без линз (или с линзами, если хочется) с небольшим блоком над правым глазом. В нем прятались экранчик и камера. Google Glass стоили полторы тысячи долларов, купить их было непросто, но главное — это были не очки дополненной реальности. Изображение в экранчике никак не взаимодействовало с миром, на который смотрел пользователь. Это был просто вывод полезной информации, вроде часов и уведомлений, на экран — то, что называют HUD (Heads-Up-Display).

Специалист по AR Мэтт Майсникс уверен, что ARKit — первый шаг Apple в сторону собственных очков дополненной реальности. Но он сразу перечисляет восемь серьезных проблем, в основном технических, которые мешают выпустить такие очки прямо сейчас. По мнению Майсникса, выйдут такие очки только в 2021 году, и их будет ждать небывалый успех.

Сергей Пронин из App in the Air говорит, что не верит в слухи об очках Apple: «С помощью ARKit корпорация показала, что миллионы человек с телефонами на iOS уже сейчас могут попробовать дополненную реальность. Это не тот путь, как у Microsoft, когда тебе говорят: „Купи очки за тысячу долларов, которые сядут через несколько часов, и основную часть времени они тебе не нужны“. Ты не будешь с ними ходить по улице, потому что это большое, тяжелое устройство». Одной из причин провала Google Glass, которая может помешать успеху гипотетических очков Apple, Пронин считает необходимость надевать на себя аксессуар, который ты до этого не носил.

Гейм-дизайнер Luden.io Денис Поздняков очки от Apple ждет с нетерпением, но полагает, что появятся они только через 10 лет. Он согласен, что это будет «вещь не для всех» — Поздняков сравнивает AR в телефоне и в очках с автомобилями и мотоциклами соответственно: «Машина более распространенная. Но будет прослойка людей, которая будет ездить только с очками».

Аудитория пока не готова к появлению AR-очков, считает Андрей Ивашенцев, и появление ARKit на телефонах и планшетах подготовит как пользователей, так и разработчиков. Потребуется несколько лет на то, чтобы люди свыклись, что «волшебство», которым кажется сейчас дополненная реальность, стало восприниматься как стандартный сценарий взаимодействия с устройством. А уже после этого можно будет выпускать дорогой аксессуар.