Все примеряют маски в инстаграме. Всего за год сториз стали главной платформой для дополненной реальности «Медуза» сделала там настоящую игру

Последние несколько лет технологические компании изучают возможности дополненной реальности (AR) — механизма, при котором зрителю или пользователю кажется, будто виртуальные объекты находятся в физическом мире и взаимодействуют с ним. Одной из самых перспективных площадок для массового распространения AR в 2019 году оказался Instagram: с одной стороны, эта соцсеть предоставляет широкие возможности для встраивания масок (и даже небольших игр на их основе), с другой — растет быстрее и качественнее конкурентов. Директор по инновациям «Медузы» Султан Сулейманов рассказывает, в чем особенность AR-платформы Instagram — и как мы разработали свою игру для нее.

Дополненная реальность и где она обитает

Чтобы понять место Instagram в мире AR, нужно изучить все слои дополненной реальности.

Самый верхний слой — это специальные устройства, обычно очки, с полупрозрачными стеклами, через которые видно как реальный мир, так и виртуальные объекты. Наиболее известные представители этого класса — шлем Hololens от Microsoft, а также возрожденные очки Google Glass и Magic Leap One от таинственного стартапа Magic Leap. К ним в ближайшие годы намерены присоединиться Facebook (этого компания не скрывает) и Apple (а это только слухи).

У очков дополненной реальности два главных недостатка. Первый: их почти нет на широком рынке. Второй: они стоят и будут стоить ужасно дорого, так что на быстрое массовое распространение пока рассчитывать не приходится.

Решить обе проблемы пытается второй слой — дополненная реальность в телефонах и планшетах. После ошеломительного успеха отдельных AR-приложений, таких как Pokemon Go и MSQRD (последнее в 2016 году купил Facebook), создатели главных мобильных операционных систем — Apple и Google — представили специальные инструменты для разработчиков: ARKit и ARCore соответственно. Их появление позволило значительно снизить порог входа в мир дополненной реальности: эти инструменты берут на себя базовую работу по обнаружению поверхностей, на которые можно установить виртуальный объект, оценку освещенности и т. п.

Количество iOS- и Android-устройств, поддерживающих ARKit и ARCore, в 2018 году оценивалось в 1,05 миллиарда. Несмотря на это в топах App Store и Google Play можно найти не так много приложений, работающих исключительно в дополненной реальности. Поскольку встраивать отдельные AR-функции можно внутрь не AR-приложений. И это третий слой.

Что это могут быть за функции? В играх это, например, размещение игрового поля на столе — или на полу комнаты, в которой находится пользователь. В новостных приложениях, таких как Quartz или The New York Times, — демонстрация объектов и локаций, о которых идет речь в материале: модель космического аппарата «Кассини» или Луна на фотографиях Нила Армстронга. Наконец, в приложениях соцсетей — многочисленные маски, позволяющие разнообразить съемку фото и видео для сториз. Такие есть в снэпчате, фейсбуке, инстаграме, тиктоке, а в простеньком виде — даже во «ВКонтакте». (На всякий случай уточним: мы не знаем, используют ли приложения социальных сетей ARKit и ARCore — или работают на собственных разработках.)

Сейчас разработчик может и выпустить собственное приложение с элементами дополненной реальности, и опубликовать свою маску в соцсетях. Как пояснил «Медузе» Андрей Ивашенцев, директор по инновациям компании Yode Group, специализирующейся на разработках в сфере AR и виртуальной реальности, выбор во многом зависит от того, есть ли у разработчика своя аудитория. Дело в том, что распространять знания об AR-функции в отдельном приложении гораздо сложнее, чем в соцсетях: в случае с отдельным приложением пользователю обычно приходится записывать видео с экрана, а затем уже рассылать его друзьям или постить на свои страницы.

В соцсетях делиться AR-контентом куда легче, это «максимально приятно для пользователя — и полезно для создателя маски». Примерить маску тут чаще всего можно в один клик. Причем примерить в буквальном смысле: подавляющее большинство таких масок построены на «натягивании» каких-то объектов на лицо, от банальных заячьих ушек и очков Гарри Поттера до прозрачных щупалец.

Есть и еще один, четвертый слой дополненной реальности — в браузере. Современные мобильные браузеры умеют показывать 3D-модели специальных форматов в режиме дополненной реальности. Например, в поиске Google иногда попадаются модели животных, которых можно «разместить» в комнате и оценить их размеры. Но этот слой самый примитивный, поскольку он позволяет лишь осматривать виртуальные объекты, но не взаимодействовать с ними.

Красота три тысячи

Когда в августе 2016 года в инстаграме появились сториз, это была почти точная копия такой же функции в снэпчате. Почти — потому что в инстаграм-сториз не были встроены виртуальные маски и другие элементы дополненной реальности.

Первый шаг в этом направлении компания сделала почти через год, в апреле 2017-го, когда ежедневная аудитория одних только инстаграм-сториз уже превысила аудиторию всего Snapchat. Тогда инстаграм ввел AR-стикеры. Функция позволяет прикрепить эмодзи или один из предложенных стикеров к конкретному участку видео. Например, можно прикрепить к лицу ребенка эмодзи с кошкой, и если алгоритм сработает хорошо, эмодзи приклеится к лицу на все 15 секунд ролика.

AR-стикеры появились в инстаграме на год позже, чем у конкурента; единственное, что в тот момент было функционально разным в двух приложениях, — это маски для лица. В снэпчате уже несколько лет можно было включить селфи-камеру, выбрать фильтр, открыть рот и наблюдать, как из него вытекает радужный поток.

Уже в мае 2017-го маски появились и в инстаграме. Работало это довольно примитивно: камера в приложении находила лицо в кадре и привязывала виртуальные объекты к глазам (если это очки), верхней части лба (если это корона) или носу (если это заячий нос, идущий в комплекте с заячьими ушами на голове).

Маски от самого Instagram и спустя два с половиной года остаются довольно бесхитростными: сердечко на щеке, сердечки над головами, цветочек на голове, солнцезащитные очки, уши и носы животных, знак зодиака на лице со звездным фоном за человеком. Ситуация стала гораздо интереснее в октябре 2018 года, когда компания открыла доступ к платформе для сторонних разработчиков. Первые месяцы доступ давали только некоторым пользователям, отправившим заявки, но летом 2019-го загружать маски разрешили всем желающим.

На языке инстаграма тех, кто создает маски, называют не разработчиками, а творцами — creators. По-видимому, подчеркивается, что это больше творческая работа, а не инженерная: важнее придумать маску, а не написать для нее код.

Пожалуй, главной маской, созданной для инстаграма вне инстаграма, оказалась Beauty3000: она покрывает лицо человека блестящим пластиковым слоем.

Beauty3000 использовали в своих сториз звезды. Ее популярность, наряду с другими странными фильтрами, стала поводом для большого текста-манифеста The Verge, вышедшего в конце февраля 2019 года: «У масок в инстаграме глянцевое, металлическое и сюрреалистичное будущее». Автор статьи Эшли Карман отмечает, что новая волна масок не соответствует «кардашьянским стандартам красоты»: это не цифровой мейкап, который «улучшает» внешность человека, а нечто совсем экспериментальное, вроде хот-догов, вращающихся над головой.

«Идея пластмассовой, искусственной красоты в современном обществе особенно актуальна, — рассказывала Dazed автор Beauty3000, дизайнер из Берлина Йоханна Ясковска. — Когда я создавала Beauty3000, я думала только так: „Вы хотите пластик? Я дам вам настоящий пластик“». Автор Dazed Гунсели Яльцинская тоже отметила, что маски нового поколения превращают людей скорее в инопланетян, чем в милых собак — или в модель Кайли Дженнер. «Красота в соцсетях стала скучной», — говорила ей Ясковска.

Как это делается

Beauty3000 вдохновила других художников на эксперименты с масками в инстаграме. Многие из них (как и сама Ясковска) начинали с масок для сториз в фейсбуке: доступ «творцам» туда открыли раньше, чем в инстаграм. Instagram принадлежит Facebook, поэтому платформы для масок в сториз в них почти идентичны. Инструмент для создания масок тоже один и тот же — это программа Spark AR Studio (с небольшими различиями в функционале).

Поскольку аудитория Spark AR — это «творцы», а не разработчики, почти все в ней можно сделать без программирования. В первую очередь добавить в область перед камерой какие-то 2D- и 3D-объекты и привязать к ним подходящие «материалы». «Материалы» — это эффекты, которые можно добавить к модели: текстура, полупрозрачность, глянцевость и так далее. Например, можно взять прямоугольник и применить к нему «материал», который добавит текстуру с изображением монокля, сделает ее полупрозрачной и будет имитировать блеск при движении.

Следующий логичный шаг — связать объекты с лицом в кадре. Делается это в несколько кликов. В Spark AR предусмотрена специальная сущность, отвечающая за определение лиц и их частей. Благодаря этому можно запросто изобразить нечто вроде рэперской татуировки — «прилепить» какой-нибудь текст под глаза и на лоб.

Просто трехмерные объекты, висящие в воздухе, — это скучно. Нужно добавить простейшую логику. За это отвечает специальная секция в интерфейсе Spark AR, которая называется Patch Editor. Это, по сути, пространство для визуального программирования. Соединив, например, блок, который отвечает за поиск лица, с блоком, который определяет, открыт ли на этом лице рот, а все это — с блоком, который включает анимацию с переливающейся радугой, можно получить маску, напоминающую радужную рвоту из Snapchat.

Дальше — на что хватит фантазии.

• Можно находить не только лицо в кадре, но и горизонтальную плоскость, на которую устанавливается некий трехмерный объект, да еще и с анимацией и звуками.
• Можно менять цвета отдельных участков — и кадра в целом.
• Можно искажать лицо: для этого надо в сторонней программе для 3D-моделирования создать измененную версию лица — с большим носом или маленьким лбом.
• Можно вырезать человека из кадра и заменить фон за ним на что-то фантастическое.
• Можно научить маску реагировать на касания и свайпы по экрану.
• Наконец, можно совместить все, что упомянуто выше.

В итоге в инстаграме появляются страннейшие AR-инсталляции. Скажем, за вечер можно соорудить фильтр, который будет заставлять пельмени из кастрюли залетать в раскрытый рот.

Если приложить более существенные усилия, можно получить маску, в которой сам пользователь становится едой — точнее, куском мяса в вакуумной упаковке.

Автор этой маски — дизайнер и художник Кайо Вита, живущий в Роттердаме, — рассказал «Медузе», что о сторонних фильтрах для инстаграма как о культурном феномене он узнал благодаря маскам Йоханны Ясковской. До того, как начать работать с масками в инстаграме, он загружал фильтры в фейсбук (куда доступ сторонним авторам открыли раньше): «Но там они не очень хорошо сработали. Инстаграм в этом плане более дружелюбный. Тысячи звезд и инфлюенсеров пользуются им каждый день, благодаря этому все, что было опубликовано в инстаграме, распространяется быстрее, чем в сториз фейсбука».

Инстаграм-знаменитости не только пользуются чужими масками, но и создают свои. Например, фотограф и художница из России Елена Шейдлина, у которой больше четырех миллионов подписчиков, сделала две собственные маски. В одной можно примерить на голову маску инопланетянина, в другой — получить дополнительные глаза, носы, рты — а также щупальца, которые будут из этих дополнительных глаз, носов и ртов торчать.

Шейдлина рассказала «Медузе», что знакома с автором маски Beauty3000 Йоханной Ясковской — и именно благодаря ей занялась созданием сторонних масок для инстаграма. До лета 2019 года, когда доступ к разработке масок открыли для всех, художникам приходилось вставать в очередь и ждать одобрения от администраторов фейсбука (отдельное одобрение модераторов также требуется для публикации готовой маски). Шейдлина встречалась и созванивалась с представителями Facebook, который владеет Instagram — но несмотря на это ей пришлось ждать несколько месяцев: «Им казалось, что моя аудитория может сломать инстаграм, и у них еще не отлажена работа с большими аудиториями». В итоге ее все-таки допустили к созданию масок — и за один только август они набрали 36 миллионов показов.

Автор масок для инстаграма из России Михаил Двощанский пошел еще дальше — и начал создавать мини-игры. Самая популярная — Flying Face — очень сильно напоминает мобильную игру Flappy Bird: здесь тоже надо управлять птичкой, помогая ей пролететь между трубами. Только у птички ваше лицо, а управляется она с помощью моргания.

За первый месяц Flying Face получила миллиард просмотров (то есть столько людей суммарно увидели сториз, в которых используется такая маска), рассказал «Медузе» Двощанский. Использовали ее, по словам автора, 500 миллионов раз.

Как и Кайо Вита из Роттердама, Двощанский начинал с масок в фейсбуке. Там, отмечает он, больше возможностей, чем в инстаграме: например, есть отслеживание рук в кадре и динамически генерируемый 3D-текст; эти функции есть в Spark AR, но использовать их для инстаграм-масок нельзя. Кроме того, текст с подсчетом очков, который бывает нужен в мини-играх, в инстаграме не может быть статическим — его приходится привязывать к положению головы; в фейсбуке такого ограничения нет.

Сам Двощанский специализируется на масках в инстаграме — там на него подписаны 4,6 миллиона человек. Имеет смысл публиковать маски в фейсбуке только в том случае, если у вас там есть аудитория, считает он.

Вау! Игра «Медузы»

До того, как создание масок в инстаграме стало доступно всем желающим, подать заявку на участие в бета-версии могли только владельцы личных аккаунтов. В августе 2019 года это ограничение сняли, и мы в «Медузе» начали думать над собственной маской.

Самое логичное — это вплести в волосы пользователей змей, чтобы они были похожи на Медузу Горгону (именно к ней отсылает название нашего издания). Для этого пришлось нарисовать 3D-модели змей, анимировать их и точечно расставить над головой. К счастью, Spark AR позволяет добавить в проект примерную модель головы — и использовать ее, чтобы отсекать 3D-объекты по периметру. Благодаря этому можно добиться иллюзии, что змеи действительно растут из головы, а не висят в воздухе.

К несчастью, трехмерные змеи смотрелись совсем чужеродно, когда в кадр заходили люди с короткими волосами или вовсе без волос.

И тут мы увидели Flying Face Двощанского. До этого мы не задумывались всерьез о том, что внутри инстаграма тоже можно создавать игры — а ведь у «Медузы» целый отдел игр. Перебирая разные механики, мы остановились на пятнашках — древней головоломке, в которой надо двигать детали пазла по полю, пока не сложится исходное изображение.

С пятнашками наши разработчики уже сталкивались, оставалось ответить на несколько ключевых вопросов:

1. Какой пазл мы собираем?
2. Каким будет управление?
3. Что мы покажем, если игрок дойдет до конца?
4. В это вообще реально сыграть?

Ответ на первый вопрос был самым простым: надо взять изображение с камеры, порезать его на плиточки и перемешать. Правда, вместо поля 4×4 мы соорудили поле попроще — 3×3. Так что технически это не пятнашки, а восьмеряшки.

Ответ на второй вопрос тоже лежал на поверхности, но шли мы к нему несколько недель. Несмотря на то, что Spark AR предлагал использовать жесты смахиваний по экрану, в первом приближении нам не удалось их активировать — и мы собрали игру исключительно на нажатиях по экрану. В теории это работает: в каждый момент времени каждая плитка, соседствующая с пустым местом, может сдвинуться только в одну сторону, поэтому достаточно зафиксировать, что на нее нажали, чтобы сделать ход. На практике, разумеется, выяснилось, что этот принцип никому не понятен — и нам пришлось разобраться, как заставить маску реагировать на жесты. Поэтому в итоговой версии плиточки (слава богу) можно смахивать в нужную сторону.

Обновлено: вот и нет! По какой-то причине жесты смахиваний в маске вновь не работают. Нажимайте на плиточку, которую хотите сдвинуть.

Что показывать в конце, мы тоже придумали — но обойдемся без спойлеров. Просто зайдите с телефона в инстаграм «Медузы», перейдите во вкладку со смайликом, выберите маску и нажмите «Попробовать» (либо просто откройте эту ссылку). Если вам понравится процесс или результат, запишите видео или сфотографируйте себя в маске: ваши подписчики увидят это в сториз и смогут тут же сыграть в игру.

Что дальше?

Выше сказано, что в Spark AR есть визуальное программирование через Patch Editor. Мы использовали его для некоторых элементов, но для основной логики применяли классическое программирование: Spark AR поддерживает скрипты, написанные на Javascript. Теоретически, даже сложные вещи можно делать через Patch Editor, но в какой-то момент поле с командами начинает становиться слишком громоздким и запутанным.

Кайо Вита согласен: по его словам, Spark AR создавали с расчетом на дизайнеров и художников, чтобы те могли создавать маски, не обладая познаниями в программировании. «Знание теории дизайна, программ для работы с 3D и Javascript сделает ваш путь проще, — отмечает он. — Но я считаю, что самое важное умение — это быть любопытным и дерзать пробовать новое».

Мы не рассказывали Кайо, что работаем над своей маской, вдохновившись чужой работой — но он в ходе интервью заочно поддержал нас: «Я бы сказал, что никто из тех, кто сейчас создает фильтры, не делает это в одиночку. Каждый фильтр может содержать решение, патчи или код, которые придумали „творцы“ из сообщества Spark AR. В фейсбук-группе много разработчиков, художников и энтузиастов, которые делятся знаниями и двигают платформу вперед. Это коллективная разработка возможностей масок и AR в соцсетях».

В группе Spark AR Community, о которой говорит Вита, состоит почти 40 тысяч пользователей: они советуются по поводу создания фильтров, делятся инструкциями и хвалятся своими масками. Facebook отказался раскрывать «Медузе» число «творцов» и созданных ими масок, но счет наверняка идет на тысячи. В инстаграме уже даже есть специальные аккаунты — агрегаторы масок. Автор одного из них Анастасия Чичкова утверждает, что отрецензировала в сториз больше 10 тысяч масок.

Инстаграм не оплачивает создание масок, но первопроходцам — тем, кто присоединился к закрытому бета-тестированию в первые месяцы, — достались сотни тысяч подписчиков. Дело в том, что поначалу, чтобы получить доступ к маскам конкретного автора, нужно было подписаться на его аккаунт. У Томаса Поссе, чьими масками вдохновлялся Двощанский и о котором рассказывал The Verge, в декабре 2018 года была тысяча подписчиков, сейчас — 1,2 миллиона.

Однако в середине 2019-го необходимость подписываться на авторов масок пропала — теперь фильтры можно пробовать там, где ты их увидел: в профиле автора или в сториз друзей. А сама подписка просто добавляет все фильтры этого пользователя в ряд кнопок, которые пользователь видит на экране создания новых сториз.

В фейсбук-сообществе создателей масок появлялись посты тех, кто недоволен этими изменениями — но Двощанский проблемы в этом не видит: «Раньше люди подписывались чисто из-за масок, теперь же маски становятся приятным бонусом и люди подписываются в основном из-за личности, что стоит за аккаунтом». Сам он извлекает пользу из создания масок по-другому: в середине октября он рассказал изданию Rusbase, что за последние два месяца создал четыре маски и продал рекламу в аккаунте, суммарно заработав 500 тысяч рублей.

Бизнесом на масках занимаются не только энтузиасты, но и целые компании. В июне 2019 года свою нехитрую маску выпустил «Теремок»: она превращала лицо пользователя в блин. В конце августа компания отчиталась, что маску в сториз увидел миллион пользователей, а поделились фото или видео с ней три тысячи человек.

Маску «Теремка» сделала петербургская компания Junk Reality. В августе ее представитель прислал в «Медузу» письмо с предложением создать маску для издания — и отметил, что компания уже разработала маску «Бабочки» для певицы Елены Темниковой, а также маски для модели Виктории Лопыревой и «Додо Пиццы». Компания не ответила на просьбу об интервью, но в том же письме были указаны расценки: 350 тысяч рублей за простые маски, 700 тысяч — за примитивную игру, в которой пользователь должен ловить буквы, а за это его награждают превращением в героя русских сказок — с русыми волосами, в рубахе и шапке-ушанке.

Поправка: после выхода материала с «Медузой» связался представитель компании Instafilter, партнера Junk Reality. Он заявил, что маски для «Додо Пиццы» и Темниковой — их работа.

Конкуренция среди создателей AR-масок растет, и в процессе этой конкуренции произойдут две вещи — серьезный демпинг и плавное падение планки качества, предупреждает Андрей Ивашенцев, заместитель гендиректора компании Yode Group, специализирующейся на разработках в сфере AR и виртуальной реальности. «Вполне вероятно, что через какое-то время наступит насыщение рынка. Возможно, при этом для многих брендов будет хорошим тоном иметь фирменную маску», — предсказывает он, отмечая, что маски становятся интереснее, если они привязаны к информационному поводу — или в них предусмотрена геймификация. К 3 сентября его компания выпустила маску с лицом Михаила Шуфутинского — и за один день сториз с ней увидели больше миллиона человек.

Маски, так или иначе меняющие лицо человека, не демонстрируют максимум возможностей дополненной реальности в соцсетях, уверен Ивашенцев. При этом дальнейшее развитие, считает он, произойдет, когда аудитория «привыкнет к обыденности AR-масок — так же, как привыкла к сенсорным экранам» телефонов: «Просто представьте, что сейчас растет поколение детей, для которых наличие маски с ушками котика в камере — обыденность, то есть она была с ними всю их жизнь».

Ивашенцев отмечает, что социальные сети — очень хороший кроссплатформенный канал дистрибуции AR-контента и AR-игр: неважно, айфон у пользователя или андроид — главное, чтобы у него было приложение фейсбука или инстаграма.

«Инстаграм сделал AR доступным, потому что пользователям, чтобы его попробовать, не нужно скачивать новое приложение или знать что-либо о дополненной реальности», — добавляет Кайо Вита. Он тоже не считает, что применение технологии остановится на масках для лица: «Я верю, что AR-проект более успешен, когда он добавляет реальному миру дополнительный уровень информации и функциональности. Что-то, что было бы невозможно без этой технологии». Например, это может быть дополнение к информации на этикетке — то, что не получилось уместить на упаковке. «Возможностей очень много», — заключает Вита.

Если вы еще не попробовали игру-маску «Медузы», напоминаем: для этого достаточно открыть наш профиль в приложении инстаграма или перейти по этой ссылке с телефона и нажать кнопку «Открыть в Instagram». Если вы будете выкладывать сториз с маской, тегните в ней наш аккаунт @meduzapro — нам будет приятно.