Новый телефон от Google понимает взмахи руками и видит приближение хозяина. Этому его научил русский инженер Иван Пупырев

15 октября компания Google провела презентацию своих новых продуктов, центральное место в которой занял новый телефон Pixel 4 — первая модель на рынке, которая понимает взмахи рук перед экраном, а также быстро распознает лицо владельца под любым углом. За эти инновации отвечает технический руководитель одного из подразделений Google Иван Пупырев — выпускник московского вуза, ученый и инженер, который успел поработать в Sony и Disney, предвосхитить эпоху айфонов, а в Google — стать одним из самых значимых визионеров компании. «Медуза» рассказывает историю Пупырева и его удивительных проектов.

Google пять лет разрабатывал новый функционал для телефонов

В списке новинок в Pixel 4 — новая мощная камера с восьмикратным зумом и диктофон, который превращает речь в текст в режиме реального времени. Однако в ходе презентации телефона компания сделала упор на другую, принципиально новую для рынка технологию под названием Motion Sense. Это встроенный в верхнюю часть телефона мини-радар, который распознает человеческие жесты и взмахи руками без прикосновения к экрану. Он, в частности, позволяет переключать музыкальные треки, отключать будильник или приглушать звонки жестами руки.

Motion Sense отвечает и за мгновенную активацию распознавания лица, отслеживая появление владельца телефона поблизости. Благодаря этому Pixel 4 сразу узнает хозяина — так что тому вообще не придется иметь дела с экраном блокировки, утверждает Google, называя распознавание лица Pixel 4 самым быстрым на рынке (причем лицо может находиться под любым углом к экрану). Компания обещает, что разнообразие распознаваемых жестов и функций будет постоянно расти.

Группа передовых технологий и проектов (Advanced Technology and Projects team, ATAP), которая входит в Google на правах полуавтономного подразделения, работала над созданием радара пять лет. Проект, получивший название Soli, придумал и возглавил выпускник Московского авиационного института, ученый и инженер Иван Пупырев, который с 1994 года работает на Западе.

В проморолике Google о новом телефоне Пупырев объясняет смысл своей технологии: «Сделать так, чтобы языковое взаимодействие с технологиями стало ближе к нашему обычному поведению».

В разговоре с технологическим изданием The Verge по итогам презентации телефона исследователь признал, что закладывал в Soli более серьезный функционал, нежели тот, что в итоге вышел на рынок. Компании пришлось пожертвовать «словарным запасом» жестов, чтобы добиться безотказности общения. «Например, что такое свайп? — рассуждает инженер. — Мы потратили недели, пытаясь понять, что это такое. Существуют десятки и десятки способов, которыми люди свайпают». Однако на замечание издания, что Motion Sense пока может показаться скорее маркетинговым трюком, чем прорывной идеей, Пупырев возражает, что суть любой успешной технологии — это упрощение и устранение «мелких трений» в повседневной реальности. Именно это и делает Soli, утверждает он.

После выпуска из МАИ Пупырев занимался исследованиями для Минобороны США, Disney и Sony

Весной 1994 года профессор японского Университета Хиросимы Тадао Ичикава получил письмо от Пупырева — на тот момент 26-летнего выпускника МАИ, писал РБК в 2017 году. Инженер сообщил профессору, что прочитал его статью о технологиях виртуальной реальности и хотел бы учиться у него. Пупырев получил от университета стипендию и уехал получать в нем докторскую степень. «Начало 1990-х годов для молодых людей — времена высокого риска, — объяснял Пупырев свой отъезд в интервью РБК. — Была растерянность: что делать дальше? Потому что все планы, которые ты делал, они пошли… в другом направлении».

Японский университет он скоро сменил на лабораторию HITLab при Университете Вашингтона в Сиэтле, которая на деньги американского Минобороны изучала, как технологии дополненной реальности можно использовать в полевой медицине. У Пупырева был опыт в этой сфере: в Москве он работал в Институте сердечно-сосудистой хирургии имени Бакулева, разрабатывая математические основы прогнозирования состояния больного во время операций на открытом сердце.

Еще через три года, не разрывая связей с HITLab, он вернулся в Японию дописывать диссертацию. Его коллега по лаборатории Хироказу Като вспоминал, что россиянин запомнился ему как один из самых талантливых интерактивных дизайнеров. «Еще он умел очень много пить, но, должно быть, для русского это обычная история», — отмечал японец.

Потом Пупырев решил, по его выражению, «завязать» с виртуальной реальностью: «Показалось, что это было слишком рано: графика слабая, нет мощных компьютеров, смартфонов тогда не существовало».

В начале 2000-х ученый перешел в Sony, где впервые начал создавать коммерческие продукты. Он решил разработать аналог кнопок на тачскрине — интерфейс давал ощущение клика при нажатии на дисплей. Sony выпустила такие пульты управления для телевизоров и домашней электроники на американский рынок в 2002 году. А в 2004 году вместе с коллегами он представил проект Gummi — маленький дисплей, на котором для перемещения объектов можно водить пальцем по оборотной стороне устройства. Он на рынок так и не вышел.

«Тактильные экраны, которые мы придумали в начале 2000-х годов, вышли на рынок в продукте с тачскринами, — вспоминал Пупырев о своей работе в Sony в интервью изданию vc.ru. — А потом пришел iPhone и всех убил. Потом мы сделали систему контент-дизайна для обычных телефонов с кнопками. Тоже iPhone все убил. Потом мы сделали для PSP версию Vita — там тачскрин был сделан сзади. Это тоже была наша разработка в 2000-х годах, бурный был проект. Тоже пришел iPhone и все убил. То есть iPhone все убил к чертовой матери». Сам ученый предвидел успех тактильных экранов — но «в те времена особо никто не верил в тачскрины», сетовал он в том же интервью.

В результате Sony начала терять деньги и закрывать проекты, поэтому в 2009 году ученый снова вернулся в США, но уже в компанию Disney, которая открыла исследовательскую лабораторию. Там он создал предтечу радара для Google — технологию Touché. Она позволяет распознавать прикосновение человека к предмету и даже к воде. Disney интегрировал ее в аттракционы. Например, в Диснейленде в Шанхае есть «цифровые растения», отвечающие звуком на прикосновение. Другим масштабным проектом стала технология Surround Haptics — она позволяет симулировать тактильные ощущения и чувство ускорения благодаря сенсорам на креслах и одежде. На основе этой технологии в 2017 году Disney открыл в своем парке во Флориде аттракцион, посвященный фильму «Аватар», — виртуальный полет на спине дракона.

Google переманил Пупырева обещанием сделать его частью «банды пиратов»

В 2014 году глава ATAP Регина Дуган позвала ученого работать в своем подразделении, пообещав ему свободу действий — хотя и с учетом требования раз в несколько лет создавать коммерческие продукты. Она описывала ATAP как «небольшую банду пиратов на очень быстрой лодке» (тогда лаборатория еще входила в состав компании Motorola, уже поглощенной Google). Пупырев стал руководителем двух проектов ATAP, включая Soli. А в 2015 году Google уже начал рассказывать о технологии в промороликах.

В 2016 году ученый представил «умные» часы LG с этим чипом. Часы понимали жесты переключения между сообщениями и доступа к нужному сообщению в списке.

В том же году Google представил другой его нишевый продукт — высокотехнологичную куртку Jackard, выпущенную совместно с Leviʼs. Микросенсоры движения в манжетах сделали ткань интерактивной — она реагирует на жесты и прикосновения, подключается к телефону через Bluetooth и позволяет ответить на звонок, проверить сообщения, управлять плеером и тому подобное. Куртка стоила 350 долларов и большого успеха не имела. В сентябре 2019 года компания представила вторую версию — цена снизилась до 248 долларов, а сама куртка стала еще умнее — у нее можно, например, выяснить, далеко ли ваше такси Uber.

Пупырев, уже в статусе технического руководителя ATAP, продолжает время от времени приезжать в Россию — он читает лекции и дает интервью. В одном из них он рассказывал, что главный урок, который он вынес из работы на Google: «нарисовать идею» недостаточно. «Когда ты изобретаешь что-то, нужно просто доказать, что твоя идея работает, а для производства продукта нужно продемонстрировать, что он работает всегда. Это было для меня большим откровением — звучит очевидно, но многие этого не понимают», — объяснил он.

Google тем временем уже планирует новые проекты с участием Soli. В январе 2019 года компания добилась от Федеральной комиссии по связи разрешения на увеличение мощности радара в потребительских продуктах. В разрешении говорится, что это позволит пользователям с нарушениями речи или подвижности бесконтактно управлять устройствами. Также Google обещает, что датчик позволит пользователям нажимать на «невидимую кнопку» между указательным и большим пальцами. Кроме того, сигнал радара сможет проникать сквозь ткань, позволяя управлять устройствами в кармане или рюкзаке. Технология «будет служить общественным интересам, обеспечивая инновационные функции управления устройствами», согласилась комиссия, выдавая разрешение.