Что такое дополненная реальность?

Но перед тем, как перейти к особенностям AR Kit, пару слов о том, что же вообще такое эта дополненная реальность и почему она вдруг стала интересна. Под дополненной реальностью (augmented reality или просто AR) обычно понимают возможность дополнить окружающий физический мир виртуальными цифровыми объектами. Например, вывести на линзы очков Google Glass (покойтесь с миром) виртуальную карту Google Maps как в видеоигре. Показать на экране виртуальную траекторию полета шайбы во время хоккейного матча. То есть, в отличие от виртуальной реальности, в которой абсолютно все виртуально, в дополненной реальности виртуальные объекты проецируются на реальное окружение.

Устройство вывода в данном случае не так уж важно ― это может быть система истребителей, виртуальный покемон в Pokemon Go (помните такую?) или упоминавшиеся выше цифровые очки Google Glass. Впрочем, шлемов и очков у нас нет, а вот смартфоны есть у каждого. Причем, довольно мощные. Поэтому Apple и Google двигаются именно в направлении «AR в мобильном гаджете». Теперь с помощью смартфона вы можете посмотреть, как в интерьер комнаты впишется новый диван или как на ноге будут смотреться новые кроссовки. Вариантов использования — тьма тьмущая.

Почему все снова заговорили об AR?

Почему все снова заговорили о дополненной реальности ― это отличный вопрос. Дело в том, что на технологии AR нет устойчивого спроса, рынок только формируется, все видят перспективу, но мало кто понимает, как на этом заработать. Поэтому из лагерей Apple и Google периодически прилетают схожие сигналы в духе «успешной технологии не обязательно становиться хайповой, достаточно быть просто полезной». Дескать технологические гиганты всегда верили в ее огромный потенциал и были уверены, что она может стать действительно полезной штукой в повседневной жизни.

Чем больше людей покупают современные смартфоны, тем быстрее растет потребление AR-приложений. В аналитическом агентстве Gartner были уверены, что к началу 2021 года с помощью AR будут делать покупки 100 миллионов человек. К моменту написания статьи на носу висит новый год и уже очевидно, что аналитики немного просчитались. Тем не менее, перспективы у AR все равно отличные.

Смартфоны с мощным процессором

Что нового в Apple AR Kit 4.0?

Apple постоянно обновляет свой SDK для разработки приложений дополненной реальности и на презентации осенью 2020 года нам показали его четвертую версию. В Apple утверждают, что AR Kit являет собой новый взгляд на технологию дополненной реальности. С помощью сканера-лидара, которым оснащены многие модели iPhone и iPad 2020 года, AR Kit умеет распознавать габариты окружающего пространства и учитывать условия освещения, чтобы достоверно интегрировать виртуальные объекты в окружающую обстановку.

Главной фичей четвертого поколения AR Kit стал набор инструментов Depth API, который использует возможности лидар-сканера для попиксельного сбора информации об окружающей среде. Это позволяет более точно вписать виртуальные объекты в окружающую обстановку. Наглядный пример: вместе с функцией привязки к местности по широте, долготе и высоте, разработчики AR-приложений смогут добавлять в городской ландшафт реалистичные виртуальные объекты. Например расставить вдоль улицы виртуальные арт-объекты или раскидать по городу виртуальные подсказки для квеста.

С помощью функции Ray Casting и лидара, AR Kit 4.0 может точнее определять расстояние между реальными и виртуальными объектами, размещая виртуальные объекты впереди или позади реальных людей. Для этого специально-натренированная нейросеть будет сопоставлять данные глубины, полученные с лидара и информацию о цвете и освещении, взятые с широкоугольной камеры.

Среди других нововведений помельче отметим улучшенную функцию отслеживания лиц на фото и видео, функцию привязки к местности, которая использует данные из Apple Maps и усовершенствованную систему захвата движения. Apple хочет научить iOS воспринимать человеческое тело, которое попадает в объектив, как сложный физический объект, состоящий из суставов и костей, а также использовать движение и позы в качестве исходных данных для AR. Плюс ко всему теперь любой объект, поверхность и персонаж в кадре могут отображать видео текстуры.

Смартфоны Apple

В чем отличия AR от Apple и Google?

Обе компании стабильно говорят о развитии AR на своих конференциях и эти разговоры стали особенно громкими в последние два года. По сути и AR Kit от Apple и AR Core от Google — это нативные средства разработки AR-приложений для мобильных гаджетов, которые решают фундаментальные задачи вроде отслеживания движения смартфона в пространстве, считывания геолокации, определения размера окружающих объектов и сопоставление их с объектами виртуальными. В отличие от AR Kit, AR Core полагается исключительно на основную камеру, встроенные датчики движения устройства и опыт разработчиков измерять глубину пространства без необходимости дополнительных сканеров.

И это палка о двух концах. С одной стороны связка из камеры и лидара позволяет получать гораздо больше данных об окружении и точнее их интерпретировать. Однако для подобной работы вам понадобится iPhone 12 Pro или iPad Pro 2020, в которых эти самые лидары имеются. В свою очередь у разработчиков AR-приложений на Android развязаны руки в выборе нужных инструментов и большинство современных Android-смартфонов так или иначе совместимы с ARCore.

С точки зрения простого пользователя сравнивать их в лоб и пытаться решить, что лучше, не совсем правильно. В обоих случаях есть компромиссы и назвать кого-то «победителем» сложно. AR Kit лучше распознает плоскости и отражения, точнее определяет расстояние от устройства до поверхности и улучшает окклюзию объектов и людей. AR Core грамотнее интерпретирует простые поверхности с малым количеством текстур, теснее вплетен в экосистему Android и в целом делает опыт взаимодействия с дополненной реальностью проще. А вот с точки зрения разработчиков отличий масса, но это тема для отдельного разговора.

Практическое применение


Как мы уже говорили, примеров использования AR вагон и маленькая тележка. Google позволяет использовать AR-навигацию в Google Maps, YouTube с помощью инструмента Beauty Try-On позволяет зрителям примерить на себя виртуальный макияж из роликов бьюти-блогеров, а приложения от IKEA и Faradise могут показать, как в интерьер комнаты впишется понравившаяся мебель, которую вы видели в магазине. И это только самые свежие примеры. Поэтому пробежимся по наиболее интересным вариантам.

Линзы и маски

Когда-то компания Snapchat придумала использовать специальные линзы, умеющие преображать пользователей в животных или супер-героев, менять местами лица людей и все в таком духе. Затем знамя подхватил Instagram и остальные крупные соцсети, линзы назвали масками и они стали неотъемлемой частью общения в соцсетях, что мы уже и не особо задумываемся о том, что это, в общем-то, тоже дополненная реальность.

Игры

Самым банальным и понятным примером является игра Pokemon Go (https://www.youtube.com/watch?v=W0W00MaCDBY), которая пару лет назад буквально свела мир с ума. Виртуальных покемонов ловили все и везде, количество загрузок било все рекорды, а разработчики из Niantic буквально озолотились на ней. Похожий на менее хайповый пример ― приложение для фитнеса Zombies, Run (https://www.youtube.com/watch?v=xlRgBvYFxTo), которое успешно маскировалось под игру, заставляя пользователя убегать в реальном мире от виртуальных зомби.

AR переводчик

Простенькая, но крайне полезная функция переводчика Google, позволяющая навести камеру на вывеску или указательный знак на незнакомом языке и увидеть на экране ее же, но переведенную на родной язык. Полезная штука для путешественников.


Виртуальные музеи

В сеульском TRICKEYE Museum в роли виртуальных экспонатов используются видео и анимации с историческими персонажами. А в одном из музеев Лондона в 2019 году организовали выставку (https://vimeo.com/260604698) украденных полотен Рембрандта, которые до сих пор не нашли. Вместо них висят пустые рамки. Скачиваем приложение по ссылке, полученной на входе, запускаем, наводим камеру на пустую рамку и любуемся появившейся на экране картиной.

Шоппинг

Это пожалуй, одна из самых перспективных областей применения, которая в перспективе может решить кучу недостатков интернет-шоппинга. Хотите узнать, как понравившиеся кроссовки будут сочетаться с джинсами и курткой? Легко! Нужно понять, подойдет ли размер платья? Да без проблем. А может хотите проверить, как будет смотреться понравившаяся татуировка? И это можно. Правда, пока что подобные приложения выпускают в основном крупные бренды калибра Nike, Ray Ban и IKEA, которые рекламируют в первую очередь свои продукты, а виртуальный шоппинг ограничивается одеждой и мебелью. Но в будущем с появлением массовых штук приложений вроде Amikasa или условного Amazon AR пощупать виртуальные вещи перед покупкой будет гораздо проще и удобнее.

Обучение

Опять же, вариантов использования AR в обучении сотни. От изучения анатомии виртуальных лягушек (https://www.youtube.com/watch?v=MhI49AefyJY) до возможности изучить звездную карту (https://www.youtube.com/watch?v=-x5PZ8rax5c&feature=emb_title) или покрутить на рабочем столе виртуальные исторические артефакты (https://www.youtube.com/watch?v=YkOrx5xcgss&feature=emb_title) вроде саркофага египетского фараона или статуи Будды.

3D-моделирование

Одним из самых свежих и интересных примеров в области трехмерного моделирования является обновление приложение Complete Anatomy (https://apps.apple.com/ru/app/complete-anatomy-platform-2020/id1054948424), которое в полной мере использует возможности лидара в технике Apple. С помощью дополненной реальности оно позволяет во всех подробностях изучать анатомию человека, анализируя движения мышц с суставами или исследовать устройство нервной и кровеносной системы.

И это список можно продолжать бесконечно, начиная с приложений для оцифровки местности для картографии и заканчивая функциями обнаружения для слепых и слабовидящих людей.

Вывод

В общем, если не ждать от AR каких-то чудес и не доверять маркетинговым прогнозам в духе «дополненная реальность к N году будет в каждом доме, потому что это круто», то сей инструмент может быть весьма полезен. Особенно, если дело касается шоппинга или учебы. Если надумаете протестировать, то обязательно нагуглите и попробуйте хотя бы одно приложение из списка ниже. Эти штуки могут привить любовь к дополненной реальности. Большинство из них мультиплатформенные, но есть парочка iOS-эксклюзивов.

1. Ink Hunter
2. Knightfall: AR
3. Genesis Augmented Reality
4. Holo
5. Wanna kicks
6. Google Lens
7. Acute Art
8. Star Walk 2
9. Amikasa
10. Big Bang AR