Реальные эксперименты выявили основные препятствия для использования дополненной реальности на базе смартфона в помещениях

Дополненная реальность на основе смартфона, в которой визуальные элементы накладываются на изображение с камеры смартфона, является чрезвычайно популярным приложением. Эти приложения позволяют пользователям увидеть, как будет выглядеть мебель в их доме, или лучше ориентироваться на карте, или играть в интерактивные игры. Глобальный феномен Pokémon GO, который побуждает игроков ловить цифровых существ с помощью своего телефона, является хорошо известным примером.

Однако если вы хотите использовать приложения дополненной реальности внутри здания, приготовьтесь снизить свои ожидания. Технологии, доступные сейчас для реализации дополненной реальности, испытывают трудности, когда не могут получить доступ к четкому сигналу GPS. Но после серии обширных и тщательных экспериментов со смартфонами и пользователями исследователи из Университета Осаки подробно определили причины этих проблем и нашли потенциальное решение. Работа была представлена ​​на 30-й ежегодной международной конференции по мобильным вычислениям и сетям.

«Чтобы дополнить реальность, смартфону нужно знать две вещи, — говорит Шунпей Ямагучи, ведущий автор исследования. — А именно, где он находится, что называется локализацией, и как он движется, что называется отслеживанием».

Для этого смартфон использует две основные системы: визуальные датчики (камеру и LiDAR) для поиска ориентиров, таких как QR-коды или AprilTags в окружающей среде, и инерциальный измерительный блок (IMU) — небольшой датчик внутри телефона, который измеряет движение. Чтобы точно понять, как работают эти системы, исследовательская группа организовала практические занятия , например виртуальный класс в пустом лекционном зале, и попросила участников расставить виртуальные столы и стулья оптимальным образом.

Примеры сбоев AR: (a) В течение нескольких кадров виртуальные объекты дрейфуют в виртуальном мире из-за сбоя отслеживания. (b, c) Виртуальные объекты (столы и стулья) смещаются глобально из-за сбоя локализации. На (b) стол смещен относительно ленты, а на (c) выделенный стул смещен относительно стола. Кредит: 2024 Ямагучи и др., Опыт: Практические проблемы для приложений AR в помещениях, ACM MobiCom '24
В целом было проведено 113 часов экспериментов и тематических исследований по 316 образцам в реальной среде. Цель состояла в том, чтобы изолировать и изучить режимы отказов AR путем отключения некоторых датчиков и изменения среды и освещения.

«Мы обнаружили, что виртуальные элементы имеют тенденцию «дрейфовать» в сцене, что может привести к укачиванию и снижению чувства реальности», — объясняет Сюнсукэ Саруватари, старший автор исследования.

Результаты исследования показывают, что визуальные ориентиры может быть трудно обнаружить издалека, под большими углами или в темных помещениях; что LiDAR не всегда работает хорошо; и что у IMU есть ошибки на высоких и низких скоростях, которые со временем накапливаются.

Для решения этих проблем группа рекомендует использовать локализацию на основе радиочастот , например, сверхширокополосное (UWB) зондирование, в качестве потенциального решения.

Сквозной эксперимент: (a) Задача — обустроить новый класс в пустой комнате. Виртуальные столы и стулья (красные пунктирные прямоугольники) размещаются с помощью AR с помощью iPhone. Пространство визуализируется с разных углов, чтобы обеспечить пожарную безопасность, доступность и видимость передней части для всех учеников. (b) Ответы 17 испытуемых, которые расставили виртуальную мебель в светлых и темных комнатах. Каждая красная линия и квадрат показывают средний и межквартильный диапазон оценок. Они чувствовали меньшее выполнение задания, испытывали больше дрейфа и больше укачивания в темной комнате. Кредит: 2024 Yamaguchi et al., Experience: Practical Challenges for Indoor AR Applications, ACM MobiCom '24
UWB работает аналогично WiFi или Bluetooth, и его наиболее известные приложения — Apple AirTag и Galaxy SmartTag+. Радиочастотная локализация меньше зависит от освещения, расстояния или прямой видимости, что позволяет избежать трудностей с QR-кодами на основе зрения или ориентирами AprilTag.

Исследователи полагают, что в будущем UWB или альтернативные методы обнаружения, такие как ультразвук, WiFi, BLE или RFID, обладают потенциалом для интеграции с технологиями на основе зрения, что приведет к значительному улучшению приложений дополненной реальности.