Какие библиотеки AR были бы полезны для разработки приложения iOS для отображения информации об определенных объектах?

Question

Я начинаю проект AR для клиента, который включает использование AR для отображения информации об определенных объектах. В этом проекте, например, пользователь будет указывать камеру на автомобиль. В зависимости от того, на какой части автомобиля пользователь смотрит (фары, ветровое стекло), появится кнопка. Когда пользователь нажимает эту кнопку, на экране появляется информационное окно, предоставляющее пользователю дополнительную информацию об этой определенной части автомобиля.

Клиент не хочет размещать на автомобиле физические маркеры (QR-код/​​рисунки), поэтому детали автомобиля должны быть обнаружены другим способом.

Я разработал AR-приложения раньше, но на основе местоположения пользователя и сгенерированных маркеров в небе. Я считаю, что эта система не будет полностью релевантна для запроса клиента.

Может кто-нибудь сможет указать мне в правильном направлении (iOS-библиотеку) для такого рода проектов и будет ли это полностью осуществимо.

Спасибо за ввод, Энди.

Answer 1

Кажется, вы направляетесь в интересную тему. Тем не менее, моя забота заключается в точности того, что вы пытаетесь сделать. AR, основанная на местоположении, станет отправной точкой для вашей исследовательской работы. Тем не менее, степень детализации будет меньше для вашей проблемной области. Поскольку вы работали над AR-приложением на основе местоположения, вы могли заметить, что точность, которую вы можете ожидать, будет максимальной до 3 метров. Таким образом, этот уровень точности не может успешно решить вашу проблемную область.

Однако, я видел прототипы, которые обращаются к вашему проблемному домену. Хорошим примером может служить руководство BMW Augmented Reality. Проверьте эту ссылку http://www.youtube.com/watch?v=P9KPJlA5yds

Следовательно, я никогда не сталкивался с надлежащей библиотекой дополненной реальности для iOS или даже Android, которая может адресовать ваш проблемный домен в контексте AR без маркера.

Информация, приведенная выше, предназначена только для ваших знаний, но ни в коем случае не препятствует вам.

Answer 2

Что вам нужно, это отслеживание объектов на основе модели/6DOF. Поскольку вы хотите отслеживать автомобиль, он, безусловно, будет бесплатен (или вы получите только редкие функции), поэтому вы должны смотреть на бесцветные неплановые 3D-решения для отслеживания объектов (объектов).

Это довольно современное состояние (много исследований, несколько продуктов/SDK), но используя библиотеку, такую ​​как OpenCV, и с соответствующей литературой (см. Ниже), вы должны быть способны ее развить. Вы можете посмотреть решение с открытым исходным кодом, например, библиотеку ViSP, в которой есть модуль для отслеживания модели, но не официальный порт iOS. для коммерческих библиотек ближайшими будут библиотеки AR, поддерживающие SLAM или «3D-отслеживание объектов».

В перспективе техники, у вас есть другой способ справиться с этой проблемой, некоторые указатели:

• Вы можете использовать модель на основе отслеживания, опираясь на края обнаружения + исходной модели САПР объекта: 3D Textureless Object Detection and Tracking: An Edge-based Approach или Harald Wuest, Folker Wientapper, Didier Stricker Adaptable Model-based Tracking Using Analysis-by-Synthesis Techniques The 12th International Computer Analysis of Images and Patterns (CAIP), 27-29th August 2007, Vienna, Austria.

• Вы можете использовать модель на основе трекер полагаться на обнаружение края + (обучение) изображения шаблона

• Вы можете использовать некоторые методы SLAM в сочетании с модельный трекер. M. Tamaazousti, V. Gay-Bellile, S. Naudet Collette, S. Bourgeois, M. Dhome Real-Time Accurate Localization in a Partially Known Environment:Application to Augmented Reality on textureless 3D Objects. TrakMark 2011, Basel, Switzerland 26-29/10/2011

• , если ваша система будет работать только в помещении, вы можете взглянуть на некотором RGBD трекер S. Hinterstoisser, V. Lepetit, S. Ilic, S. Holzer, G. Bradski, K. Konolige, N. Navab Model Based Training, Detection and Pose Estimation of Texture-Less 3D Objects in Heavily Cluttered Scenes Asian Conference on Computer Vision (ACCV), Korea, Daejeon, November 2012 (доступ к software)