Лучший подход для распознавания жестов 2D в VR?

Question

Я разработчик игры, которая использует распознавание жестов с помощью гарнитуры VR для HTC Vive, и я стараюсь повысить точность распознавания жестов.

(Игра для связи:. http://store.steampowered.com//app/488760 Это игра, где вы колдовать рисуя символы в воздухе.)

В настоящее время я использую алгоритм 1 долларов для распознавания 2D жеста, и используя орфографический камера привязана к горизонтальному вращению игрока, чтобы сгладить жест, который игрок рисует в пространстве.

Однако, я уверен, что должны быть более эффективные подходы к проблеме!

Я должен представлять жесты в 2D в инструкции, так что в идеале я хотел бы:

Найти оптимальный вектор, на котором для выравнивания жест. Сгладить его в 2D пространстве. Используйте лучший алгоритм распознавания жестов, чтобы распознать, что это за жест.

Было бы очень полезно приблизиться к точности 100% при любых обстоятельствах. В настоящее время, например, игра имеет тенденцию запутываться, когда игроки пытаются нарисовать круг в разгар битвы, и предполагается, что они рисуют форму Z вместо этого.

Все предложения приветствуются. Заранее спасибо.

Answer 1

Кажется мне этот плагин называется Gesture распознаватель 3.0 может дать вам большое представление о том, какой шаг вы должны принять

Gesture Recognizer 3.0

Кроме того, я нашел этот яваскрипта LIB распознавания жестов в GitHub

Jester

Надеюсь, это поможет.

Answer 2

Верьте мне или нет, но я нашел это сообщение два месяца назад и решил проверить свои навыки VR/AI, подготовив пакет Unity, предназначенный для распознавания магических жестов в VR. Теперь, я вернулся с полным VR демо: https://ravingbots.itch.io/vr-magic-gestures-ai

Система распознавания отслеживает вектор жест, а затем проецирует его на 2D сетке. Вы также можете легко настроить 3D-сетку, если хотите, чтобы система работала с трехмерными формами, но не забудьте создать подходящий набор тренировок, фиксирующий большое количество вариаций формы.

Конечно, пакет является универсальным, и вы можете использовать его для не-магического применения, а также. Код хорошо документирован. Онлайн-документация, предоставленная в PDF, имеет более 1000 страниц: https://files.ravingbots.com/docs/vr-magic-gestures-ai/

Пакет протестирован на HTC Vive. Постепенно добавляется поддержка Gear VR и других VR-устройств.

Answer 3

Лично я рекомендую AirSig Он охватывает больше функций, таких как аутентификация с использованием контроллеров. Версия Vive и версия Oculus бесплатны. «Было бы очень полезно приблизиться к 100% точности при любых обстоятельствах». Мой опыт заключается в том, что его встроенные жесты имеют точность более 90%, подпись - более 96%. Надеюсь, это соответствует вашему требованию.