Пожалуйста, поправьте меня, если я понимаю ваше беспокойство неправильно здесь:
Вы можете использовать джойстики нарисовать несколько фигур, как круги в некоторых приложениях, таких как steamvr дом, и вы хотите, чтобы обнаружить, что вы нарисовали с помощью программного обеспечения. И, возможно, вы хотите показать результат в реальном времени на экране или сохранить файл.
Это означает, что вам необходимо получить визуализированные изображения и обнаружить контент изображения с использованием таких алгоритмов, как глубокое обучение. HTC Vive устройства совместимы с openVR SDK: https://github.com/ValveSoftware/openvr
Вы можете использовать openVR SDK для DIY драйвера steamVR, и получать изображения в режиме реального времени с помощью компонента прямого режима в SDK. У этого есть много работ, которые нужно сделать, даже до добавления алгоритма обнаружения, потому что вам нужен драйвер steamvr, который может использоваться для запуска steamVR.
http://pub.ist.ac.at/~bauer/ulrich-bauer.org/pub/bauer-ParametricReconstruction.pdf Желаю вам удачи. –