Как использовать библиотеку, подобную этой https://code.google.com/p/js-handtracking/, с 3D-моделью, чтобы наложить на отслеживание руки?Augmented Reality, накладывая 3d-модели
Как вы бы описали это изделие с 3D-модели?
В каком формате должна быть модель? Я никогда не занимался наложением 3D-модели.
3D-объект, который вы хотите наложить, может быть любым трехмерным объектом (например, obj, 3ds, ply, vrml). На самом деле представление модели не является проблемой, так как вы можете преобразовать 3d-представление в любое другое трехмерное представление (обычно). Выполнение рендеринга сцены зависит от вашего браузера/игрока.
Чтобы наложить 3d-модель на обнаруженную руку, вам необходимо знать положение руки (относительно вашей сцены, конечно). Алгоритм обнаружения должен дать вам какую-то матрицу преобразования, которая может быть переведена на поворот, перевод и масштабирование. Затем вы можете использовать эти значения, чтобы разместить 3D-объект в правой позиции в 3d-сцене.
Прежде всего, вы должны проверить, есть ли API алгоритма ручной подделки или, по крайней мере, как вы можете перехватить выходные данные (если они есть). В противном случае вам придется искать алгоритм (исходный код ..), где выполняется обнаружение, и получить матрицу преобразования и применить ее на вашем 3D-объекте.