3D-реконструкция до реального масштаба

Question

Я работаю над проектом для определения 3D-местоположения объекта. У меня две камеры установлены в двух углах комнаты, и я получил Фундаментальную матрицу между ними. Эти камеры внутренне откалиброваны. Мои изображения 2592 X 1944

К = [1228 0 3267 0 1221 0 0 1]

F = [-1.098e-7 3.50715e-7 -0,000313 2.312e-7 2.72256e -7 4.629e-5 0.000234 -0.00129250 1]

Теперь, как действовать, чтобы при заданной трехмерной точке в пространстве я мог получать точки на изображении, которые соответствуют одному и тому же объекту в комнате , Если я могу получить матрицы правых проекций (с правильной шкалой), я могу использовать их позже в качестве входных данных для функции traingulatePoints OpenCV для получения местоположения объекта.

Я застрял в этом, так как долгое время. Поэтому, пожалуйста, помогите мне.

Спасибо.

Answer 1

Извините, что не идет в размере комментариев .. так что @ user2167617 ответ на ваш комментарий. В значительной степени. Несколько указателей: единственные значения должны быть (s, s, 0), поэтому (1.3, 1.05, 0) - довольно хорошее предположение. О R: Технически, это правильно, однако, игнорируя знаки. Вполне возможно, что вы получите матрицу вращения, которая не удовлетворяет деминанту ограничения (R) = 1, а вместо этого -1. В этом случае вы можете умножить его на -1. Как правило, если у вас возникают проблемы с этим подходом, попробуйте определить Essential Matrix с использованием 5-точечного алгоритма (внедренного в самую новую версию OpenCV, вам придется его самостоятельно создать). Масштаб действительно невозможно получить с помощью этих данных. Однако все это зависит от масштаба. Если вы определяете, например, расстояние между камерами, составляющим 1 единицу, тогда все будет измерено в этом устройстве.

Answer 2

Может быть, это будет проще использовать cv::reprojectImageTo3D функция? Он даст вам 3D-координаты.

Answer 3

Из того, что я собираю, вы получили фундаментальную матрицу с помощью некоторых средств калибровки? В любом случае, с фундаментальной матрицей (или самой калибровочной установкой) вы можете получить разность позы через разложение матрицы Essential. После этого вы можете использовать совпадающие точки функции (используя экстрактор функций и дескриптор, такой как SURF, BRISK, ...), чтобы определить, какие точки в одном изображении принадлежат одной и той же объектной точке, как и другая точка объекта на другом изображении. С помощью этой информации вы сможете проследить треугольник.