Стереофонический сопоставление с изображениями, снятыми разными камерами (разные FOV, точка обзора), не выровнены

Question

Я пытаюсь получить глубину какого-либо объекта в сцене, и я не хочу использовать какие-либо другие датчики, кроме камер (я могу использовать две камеры).

Итак, я думаю, что это должна быть проблема «Стерео соответствия», и я планирую извлечь карту несоответствия из стереоизображений, чтобы получить информацию о глубине.

Но проблема в том, у меня есть ограничения, такие как:

1. Две камеры не выровнены. Все позиции (x, y, z) различны.
2. ДВУХ ИЗОБРАЖЕНИЙ (поле зрения) двух камер. Один шире другого.
3. Точки зрения двух камер различны.
4. Две камеры имеют разное разрешение.

В этом случае, возможно ли правильно подобрать стереосигнал? Если да, то как это возможно?

Я знаю, что для стереосоединения очень важна эпиполярная геометрия и фундаментальная матрица. Но, насколько я знаю, фундаментальная матрица всегда принадлежит одной камере. Возможно ли решение этой проблемы решить две фундаментальные матрицы из двух камер?

спасибо.

--------------------------------- EDIT ------------ -------------------------

Stereo image under different camera, resolution, viewpoint, FOV

Rectified image

через стерео калибратора камеры MATLAB, я получил stereoParams и Я использовал исправление.

Но исправленное изображение слишком искажено, чтобы получить карту различий.

Интересно, я иду вправо или нет.

Есть ли предложение? Спасибо.

Answer 1

Да, это возможно. Поскольку ваши стереофонические настройки, ваши камеры и поля зрения разные, я думаю, вам сначала нужно выполнить калибровку камеры, после калибровки вы делаете исправление на своих изображениях, как показано ниже. Epipolar

После этого вы будете иметь обычную стерео настройку с известной геометрией камеры. Тогда вы можете извлечь несоответствия. Здесь есть хороший учебник: ROS Steroe Calibration