Gazebo/Ros: Как создать плагин камеры с сегментацией на уровне пикселей?

Question

Я ищу, чтобы создать плагин камеры, где на каждом пикселе изображения я могу выводить, к какому объекту он принадлежит, если таковой имеется. Я изо всех сил пытался найти решение этой проблемы. Любые предложения относительно того, с чего начать?

Answer 1

Если вы хотите сделать фотокамеру, то вам нужно использовать сенсорный плагин или сенсорный элемент в ur robot sdf/urdf, как описано here,, U может найти оба типа камеры, их глубину и rgb. Например, если вам нужен датчик kinect (камера), который содержит как изображение rgb, так и глубину, чем u, можно использовать болотные sdf-линии в модели робота ур. Здесь, когда u запускает этот код, он будет публиковать как rgb, так и глубинные данные, как показано here: здесь я использовал датчик луча.

<gazebo reference="top"> 
    <sensor name='camera1' type='depth'> 
     <always_on>1</always_on> 
     <visualize>1</visualize> 
     <camera name='__default__'> 
     <horizontal_fov>1.047</horizontal_fov> 
     <image> 
      <width>640</width> 
      <height>480</height> 
      <format>R8G8B8</format> 
     </image> 
     <depth_camera> 
      <output>depths</output> 
     </depth_camera> 
     <clip> 
      <near>0.1</near> 
      <far>100</far> 
     </clip> 
     </camera> 
     <plugin name='camera_controller' filename='libgazebo_ros_openni_kinect.so'> 
     <alwaysOn>true</alwaysOn> 
     <updateRate>30.0</updateRate> 
     <cameraName>camera</cameraName> 
     <frameName>/camera_link</frameName> 
     <imageTopicName>rgb/image_raw</imageTopicName> 
     <depthImageTopicName>depth/image_raw</depthImageTopicName> 
     <pointCloudTopicName>depth/points</pointCloudTopicName> 
     <cameraInfoTopicName>rgb/camera_info</cameraInfoTopicName> 
     <depthImageCameraInfoTopicName>depth/camera_info</depthImageCameraInfoTopicName> 
     <pointCloudCutoff>0.4</pointCloudCutoff> 
     <hackBaseline>0.07</hackBaseline> 
     <distortionK1>0.0</distortionK1> 
     <distortionK2>0.0</distortionK2> 
     <distortionK3>0.0</distortionK3> 
     <distortionT1>0.0</distortionT1> 
     <distortionT2>0.0</distortionT2> 
     <CxPrime>0.0</CxPrime> 
     <Cx>0.0</Cx> 
     <Cy>0.0</Cy> 
     <focalLength>0.0</focalLength> 
     </plugin> 
    </sens 

or> 
     </gazebo