한국어

연구분야

3D reconstruction

n  3D reconstruction

KEYWORD: depth map refinement, depth map registration, multi-camera calibration, 3D reconstruction, point cloud



Computer vision과 computer graphics 분야의 3D reconstruction은 2D영상으로부터 실제의 물체의 3D 정보를 복원하는 과정이다. 3D reconstruction을 진행하기 위한 방법으로는 크게 다수의 RGB 영상을 이용하여 방법과, RGB-D 영상을 이용하는 방법으로 나뉜다. 

 먼저 다수의 RGB 영상을 이용하는 경우, 각 영상에서 feature point를 검출하여 matching point 간의triangulation이나 structure from motion을 통해서 point cloud 를 예측하여 3D reconstruction을 진행한다. 이러한 방법들은 dense한 3D reconstruction을 위해 많은 양의 RGB영상이 요구되며, 동시 다발적인 촬영환경 구축이 힘들고, computational complexity가 높아 실시간으로 3D reconstruction을 진행하기 어렵다. 

 RGB-D 카메라로 촬영하는 경우 각 view에서 얻은 depth map 간의 calibration 및 registration을 통하여 앞선 방법보다 간편하며 실시간으로 dense 한 3D reconstruction을 진행할 수 있다. 하지만 low cost depth sensor의 경우noise가 있으며 hole이 존재하고 color 영상에 비하여 해상도가 낮다.

 따라서, 본연구실 에서는 Kinect 와 같은 RGB-D 카메라의 depth map refinement를 연구하고 있다. 또한, 동시에 여러 대의 RGB-D camera를 사용하여 움직이는 물체의 전방향 3D reconstruction를 연구하고 있다.


 fig1.png


fig2.png





Current research topics:

Depth map refinement

- Point cloud fusion