3D Shape Reconstruction of Non-Lambertian Surface

Non-Lambertian면의 형상복원

It is very important study field in computer vision 'How we obtain 3D information from 2D image'. For this purpose, we must know position of camera, direction of light source, and surface reflectance property before we take the image, which are intrinsic information of the object in the scene. Among them, surface reflectance property presents very important clues. Most previous researches assume that objects have only Lambertian reflectance, but many real world objects have Non-Lambertian reflectance property. In this paper the new method for analyzing the properties of surface reflectance and reconstructing the shape of object through estimation of reflectance parameters is proposed. We have interest in Non-Lambertian reflectance surface that has specular reflection and diffuse reflection which can be explained by Torrance-Sparrow model. Photometric matching method proposed in this paper is robust method because it match reference image and object image considering the neighbor brightness distribution. Also in this thesis, the neural network based shaped reconstruction method is proposed, which can be performed in the absence of reflectance information. When brightness obtained by each light is inputted, neural network is trained by surface normal and can determine the surface shape of object.

2차원 밝기 영상에서 3차원 정보를 얻는 문제는 컴퓨터 시각 연구에서 매우 중요한 분야를 차지하고 있다. 이러한 목적을 위해 먼저 2차원 영상을 취득할 때 카메라의 위치, 광원의 방향, 영상내 물체의 반사특성 등 본질적인 정보를 이용한다. 이중에서 물체의 표면 반사특성은 매우 중요한 단서가 된다. 과거에는 물체의 반사특성을 Lambertian 반사만을 전제하여 연구를 진행했지만 실세계의 물체는 대부분 Non-Lambertian 반사특성을 갖는다. 본 논문에서는 2차원 밝기 영상에서 물체의 반사특성을 해석하고, 반사특성 파라미터를 추정하여 물체의 형상을 복구하는 새로운 방법과 반사특성을 모르는 상황에서 신경회로망 학습에 의해 형상을 복구하는 방법을 제안한다. 물체의 반사특성은 전반사 성분과 난반사 성분을 함께 갖는 Non-Lambertian 면을 그 대상으로 하며, 이러한 반사특성은 전반사(Torrance-Sparrow) 모델과 난반사(Lambertian) 모델의 선형적인 합으로 설명될 수 있다. 본 논문에서 제안한 Photometric Matching은 주변 화소의 밝기 분포를 고려하여 참조영상과의 매칭을 통한 형상복구 알고리듬으로써 기존의 Photometric Stereo에 근본을 두고 있지만, 잡음 및 오차의 누적 정도가 향상되었다. 또한 물체의 반사특성을 모르는 상황에서 신경회로망 학습에 의한 형상복구방법을 제안한다. 이 방법은 역전파 학습알고리듬을 이용해 광원 방향에 따른 밝기값에 대해 면법선을 교사하여 형상을 결정한다.