단일 카메라를 이용한 3D 깊이 추정 방법

3D Depth Estimation by a Single Camera

Abstract

3D 카메라 기술 중에서 초점의 흐려짐을 이용한 깊이 추정은 카메라의 초점거리 평면의 물체는 선명한 상이 맺히지만 카메라의 초점거리 평면으로부터 멀어진 물체는 흐린 영상을 만들어낸다는 현상을 이용해 3D 깊이를 추정한다. 본 논문에서는 단일 카메라를 이용하여 촬영한 영상의 흐림 정도를 분석하여 3D 깊이를 추정하는 알고리즘을 연구하였다. 단일 카메라의 1 개의 영상 또는 단일 카메라의 초점이 서로 다른 2 개의 영상을 사용하여 초점의 흐려짐을 이용한 3D 깊이를 추정하는 방법을 통해 최적화된 피사체 범위를 도출하였다. 1 개의 영상을 이용한 깊이 추정에서는 스마트폰 카메라와 DSLR 카메라 모두 250 mm의 초점거리를 사용하는 것이 가장 좋은 성능을 보였다. 2개의 영상을 이용한 깊이 추정에서는 스마트폰 카메라 영상은 150 mm와 250 mm로 그리고 DSLR 카메라 영상은 200 mm와 300 mm로 초점거리를 설정하였을 때 가장 좋은 3D 깊이 추정 유효 범위를 갖는 것으로 나타났다.

Depth from defocus estimates the 3D depth by using a phenomenon in which the object in the focal plane of the camera forms a clear image but the object away from the focal plane produces a blurred image. In this paper, algorithms are studied to estimate 3D depth by analyzing the degree of blur of the image taken with a single camera. The optimized object range was obtained by 3D depth estimation derived from depth from defocus using one image of a single camera or two images of different focus of a single camera. For depth estimation using one image, the best performance was achieved using a focal length of 250 mm for both smartphone and DSLR cameras. The depth estimation using two images showed the best 3D depth estimation range when the focal length was set to 150 mm and 250 mm for smartphone camera images and 200 mm and 300 mm for DSLR camera images.

그림 1. 카메라에 상이 맺히는 기하학적 구조 Fig. 1. The geometric structure of a camera

그림 2. 1개의 영상을 이용한 DFD에서 흐림 정도의 크기 계산 방법 Fig. 2. Calculation method of blur size by using a DFD image

그림 3. 얇은 렌즈 모델의 기하학적 형태. 거리 d에서 초점이 맞은 피사체는 렌즈 안쪽의 길이 D_LS 지점에 초점을 맞추고, 입력으로 사용하는 영상의 흐림 정도의 커널은 반지름 r₁, r₂를 각각 갖는다. Fig. 3. Geometry of the thin-lens model. A scene point at depth d is in focus at distance D_LS behind the lens. Its blur kernel in the input images has radius r₁ and r₂, respectively

그림 4. 물체의 경계 부분에서 흐림 정도의 크기를 이용한 DFD 알고리즘 순서도 Fig. 4. Flowchart of DFD algorithm using blur size of boundary of object

그림 6. DFD를 적용한 3D 거리 추정에 사용된 테스트 환경 Fig. 6. The test environment used for 3D depth estimation with DFD

그림 5. (a) 문턱값 추출을 위한 테스트 사진, (b)-(e) 문턱값에 따라 추출된 경계, 문턱값은 (b)부터 (e)까지 각각 0.01, 0.03, 0.05, 0.07이다. Fig. 5. (a) is test image for threshold extraction, (b)-(e) boundary images are extracted according to the threshold of 0.01, 0.03, 0.05, and 0.07, respectively

그림 7. (a) 스마트폰 카메라에서 촬영한 1개의 영상을 이용하여 추정한 3D 깊이의 오류 정도, (b) 스마트폰 카메라에서 촬영한 2개의 영상을 이용하여 추정한 3D 깊이의 오류 정도 Fig. 7. (a) Depth error of 3D depth estimated using one image taken by a smartphone camera. (b) Depth error of 3D depth estimated using two images taken by a smartphone camera

그림 8. (a) DSLR 카메라에서 촬영한 1개의 영상을 이용하여 추정한 3D 깊이의 오류 정도, (b) DSLR 카메라에서 촬영한 2개의 영상을 이용하여 추정한 3D 깊이의 오류 정도 Fig. 8. (a) Depth error of 3D depth estimated using one image taken by a DSLR camera. (b) Depth error of 3D depth estimated using two images taken by a DSLR camera

표 1. 단일 스마트폰 카메라로 촬영한 영상의 깊이 유효 범위. (a) 1개의 영상을 이용하여 추정한 3D 깊이의 유효 범위. (b) 2개의 영상을 이용하여 추정한 3D 깊이의 유효 범위 Table 1. The effective 3D depth with a single smartphone camera. (a) The effective 3D depth range estimated using one image. (b) The effective 3D depth range estimated using two images

Table 1. The effective 3D depth with a single smartphone camera. (a) The effective 3D depth range estimated using one image. (b) The effective 3D depth range estimated using two images

표 2. DSLR 카메라로 촬영한 1개의 영상의 유효 깊이 범위 Table 2. The effective depth range estimated by one image with a DSLR camera

표 3. DSLR 카메라로 촬영한 2개의 영상의 유효 범위 Table 3. The effective depth range calculated by two images with a DSLR camera