DOI QR코드

DOI QR Code

Implementation of an Emulator for the Integrated Image Reconstruction according to Distance

거리에 따른 집적 영상 복원을 지원하는 에뮬레이터의 구현

  • Jang, Ha Eun (Dept. of Multimedia Science, Sookmyung Women's University) ;
  • Lee, Eun Ji (Dept. of Multimedia Science, Sookmyung Women's University) ;
  • Lee, Yeon Ju (Dept. of Multimedia Science, Sookmyung Women's University) ;
  • Lim, Soon-Bum (Dept. of Multimedia Science, Sookmyung Women's University)
  • Received : 2016.01.06
  • Accepted : 2016.02.01
  • Published : 2016.03.30

Abstract

Integral imaging is an auto-stereoscopic display method that can produce 3D image of a finite viewing window through an array of micro elemental lenses. Integral imaging requires the pickup part of each elemental images acquisition and display part of reconstruction of the images. The successful reconstructed image depends on various parameters such as distance between lens arrays and display device, focal length of lenses, and a number of the array. In this paper, we present reconstruction emulator for display of Integral imaging in order to adjust parameters for 3D contents reconstruction and to observe the result from different configuration. Especially, we provide the user interface for the emulator to control the distance easily. We have confirmed through various experiments that the emulator adjusted the distance and could check error in the process of creating elemental images.

Keywords

1. 서 론

3차원 영상 정보를 디스플레이하기 위한 여러 방법들이 19세기 초반부터 지속적으로 수행되어 왔다. 이 중 집적 영상법(Integral Imaging)은 무안경식 3차원 디스플레이 방식의 하나로, 1908년 Lippmann에 의해 제안되었다[1].

집적 영상법은 크게 영상 획득(Pick up) 과정과 디스플레이(Display) 과정으로 이루어진다. 그중 기초 영상을 렌즈 배열로 집적시켜 3차원 영상으로 재생해주는 디스플레이 과정을 이 논문에서 다루고자 한다. 실제 복원 과정에서는 집적 영상과 렌즈 배열 사이의 거리를 직접 움직여 3차원 이미지가 가장 정확하게 보이는 거리를 찾아 복원한다. 이 과정에서 복원에 적합한 거리를 찾기 위해서 정확한 거리를 재고, 그 거리에 맞게 렌즈 배열을 움직여야 한다. 하지만 이럴 경우 복원 거리에 오차가 생길 수 있으며 적절한 복원 영상을 디스플레이하기 위해 렌즈 배열을 계속해서 옮겨보아야 한다[2-3].

본 논문에서는 컴퓨터 프로그램에서 기초 영상과 렌즈 배열 사이의 거리를 조절할 수 있게 하여 복원된 3차원 영상을 쉽게 확인할 수 있는 실시간 대화 방식의 프로그램을 개발하고자 하였다. 이 시스템을 이용하여 복원에 적합한 렌즈의 위치를 파악할 수 있으며 기초 영상의 오류도 확인할 수 있게 하고자 하였다.

 

2. 집적 영상법 관련 연구

3차원 입체 디스플레이는 “우리의 양쪽 눈이 사물을 보는 것과 같은 입체영상을 제시하는 장치. 즉, 왼쪽 눈과 오른쪽 눈이 보는 서로 다른 영상을 통합하여 제시함으로써 사물의 깊이감(depth)을 인식하도록 하여 입체적으로 보이게 하는 장치”로 요약되어 정의할 수 있다[4]. 이런 3차원 입체 디스플레이 기술에는 입체영상법(stereoscopy), 홀로그래피, 집적 영상법 등의 기법들이 있다. 그중 집적 영상 방식은 Lippmann에 의해 제안된 3차원 디스플레이 방식으로 최근에 여러 방면에서 활발히 연구가 진행 중이다[5].

집적 영상 방식의 주요한 특징은 입체 영상을 관측하는데 안경이나 기타 도구가 필요하지 않고, 시점이 아니라 일정한 시야각 내에서 연속적인 수직, 수평 시차를 제공할 뿐 아니라, 기존의 평면 디스플레이와 호환성이 뛰어나다는 점 등을 가지고 있다[4].

집적 영상 시스템은 여러 개의 기초 렌즈들로 구성된 렌즈 배열을 이용하여 대상물의 3차원 정보를 기초 영상(elemental image)의 형태로 저장하고, 그 기초 영상을 다시 렌즈 배열을 통해 3차원 영상으로 집적시키는 방법이다. 이런 집적 영상 방식 3차원 디스플레이의 원리에는 픽업(Pick up) 과정과 디스플레이(Display) 과정으로 나눌 수 있다. 픽업 과정에서는 3차원 물체의 정보를 렌즈 배열과 CCD 카메라와 같은 장치를 이용하여 2차원의 기초 영상으로 기록한다. 그리고 픽업 과정에서 얻어진 2차원의 영상을 렌즈 배열을 통해 3차원 영상으로 재생시키는 것이 디스플레이 과정이다[6].

디스플레이 과정에서 렌즈 배열이 아닌 컴퓨터를 이용하여 3차원 영상으로 재생시키는 방법이 활발하게 연구되고 있다[2,7-9]. 이를 컴퓨터 집적 영상 재생 (computational integral imaging reconstruction: CIIR) 방법이라고 부르며, 렌즈 배열의 각 요소 렌즈의 원리를 컴퓨터를 이용해 모델링하는 방법이다[10]. 기존의 연구는 주로 컴퓨터 집적 영상 재생 방법에 대해 초점을 두고 있으며 그 방법을 실행하는 에뮬레이터와 그것에 대한 조작 인터페이스는 그다지 고려하고 있지 않다.

Fig. 1.Concept of Integral Imaging.

 

3. 에뮬레이터의 설계

3.1 시스템 목표 및 주요 기능

본 프로그램에서는 기초 영상과 렌즈 배열 사이의 거리를 조절할 수 있게 하여 복원된 3차원 영상을 화면에서 쉽게 확인할 수 있도록 하였다. 본 프로그램을 실행하여 실제 복원에 적합한 렌즈의 거리를 파악할 수 있으며, 또한 기초 영상의 오류도 확인할 수 있게 하고자 하였다.

본 프로그램은 미리 생성한 기초 영상을 사용하여 기초 영상과 렌즈 배열 사이의 거리 조절에 따른 복원 이미지를 디스플레이 한다. 크게 두 가지의 기능으로 구성되어 있다.

첫 번째 기능인 이미지 로드 기능은 시작 다이얼로그 화면에서 볼 수 있다. 영상 획득 과정을 통해 생성된 집적 영상을 로드하여 복원 다이얼로그 화면에서 나타내어 준다. 그다음, 집적 영상의 속성에 맞는 정보 파일을 로드 한다. 정보 파일을 통해 복원을 위한 이미지의 가로와 세로의 길이를 이용하여 메인 다이얼로그의 왼쪽 창에 집적 영상을 디스플레이 한다. 오른쪽 창에는 프로그램 실행 시 복원된 이미지를 디스플레이 한다.

두 번째 기능은 프로그램의 가장 주된 기능인 집적 영상과 렌즈 배열 사이에 따른 이미지 복원 기능이다. 렌즈 배열을 나타내는 버튼을 이동시키거나 텍스트 박스에 값을 원하는 값을 넣음으로써 그 값에 따른 복원 이미지가 디스플레이 되는 것을 확인할 수 있다. 복원을 하면서 복원 이미지가 보이는지를 통해 집적 영상이 올바르게 생성되었는지 확인할 수 있다.

Fig. 2.System Process.

3.2 영상 복원을 위한 렌즈 배열의 원리

본 프로그램은 먼저, 관찰자가 렌즈 배열을 통해 기초 영상을 바라볼 때의 원리는 다음과 같다. 관찰자의 입장에서 렌즈 배열의 가운데를 정면으로 바라볼 경우, 각각의 렌즈 배열의 요소들에 대응되는 기초 영상 면의 영역들이 병합된 영상을 볼 수 있다. 기초 영상 면과 렌즈 배열 사이의 거리를 g, 렌즈의 초점거리를 f, 렌즈 배열과 관찰자 사이의 거리를 L이라고 할 때, Fig. 3은 f < g < 2f인 경우의 각각의 렌즈 배열의 요소들에 대응될 기초 영상 면 영역의 픽셀 위치 관계를 나타낸 예시이다.

Fig. 3.Principle of Lens Array.

Fig. 3과 같이 f < g < 2f 의 경우, 각 렌즈 배열 요소에 나타날 기초 영상의 영역은 렌즈 배열 요소보다 좁은 영역이며, 이 영역이 도립 되고 렌즈 배열의 크기만큼 확대되어 상이 맺힌다. 그 외에 g와 f의 관계에 따라 렌즈 배열의 각 요소에 나타날 기초 영상의 모습은 다음과 같다. g < f 면, 기초 영상 면에서의 영역이 렌즈 배열의 크기만큼 확대되어 나타나며, g = f 일 경우는 상이 생기지 않으며, g = 2f 일 경우에는 180도 회전만 되어 나타나며, g > 2f 일 경우는 기초 영상에서의 영역이 180도 회전하고 렌즈 배열의 크기만큼 축소되어 나타난다.

Fig. 4는 각 렌즈 배열 요소에 나타날 기초 영상의 영역을 표시해준 그림으로 기초 영상 면과 렌즈 배열 사이의 거리(g)에 따라서 각 렌즈 배열에 대응되는 기초 영상 영역의 크기와의 관계를 알 수 있으며, Fig. 4에서 기초 영상들은 기초 영상의 요소의 개수는 가로가 13개, 세로가 13개로 설정하였으며, 요소 하나의 픽셀의 개수가 가로 100px, 세로 100px이다. 또한 렌즈의 초점거리는 22mm(f)이다.

Fig. 4.Surface area of the Elemental image corresponding to each of the Lens array according to the position(g) of the Lens array.

이를 통해, g가 f보다 작을 경우, g가 증가할수록 추출되는 영역의 크기는 작아지며, g가 f와 같을 경우는 영역이 생기지 않는 것을 알 수 있다. 또한, g가 f보다 클 경우, g가 증가할수록 추출되는 영역의 크기가 점점 커지고 있으며, g가 f의 두 배일 때 정확히 기초 영상의 크기와 검출된 영역이 일치함을 알 수 있다.

Fig. 5는 렌즈 배열과 관찰자의 거리(L)에 따라서 각 렌즈 배열에 대응되는 기초 영상 영역의 위치와의 관계를 알 수 있다. Fig. 5. (a)는 g가 26mm이고 L이 800mm일 때이며, Fig. 5. (b) 100000mm일 경우이다. Fig. 5. (b)의 경우 영역들이 각 기초 영상 면의 요소들에 가운데에 위치한다는 것을 알 수 있다. 그에 반해 Fig. 5. (a)의 경우 Fig. 5. (b)에 비해서 영역들이 가운데에서 벗어나 전체적으로 보았을 때 퍼져있음을 알 수 있다. 이 그림들을 통해 L이 커질수록 추출되는 영역들은 점점 렌즈 배열과 같은 위치에 대응되는 기초 영상의 각 요소의 가운데로 위치됨을 알 수 있다.

Fig. 5.The elemental image area corresponding to the single lens array and reconstructed images.

3.3 집적 영상 복원 알고리즘

본 프로그램은 렌즈 배열에 나타날 이미지를 생성하기 위해 렌즈 배열 원리에 따라 해당 렌즈 배열을 통해 나타나게 될 기초 영상 면의 영역의 픽셀 위치를 추출한 후, 그 픽셀들의 값들을 병합한다.

관찰자가 렌즈 배열의 가운데를 통해 정면을 바라본다고 가정한다. 이때, 렌즈 배열의 한 요소에 대응되는 기초 영상의 영역은 Fig. 6과 같다. 또한, 렌즈 배열의 요소들이 X축 방향으로 nbU개, Y축 방향으로 nbV개 있다고 한다. 이때, 렌즈 배열 왼쪽 위를 기준으로 렌즈 배열의 한 요소의 임의의 위치 (u, v)번째에 대하여, 각 렌즈 요소는 정사각형의 형태이므로 그 너비와 높이가 N개의 픽셀로 구성되어있고, 렌즈의 초점 거리는 f라 가정한다. 그리고 렌즈 배열의 한 요소에 대응되는 기초 영상 면의 영역을 P, 그 너비와 높이를 구성하는 픽셀 개수를 k라 한다.

Fig. 6.The elemental images area corresponding to the single lens array.

위와 같은 가정을 통해 렌즈 배열의 한 요소에 대응되는 기초 영상 면의 영역 P의 가운데 픽셀 좌표를 구한다. 그다음, 기초 영상 면의 너비와 높이의 픽셀 개수 k를 이용하여 그 영역의 왼쪽 위와 오른쪽 아래의 좌표를 구한다. 이때, 좌표 평면이 렌즈 배열일 경우는 LensArray로 나타내고 기초 영상일 경우에는 ElementalImages로 나타낸다.

렌즈 배열의 (u, v)번째 요소의 왼쪽 위의 X좌표를 LLx, Y좌표를 LLy, 그리고 오른쪽 아래의 X좌표를 LRx, Y좌표를 LRy라고 하면 다음과 같다.

관찰자가 렌즈 배열의 (u, v)번째 위치의 한 요소를 통해 기초 영상 P를 바라볼 때, 렌즈 요소의 가운데 픽셀에 대응되는 기초 영상 면의 X좌표를 Cx, Y좌표를 Cy라 한다면, 다음과 같이 계산할 수 있다.

이때, 렌즈 배열의 한 요소에 대응되는 영역의 너비와 높이 k는 다음과 같다.

따라서 기초 영상 P의 영역 왼쪽 위의 X좌표를 Lx, Y좌표를 Ly라고 하고, 오른쪽 아래의 X좌표를 Rx, Y좌표를 라고 Ry한다면, 식(3)에서 구한 기초 영상 면의 가운데 픽셀 좌표 Cx, Cy 값과 식 (4)을 이용해서 구한 k를 이용해, 다음과 같이 계산 가능하다.

이와 같은 계산 과정으로 구한 식(5)와 식(6)로 이루어지는 사각형 영역은 렌즈 배열의 (u, v)번째 요소에 나타날 영역을 의미한다. 이 영역은 식(1)과 식(2)의 영역으로 g와 f의 크기에 따라 180도 회전되거나 크기 조절되어 나타난다. 이 과정은 렌즈 배열 요소의 개수 즉, X축 방향으로 nbU번, Y축 방향으로 nbV번, 총 nbU × nbV번 반복된다.

 

4. 에뮬레이터의 구현

4.1 시스템 구성

다음 Fig. 7은 집적 영상 에뮬레이터의 개념도이다. 우선 기초 영상과 텍스트 형식의 정보 파일을 로드하여 입력받는다. 그리고 기초 영상을 재생하고, 복원된 집적 영상을 재생한다. 비트맵 슬라이더를 이용한 거리 조절 또는 텍스트 박스에 수치를 넣어주면 복원된 이미지가 거리에 맞게 디스플레이 된다.

Fig. 7.Program Process.

본 프로그램의 개발 환경은 Visual Studio 2010이며, C++ 언어로 구현하였으며, MFC와 OpenCV 라이브러리를 사용하였다.

4.2 조작 인터페이스의 구현

본 프로그램은 Fig. 8의 시작 다이얼로그와 Fig. 9의 복원 다이얼로그 두 가지 화면으로 구성된다.

Fig. 8.Start Dialog Window.

Fig. 9.Reconstruction Dialog Window.

Fig. 8의 시작 다이얼로그에서는 영상 획득 과정에서 생성된 기초 영상과 그에 대한 정보를 가지고 있는 기초 영상의 정보 파일을 각각의 Load 버튼을 눌러 파일을 선택해 로드 한다. 정보 파일은 텍스트 파일(.txt)로 렌즈의 초점 거리(f), X축을 이루는 기초 영상 요소의 개수(nbU), Y축을 이루는 기초 영상 요소의 개수(nbV), 기초 영상 요소의 너비와 높이의 픽셀 수(N) 그리고 이미지의 180도 회전 여부(rotate; rotate: 1(180도 회전된 상태), rotate: 0(180도 회전되지 않은 상태))를 나타내는 값으로 구성된다. 이 정보 파일의 정보를 바탕으로 복원 알고리즘이 수행되어 복원 이미지가 생성되고 재생된다. 맨 아래쪽에 있는 Next 버튼을 누르면 복원 다이얼로그 화면이 나타나고 거리에 따른 복원 이미지를 확인할 수 있다.

Fig. 9의 복원 다이얼로그에서는 시작 다이얼로그에서 로드 한 기초 영상과 정보 파일에 기반을 두어 사용자가 조정한 거리의 값들에 따라서 복원을 수행한 후 재생해준다. 초기의 복원 다이얼로그는 두 화면에 로드 한 기초 영상 이미지를 재생하며 정보 파일의 값을 하단에 보여준다. 렌즈 배열과 기초 영상 면 사이의 거리와 관찰자의 거리의 설정은 이미지로 이루어진 슬라이더 바와 텍스트 박스를 이용해 조절된다. 슬라이드 바의 경우 마우스나 키보드 좌우 버튼으로 이동시키거나, 좀 더 상세한 값으로 이동시키고 싶을 경우는 텍스트 박스에 원하는 값을 입력한 후 복원 버튼을 누르면 그 값에 따라 복원 이미지가 오른쪽 창에 재생된다. 즉, 왼쪽 창에는 로드 한 기초 영상을, 오른쪽 창에는 로드 한 파일들과 설정한 거리 값들에 따라 생성된 복원 이미지를 재생한다. 복원 이미지를 실제 렌즈 배열 디스플레이에 유사하게 재생되도록 하기 위해 렌즈 배열의 격자무늬를 ON/OFF할 수 있도록 하였다.

Fig. 10.The structure of the Integrated image reconstruction algorithm.

4.3 집적 영상 복원 알고리즘의 구현

본 프로그램에서 렌즈 배열 원리에 따라 복원 이미지를 생성하기 위해 구현한 알고리즘은 아래와 같다.

위의 코드는 렌즈 배열 요소에 대응되는 기초 영상 면의 영역 좌표가 기초 영상 면을 벗어나지 않을 경우 수행되는 코드이다. 하지만, 렌즈 배열의 위치와 관찰자의 거리로 인해 계산된 기초 영상 면의 영역 좌표가 기초 영상 면을 벗어나는 경우가 생길 수 있다. 따라서 기초 영상 면의 확장 영역을 검은색으로 처리해 확장된 기초 영상 면을 만들어 준 후 위의 과정을 따른다.

 

5. 실행 결과 및 분석

본 프로그램에서 거리 조절에 따른 영상의 변화와 생성된 기초 영상이 올바르게 복원되는지를 확인하고 복원에 알맞은 거리를 찾을 수 있는지를 확인하기 위해 실제 렌즈 배열과 에뮬레이터의 복원 이미지를 비교하는 실험들을 진행하였다.

먼저, 렌즈 배열의 위치(g) 조절에 따른 영상의 변화를 확인하고 프로그램으로 생성된 복원 이미지가 실제 렌즈 배열과 동일하게 복원되는지를 확인하기 위한 실험을 진행하였다. 이를 위해, 3가지 경우의 렌즈 배열 위치(g)에 따라 실제 렌즈 배열과 에뮬레이터로 각각 복원하여 비교하였다. 실험에 사용한 기초 영상은 3D MAX를 통해 생성하였다. 생성된 기초 영상의 물체들의 위치는 파란색 팔면체, 오리, 자주색 팔면체 순으로 카메라와 가까우며, 그 모습은 Fig. 11과 같다.

Fig. 11.Position of the objects of the elemental images using 3D MAX.

집적 영상의 복원은 3차원 디스플레이 방식이기 때문에 서로 다른 위치에 놓여 있는 세 물체로 생성된 기초 영상을 복원했을 때 렌즈 배열의 위치(g) 조절에 따라 정확하게 보이는 물체가 다르다. 실제로 실험 결과 Fig. 12와 같은 3차원 영상들이 디스플레이 됨을 확인할 수 있었다. Fig. 12의 왼쪽은 초점거리가 22mm인 실제 렌즈 배열을 통해 복원된 결과이고 오른쪽은 초점거리를 22mm로 설정한 에뮬레이터의 실행 결과이다. 두 경우 모두 기초 영상과 렌즈 배열의 거리(g)에 따라 초점이 맞는 물체가 다르게 나타났으며 변화 양상은 동일하였다. 렌즈 배열의 위치(g)가 자주색 팔면체는 24.2mm, 오리는 26.8mm, 파란색 팔면체는 27.7mm일 때 상이 가장 뚜렷하게 나타났다. 결과적으로 프로그램 상에서 찾은 거리가 실제 렌즈 배열을 놓고 촬영한 거리와 동일한 것을 확인할 수 있었다.

Fig. 12.Reconstructed images using the lens array and the emulator.

또한, 렌즈 배열과 관찰자의 거리인 L에 따라 에뮬레이터로 복원한 영상이 다르게 변화하는 것을 확인 할 수 있었다. Fig. 13은 L의 거리 조절에 따른 변화를 나타내는 결과이다. 관찰자가 점점 멀어질수록 가운데로 물체의 영상 정보가 모여 더 정확한 3차원 복원 영상이 나타났다.

Fig. 13.Reconstructed images using the emulator.

다음 실험은 본 프로그램으로 실제 물체를 촬영해 생성한 기초 영상의 복원에 알맞은 거리를 찾을 수 있는지 확인하는 실험을 진행하였다. 이를 위해, 실제 물체를 촬영한 기초 영상을 프로그램에 입력하고 거리를 조절해 보면서 복원에 적절한 위치를 찾고 이를 실제 렌즈 위치에 적용해 각각의 복원된 이미지를 비교해 보았다.

복원에 적절한 위치를 찾기 위해 거리 값을 조절해 비교해본 결과, Fig. 14와 같이 렌즈 배열의 위치(g)가 26mm일 때 가장 선명한 영상이 복원되었다.

Fig. 14.Reconstructed images using the elemental images capturing the real object and the emulator in case of g=26mm.

Fig. 15는 프로그램을 통해 알아낸 복원 적절 거리(g) 26mm를 실제 렌즈와 프로그램에 적용한 후 복원한 이미지들의 모습이다. 아래와 같이, 프로그램 상의 복원 이미지와 실제 촬영 이미지가 동일한 3차원 영상으로 나타났다. 따라서 본 프로그램을 통해 실제 복원에 알맞은 거리를 찾아낼 수 있다는 것을 확인할 수 있었다.

Fig. 15.Reconstructed images in case of g=26mm.

마지막으로, 실제 렌즈 배열을 이용해 확인하지 않아도 본 프로그램으로 기초 영상이 올바르게 생성되었는지를 확인하기 위해 잘못 생성된 기초 영상을 실행해보았다. Fig. 16과 같이 잘못 생성된 기초 영상을 프로그램에 입력해 복원해 본 결과 어느 거리에서도 물체의 모습을 확인할 수 없었고 기초 영상이 잘못 생성되었음을 파악할 수 있었다.

Fig. 16.Reconstructed images using the elemental images capturing the real object incorrectly and emulation program in case of g=26mm.

기존의 컴퓨터 집적 영상 재생 방법에 대한 연구로는 가상의 핀홀 배열 모델을 이용하여 3차원 영상을 일정한 거리에 놓인 평면에서 재생시키는 평면 기반 CIIR 방법을 제안하는 연구가 있다[8]. 또한 이 기술에서 발생하는 잡음을 보정한 복원 방법을 제안하는 연구도 있다[10]. 이들 연구는 복원 방법에 중점을 두고 있으며, 복원을 할 때마다 매번 프로그램을 수작업으로 실행하여야 했다.

그에 비해 본 연구에서는 복원하고자 하는 거리와 시점을 사용자가 쉽게 조절할 수 있는 인터페이스를 개발하여 사용자의 편의를 제공한다. 이러한 인터페이스적인 특성을 제공하여 다음과 같은 장점을 갖는다. 먼저, 복원하고자 하는 거리를 사용자가 쉽게 조절할 수 있다. 렌즈 배열로 관찰할 수 있는 복원 영상을 실시간 대화 방식으로 확인할 수 있다. 마지막으로 영상 획득 과정에서 수집한 기초 영상이 제대로 생성되었는지를 파악할 수 있다.

 

6. 결 론

본 논문에서는 실제 집적 영상 디스플레이 과정에서 복원에 적합한 거리를 찾기 위해 정확한 거리를 재고, 그 거리에 따라 렌즈 배열을 움직여야 하는 번거로움을 줄이기 위해 에뮬레이터를 제안하였다.

본 프로그램은 기초 영상과 렌즈 배열 사이의 거리를 조절할 수 있게 하여 복원된 3차원 영상을 쉽게 확인할 수 있는 인터페이스를 제공한다. 프로그램 자체에서 복원에 적합한 렌즈의 위치를 파악할 수 있으며 기초 영상의 오류의 확인도 가능하다. 이런 기능들로 복원을 하는데 직접 계산을 하고, 렌즈 배열을 움직이며 복원 영상을 확인하지 않아도 인터페이스를 통해 쉽게 확인할 수 있다.

이를 위해, 집적 영상 복원에 필요한 기초 영상 로드 기능을 제공하여, 복원하고 싶은 영상을 디스플레이 해준다. 또한, 기초 영상을 로드한 후에는 슬라이더 바를 움직이거나 거리 값을 입력하여 복원해주는 기능을 제공한다. 이를 통해, 복원된 이미지가 정확하게 보이는지 확인할 수 있으며, 복원된 이미지는 렌즈 배열 원리에 따라 집적 영상 알고리즘을 수행하여 생성된다. 집적 영상 알고리즘은 각각의 렌즈 배열의 요소들에 대응되는 기초 영상 면의 영역들이 병합되는 원리이다.

향후 본 프로그램에서 집적 영상 알고리즘을 다시점 설정에 따라 디스플레이 될 수 있게 보완한다면 3차원 영상을 전시하거나 디스플레이 할 때 실제 렌즈 배열 없이도 깊이감을 느낄 수 있는 3D 콘텐츠를 경험할 수 있을 것으로 예상된다.

References

  1. G. Lippmann, “La Photographie Integrale,” Journal of Comptes-Rendus Academie des Sciences, Vol. 146, pp. 446-451, 1908.
  2. H. Arimoto and B. Javidi, “Integral Three-dimensional Imaging with Digital Reconstruction,” Optics Letters, Vol. 26, pp. 157-159, 2001. https://doi.org/10.1364/OL.26.000157
  3. D.H. Shin, B.K. Lee, and J.J. Lee, “3D Image Acquisition and Reconstruction Studies Using Computational Integral Imaging,” Journal of Korea Multimedia Society, Vol. 13, No. 4, pp. 40-46, 2009.
  4. Y.W. Jeong, Study on Computational Integral Imaging Reconstruction Techniques based on the Lenslet Array Model, Doctor's Thesis of Kwangwoon University of Technology, 2005.
  5. A. Stern and B. Javidi, “Three Dimensional Image Sensing, Visualization, and Processing Using Integral Imaging,” Proceedings of the IEEE, Vol. 94, No. 3, pp. 591-607, 2006. https://doi.org/10.1109/JPROC.2006.870696
  6. D.H. Shin, Y.M. Kwon, and E.S. Kim, “Computational View-point Reconstruction method in Three-dimensional Integral Imaging Using Lenslet Array Model,” Korea Institute of Information and Communication Engineering, Vol. 10, No. 10, pp. 1848-1853, 2006.
  7. S.H. Hong and B. Javidi, "Distortion-tolerant 3D Recognition of Occluded Objects Using Computational Integral Imaging," Journal of Optics Express, Vol. 14, Issue 25, pp. 12085-12095, 2006. https://doi.org/10.1364/OE.14.012085
  8. S.H. Hong, J.S. Jang, and B. Javidi, “Threedimensional Volumetric Object Reconstruction using Computational Integral Imaging,” Journal of Optics Express, Vol. 12, Issue 3, pp. 483-491, 2004. https://doi.org/10.1364/OPEX.12.000483
  9. J.S. Park, D.C. Hwang, D.H. Shin, and E.S. Kim, "Resolution-enhanced 3D Image Correlator Using Computationally Reconstructed Integral Images," Optics Communication, Vol. 276, Issue 1, pp. 72-79, 2007. https://doi.org/10.1016/j.optcom.2007.04.007
  10. D.H. Shin and H. Yoo, "Analysis of 3D Reconstructed Images Based on Signal Model of Plane-based Computational Integral Imaging Reconstruction Technique," Korea Institute of Information and Communication Engineering, Vol. 13, No. 1, pp. 121-126, 2009.