• IEIE Transactions on Smart Processing and Computing
• /
• 제2권1호
• /
• pp.27-35
• /
• 2013

This paper proposes a face tracking algorithm for a viewpoint adaptive multi-view synthesis system. The original scene captured by a depth camera contains a texture image and 8 bit gray-scale depth map. From this original image, multi-view images that correspond to the viewer's position can be synthesized using geometrical transformations, such as rotation and translation. The proposed face tracking technique gives a motion parallax cue by different viewpoints and view angles. In the proposed algorithm, the viewer's dominant face, which is established initially from a camera, can be tracked using the statistical characteristics of face colors and deformable templates. As a result, a motion parallax cue can be provided by detecting the viewer's dominant face area and tracking it, even under a heterogeneous background, and synthesized sequences can be displayed successfully.

• 방송공학회논문지
• /
• 제22권3호
• /
• pp.405-408
• /
• 2017

다시점 이미지의 뷰포인트 간에 높은 유사도가 존재함을 바탕으로 MV-HEVC는 뷰포인트 내에서 전통적인 시간적 방향 예측 뿐만 아니라 뷰포인트 간에 예측을 수행함으로써 높은 부호화 효율을 얻는다. 본 논문에서는 HEVC를 기본 계층으로 사용하는 스케일러블다시점 비디오 부호화를 구현하기 위해 SHVC와 MVC를 통합 구현함을 제안한다. 실험결과에 의해 BD-PSNR 개선이 1.5dB에 이르고 동시에 BD-Bitrate를 50~60% 가량 줄일 수 있음을 확인하였다.

• Journal of the Optical Society of Korea
• /
• 제19권5호
• /
• pp.477-486
• /
• 2015

We propose a novel calibration method which can be applied to all kinds of panel-type multi-view displays. We analyze how the angular, the axial, and the lateral misalignment affects the 3D image quality in a panel-type multi-view display. We demonstrate the ray optics simulation with a 3-view slanted parallax barrier system using pentile display for the quantitative calculation. Based on the analysis, we propose a new alignment pattern for all kinds of panel-type multi-view displays. The proposed pattern is sensitive to all of the angular, the axial, and the lateral misalignments. The high spatial frequency images and on and off alignment in the proposed pattern help observers to calibrate the system easily. We theoretically show the generality of the proposed alignment pattern and verify the pattern with image simulations and experiments.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 IWAIT
• /
• pp.446-449
• /
• 2009

In this paper, we present a novel method for reconstructing a super-resolution image using multi-view low-resolution images captured for depth varying scene without requiring complex analysis such as depth estimation and feature matching. The proposed method is based on the iterative back projection technique that is extended to the 3D volume domain (i.e., space + depth), unlike the conventional superresolution methods that handle only 2D translation among captured images.

• IEIE Transactions on Smart Processing and Computing
• /
• 제6권3호
• /
• pp.175-182
• /
• 2017

In this paper, we present a multi-depth generation method using a time-of-flight (ToF) fusion camera system. Multi-view color cameras in the parallel type and ToF depth sensors are used for 3D scene capturing. Although each ToF depth sensor can measure the depth information of the scene in real-time, it has several problems to overcome. Therefore, after we capture low-resolution depth images by ToF depth sensors, we perform a post-processing to solve the problems. Then, the depth information of the depth sensor is warped to color image positions and used as initial disparity values. In addition, the warped depth data is used to generate a depth-discontinuity map for efficient stereo matching. By applying the stereo matching using belief propagation with the depth-discontinuity map and the initial disparity information, we have obtained more accurate and stable multi-view disparity maps in reduced time.

• 방송공학회논문지
• /
• 제18권6호
• /
• pp.859-871
• /
• 2013

본 논문에서는 스테레오 영상에서 얻은 다양한 특징들과 차폐영역에 대한 정보들을 활용하여 그리드 메쉬(grid-mesh) 기반의 영상워핑 기법을 통해 다시점 영상을 생성하는 방법을 제안한다. 제안된 기법에서는 먼저 주어진 스테레오 영상에서 영상 특징 지도(image saliency map), 직선 성분(line segments) 그리고 변이 특징 지도(disparity saliency map)를 추출하고, 추출된 특징들에 대하여 품질을 향상시키는 과정을 거친다. 이 과정은 두 가지 단계로 나뉘는데, 먼저 차폐영역에 대한 정보를 활용하여 객체의 경계 부근에서 추출된 변이 특징 지도의 신뢰도를 향상시킨다. 다음으로 스테레오 영상에서의 시간적 일관성(temporal consistency)에 대한 정보를 활용하여 추출된 영상 특징들의 시간적 일관성을 높인다. 이렇게 품질이 향상된 특징 성분들을 활용하여 그리드 메쉬 기반의 영상 워핑 기법을 통해 다시점 영상을 생성한다. 실험 결과를 통해 제안된 기법으로 생성한 다시점 영상의 주관적 화질 측면에서 기존의 다시점 영상 생성 기법들보다 우수한 것을 확인할 수 있었다.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제5권9호
• /
• pp.237-246
• /
• 2016

DIBR (Depth Image Based Rendering)은 동일 시점의 색상 영상과 깊이 영상을 참조해서 임의 개수의 중간 시점 영상을 생성하는 기법으로 무안경식 다시점 입체 디스플레이를 위한 콘텐츠 제작에 활용할 수 있다. 본 연구에서는 DIBR 기법을 사용해서 생성되는 다시점 중간 영상의 객관적 품질에 깊이 정확도가 미치는 영향에 대해 설명한다. 본 연구는 먼저 사람이 인지할 수 없는 범위에서 왜곡을 보장하기 위한 최소 깊이 양자화 계수를 도출한다. 그리고 장면 구성의 특성에 따라 같은 양자화 수준에서 깊이 정보의 정확도를 효과적으로 표현하기 위한 비균등 영역분할 양자화 방법을 선형 양자화와 비교 분석한 결과를 제시한다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2007년도 하계종합학술대회 논문집
• /
• pp.203-204
• /
• 2007

In this work, we propose a compression algorithm for depth images, which are obtained from multi-view sequences. The proposed algorithm represents a depth image using a 3-D regular triangular mesh and predictively encodes the mesh vertices using a linear prediction scheme. The prediction errors are encoded with a arithmetic coder. Simulation results demonstrate that the proposed algorithm provides better performances than the JPEG2000 lossless coder.

• 디지털콘텐츠학회 논문지
• /
• 제18권2호
• /
• pp.383-392
• /
• 2017

본 논문은 다시점 영상 획득에서 영상 기반 3D 모델 생성까지 실시간으로 처리가 가능한 실시간 3D 모델 생성 시스템을 소개한다. 이 시스템은 18대의 카메라에서 입력되는 HD급 영상을 수집, 전송, 관리하는 방법을 소개하며, 전경과 배경의 분리와 부드러운 3D 볼륨 모델 생성 과정을 설명한다. 이 논문은 18대의 카메라에서 입력되는 HD급 영상을 실시간으로 처리하기 위한 새로운 분산 데이터 송수신 및 관리 방법을 제안한다. 또한, 다시점 영상으로부터 부드러운 3D 모델을 생성하기 위한 시각 차이를 이용한 코드북 기반 전경과 배경 분리 알고리즘, 원근 보정 보간법을 이용한 수정된 마칭 큐브 알고리즘을 기술한다. 이 시스템은 현재 초당 30프레임 처리 속도로 구축되어 있다.

• 산업융합연구
• /
• 제19권6호
• /
• pp.49-57
• /
• 2021

디지털 사이니지와 다면 영상 시스템은 강한 몰입감으로 스토리와 정보를 전달하는 제4의 미디어로 사용되고 있다. 대형 디지털 사이니지에서 상영되는 콘텐츠는 주로 실사 영상보다는 컴퓨터 그래픽을 이용한 영상으로 제작되고 있다. 그 이유 중 하나는 콘텐츠 제작을 위해 촬영된 영상을 사용하려면 제작범위가 극히 제한적이고 고해상도 실사 촬영의 한계로 크고 넓게 구성된 디지털 사이니지 화면에서 고화질 재현에 무리가 많기 때문이다. 반면 영화 상영관 중앙에 있는 스크린과 좌, 우측 벽면을 스크린으로 활용한 Screen X와 Escape는 디지털 시네마용 카메라 3대로 실사 촬영하여 스티칭 작업 후 다면 영상 시스템을 갖춘 극장에서 실감 영상으로 상영되는데 관객들에게 많은 실감 체험을 주고 있다. 이번 연구는 Screen X의 다면 영상 촬영 제작기술과 크로마키 기법을 이용하여 고해상도로 촬영된 영상을 디지털 사이니지에서 화질 열화 없이 상영할 수 있을 것이다.