• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.49 no.2
• /
• pp.83-93
• /
• 2012

This paper proposes a method to efficiently encode multi-view color videos and depth maps. The proposed coding method for multi-view color videos and depth maps can improve the coding efficiency by additional inter-view prediction, as well as inter-frame prediction. By means of the proposed method, we achieved the coding gain of approximately 55% for 2-view color videos and approximately 12% for 2-view depth maps. For 3-view case, we found that the proposed system yields 54% of coding gain from outer view color videos and 56% of coding gain from center view color videos, respectively. Moreover, for 3-view depth map case, approximately 11% of coding gain from outer view and 13% of coding gain from center view are obtained with the proposed coder, respectively.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.331-332
• /
• 2011

디저털 홀로그래피는 CCD를 이용하여 간섭 패턴을 기록하고 기록된 간섭무늬에 담겨진 물체의 정보로 입체영상을 복원하는 기술을 말하며, 현미경을 이용한 디지털 홀로그래피 기술은 3D 형상 복원이나 바이오포토닉스 등 다양한 분야에서 사용되고 있다. 하지만, 디지털 홀로그래피 기술은 촬영된 간섭패턴에서 픽셀의 위상차가 레이저 파장의 1/2 이상일 경우, 기존의 phase unwrapping 알고리즘으로는 해당 픽셀의 위상차이를 계산할 수 없는 문제가 있다. 이와 같은 문제를 해결하기 위해 본 논문에서는 다수의 홀로그램 영상과 깊이맵을 사용하여 완전한 형태의 깊이맵을 구하는 방법을 제안한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.337-338
• /
• 2011

본 논문에서는 안드로이드 운영체제 기반 스마트폰에서 Camera Preview를 이용하여 실시간으로 3D 입체영상을 생성하는 기법을 제안한다. 3D 입체영상은 2D 영상에 깊이감을 부여하여 시청시에 입체감을 느낄 수 있도록 변환한 영상이다. 그러나 모바일 단말기에서는 이러한 3D 입체영상을 생성하더라도 하드웨어의 제약으로 인해 사용자가 만족할만한 성능을 구현하는데 어려움이 있다. 먼저 안드로이드 운영체제에서 카메라를 사용하기 위한 구성 및 방법에 대해서 설명하고, 그에 따른 3D 입체변환 알고리즘을 제안한다. 제안 방법에서는 단말기의 성능에 맞는 우수한 결과를 생성하기 위한 에지 추출, 깊이맵 생성 방법을 분석하고, 획득한 깊이맵을 기반으로 하여 좌영상과 우영상을 생성한다. 최종적으로 획득한 두 영상을 병합하여 화면에 Display한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.1213-1215
• /
• 2022

몰입형 비디오 부호화를 위한 MIV(MPEG Immersive Video) 표준은 제한된 3D 공간의 다양한 위치의 뷰(view)들을 효율적으로 압축하여 사용자에게 임의의 위치 및 방향에 대한 6 자유도(6DoF)의 몰입감을 제공한다. MIV 의 참조 소프트웨어인 TMIV(Test Model for Immersive Video)에서는 복수의 뷰 간 중복되는 영역을 제거하여 전송할 화소수를 줄이기 때문에 복호화기에서 렌더링(rendering)을 위해서 각 화소의 점유(occupancy) 정보도 전송되어야 한다. TMIV 는 점유맵을 깊이(depth) 아틀라스(atlas)에 포함하여 압축 전송하고, 부호화 오류로 인한 점유 정보 손실을 방지하기 위해 깊이값 표현을 위한 동적 범위의 일부를 보호대역(guard band)으로 할당한다. 이 보호대역을 줄여서 더 넓은 깊이값의 동적 범위를 사용하면 렌더링 화질을 개선시킬 수 있다. 따라서, 본 논문에서는 현재 TMIV 의 점유 정보 오류 분석을 바탕으로 이를 보정하는 기법을 제시하고, 깊이 동적 범위 확장에 따른 부호화 성능을 분석한다. 제안기법은 기존의 TMIV 와 비교하여 평균 1.3%의 BD-rate 성능 향상을 보여준다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 1997.11a
• /
• pp.161-164
• /
• 1997

본 논문에서는 임의 시점 영상 합성을 위한 깊이 정보 추출에 관한 방법을 제안한다. 깊이 정보의 추출을 위한 방법으로서 기존의 MBS(Multiple-Baseline Stereo) 방법의 깊이 맵의 경계선 연장(boundary overreach) 문제를 감소시키며 처리 시간을 개선하는 방법으로서 계층적 방법인 MR-MBS(Multi-Resolution MBS) 방법을 제시한다. 또한 MBS 방법에서 고려하지 않고 있는 폐색 영역에 대한 적절한 처리 방법을 제시한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.06a
• /
• pp.101-104
• /
• 2014

3차원 영상 제작을 위해서는 장면의 색상 영상과 함께 깊이 정보가 필요하다. 일반적으로 깊이를 측정하는 TOF 카메라에 의해 획득된 깊이 영상은 컬러 영상에 비해 매우 작은 해상도의 영상을 갖게 되는 문제가 있다. 따라서 색상 영상과 함께 3차원 영상 제작에 깊이 영상을 사용하기 위해서는 저해상도 깊이 영상의 업샘플링 방법이 필요하다. 특히 컬러 영상에서 사물 간의 경계에 해당하는 부분에서 색상 차이를 인지하지 못하여 깊이 맵을 부적절하게 처리하게 되는 경우가 발생한다. 본 논문에서는 색상 영상에서 경계부분에 해당하는 영역을 이용하여 저해상도 깊이 영상을 업샘플링 하는 방법을 제안한다. 깊이 영상을 업샘플링 할 때 중요하게 다루어야 할 경계 부분을, 고해상도 색상 영상과 저해상도 깊이 영상을 이용하여 찾아낸다. 색상 경계 부분을 고려하여 깊이 영상 업샘플링을 위한 에너지 함수를 MRF를 이용하여 모델링하고, 신뢰 확산(belief propagation)방법을 이용하여 에너지 함수 최적화를 수행한다. 제안한 방법은 기존의 다른 에너지 함수나 필터 기반 업샘플링 방법보다 우수한 성능을 나타내었다.

• Journal of Broadcast Engineering
• /
• v.20 no.3
• /
• pp.368-378
• /
• 2015

3D conversion technology has been studied over past decades and integrated to commercial 3D displays and 3DTVs. The 3D conversion plays an important role in the augmented functionality of three-dimensional television (3DTV), because it can easily provide 3D contents. Generally, depth cues extracted from a static image is used for generating a depth map followed by DIBR (Depth Image Based Rendering) rendering for producing a stereoscopic image. However except some particular images, the existence of depth cues is rare so that the consistent quality of a depth map cannot be accordingly guaranteed. Therefore, it is imperative to make a 3D conversion method that produces satisfactory and consistent 3D for diverse video contents. From this viewpoint, this paper proposes a novel method with applicability to general types of image. For this, saliency as well as edge is utilized. To generate a depth map, geometric perspective, affinity model and binomic filter are used. In the experiments, the proposed method was performed on 24 video clips with a variety of contents. From a subjective test for 3D perception and visual fatigue, satisfactory and comfortable viewing of 3D contents was validated.

• Broadcasting and Media Magazine
• /
• v.18 no.4
• /
• pp.54-62
• /
• 2013

• Proceedings of the Korean Information Science Society Conference
• /
• 2010.06c
• /
• pp.521-524
• /
• 2010

영상을 입체적으로 보는 방법에는 안경을 이용한 편광 방식과 시분할 방식, 안경이 필요 없는 패럴랙스 베리어, 렌티큘러, 다시점 방식 그리고 완전 3차원 방법들이 있다. 그 중에서도 안경을 이용하여 가장 쉽게 제작이 가능하고, 비용이 저렴한 애너그리프(Anaglyph) 방법이 흔히 사용된다. 애너그리프 영상을 생성하는 방법에도 여러 가지가 존재하고 최근까지 눈에 피로를 적게 하면서 입체감을 최대한 표현할 수 있는 영상을 생성하기 위한 연구가 진행되고 있다. 본 논문에서는 이러한 조건을 만족시키기 위하여 새로운 애너그리프 영상 생성 방법을 제안한다. 본 논문에서 제안하는 방법은 깊이 맵과 양안시차를 계산하여 가장 입체감 있는 애너그리프 영상을 생성 하는 방법이다. 깊이 맵의 계산을 통해 얻은 변이 정보와 실험적으로 계산한 사람 눈의 양안시차를 좌측 영상에 적용한다. 좌측 영상과 우측 영상을 최적화된 색상혼합방법을 사용하여 합성하면 제안한 방식의 애너그리프 영상이 생성된다. 본 논문에서 제안하는 방법은 기존의 초점을 고려하지 않는 애너그리프 방식의 문제점을 깊이 맵을 이용하여 해결할 수 있고 또한 양안시차를 고려하고 최적화된 색상혼합을 사용하기 때문에 눈에 피로가 적어진다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2009.11a
• /
• pp.219-222
• /
• 2009

자유시점 비디오는 단순히 수동적으로 비디오를 보는 것이 아니라 원하는 시점을 자유로이 선택하여 보는 능동형 비디오이다. 일반적으로 다양한 위치 및 다양한 각도에 위치하는 다수의 카메라로부터 촬영된 영상을 이용하여 제작하는데, 이 기술은 박물관 투어, 엔터테인먼트 등의 다양한 분야에서 활용된다. 본 논문에서는 자유시점 비디오의 새로운 분야로 한 장의 영상을 가상 카메라와 깊이맵을 이용하여 영상 내부를 네비게이션하는 자유시점 입체 Tour-Into-Picture (TIP)을 제안한다. 오래전부터 TIP가 연구되어 왔는데, 이 분야는 한 장의 사진 내부를 탐험하면서 애니메이션으로 볼 수 있게 하는 기술이다. 제안 방법은 전처리과정으로 전경 마스크, 배경영상, 및 깊이맵을 자동 및 수동 방법으로 구한다. 다음에는 영상 내부를 항해하면서 투영 영상들을 획득한다. 배경영상과 전객객체의 3D 모델링 데이터를 기반으로 가상 카메라의 3차원 공간 이동, yaw, pitch, rolling의 회전, look-around effect, 줌인 등의 다양한 카메라 기능을 활용하여 자유시점 비디오를 구현한다. 또한 깊이정보의 특성 및 구조에 따라 놀라운 시청효과를 전달하는 카메라 기능의 설정 방법을 소개한다. 소프트웨어는 OpenGL 및 MFC Visual C++ 기반으로 구축되었으며, 실험영상으로 조선시대의 작품인 신윤복의 단오풍정을 사용하였고, 입체 애니메이션으로 제작되어 보다 실감있는 콘텐츠를 제공한다.