• 방송공학회논문지
• /
• 제9권3호
• /
• pp.185-195
• /
• 2004

본 논문에서는 정확한 3차원 장면복원을 위한 다중깊이맵 융합기법을 제안한다. 제안한 기법은 수동적 3차원 정보획득 방법인 스테레오 정합기법과 능동적 3차원 정보획득 방법인 깊이정보 카메라로부터 얻어진 다중깊이맵을 융합한다. 전통적인 두 개의 스테레오 영상 간에 변이정보를 추정하는 전통적 스테레오 정합기법은 차폐 영역과 텍스쳐가 적은 영역에서 변이 오차를 많이 발생한다. 또한 깊이정보 카메라를 이용한 깊이맵은 비교적 정확한 깊이정보를 얻을 수 있으나, 잡음이 많이 포함되며, 측정 가능한 깊이의 범위가 제한되어 있다. 따라서 본 논문에서는 이러한 두 기법의 단점을 극복하고, 상호 보완하기 위하여 이 두 기법에 의해 얻어진다. 중깊이맵의 변이 또는 깊이값을 적절하게 선택하기 위한 깊이맵 융합기법을 제안한다. 3-시점 영상으로부터 가운데 시점을 기준으로 좌우 영상에 대해 두 개의 변이맵들을 각각 얻으며, 가운데 시점 카메라에 설치된 깊이정보 카메라로부터 얻어진 깊이맵들 간에 위치와 깊이값을 일치시키기 위한 전처리를 행한 다음. 각 화소 위치의 텍스쳐 정보, 깊이맵 분포 등에 기반하여 적절한 깊이값을 선택한다. 제안한 기법의 컴퓨터 모의실험 결과. 일부 배경 영역에서 깊이맵의 정확도가 개선됨을 볼 수 있었다.

• 방송공학회논문지
• /
• 제14권5호
• /
• pp.601-615
• /
• 2009

본 논문에서는 3D-Video에서 가상시점 영상을 생성하는데 필요한 깊이정보 맵의 효율적인 부호화 방법을 제안한다. 가상시점 영상은 실사 영상의 깊이정보 맵을 이용한 시점보간(View Interpolation) 방법으로 생성된다. 일반적으로 깊이정보 맵의 부호화에는 H.264 등의 자연영상에 대한 동영상 부호화 방법을 그대로 적용하고 있는데, 이러한 부호화 방법은 깊이정보 맵의 특성을 고려하지 않은 방법이다. 따라서 본 논문에서는 깊이정보 맵의 영상특성을 고려하여, 맵 정보를 그레이 코드로 변환한 후 비트평면 단위로 부호화하는 방법과, H.264 부호화 방법을 블록단위로 적응적으로 선택하여 부호화하는 방법을 제안하였다. 실험결과로서 제안하는 방법의 성능은 H.264 부호화 방법에 비하여, BD-PSNR이 평균 0.5dB 향상되고, BD-rate는 평균 7.43% 감소되어 부호화효율이 우수함을 확인할 수 있었다. 또한 복원된 깊이정보 맵을 이용하여 생성된 가상시점 영상 간의 비교에서 제안하는 방법이 H.264 부호화 방법에 비해 주관적 화질이 크게 향상된 것을 확인할 수 있었다.

• 방송공학회논문지
• /
• 제15권2호
• /
• pp.232-235
• /
• 2010

본 논문에서는 깊이정보 맵의 효율적인 부호화 방법을 제안한다. 블록 기반 적응적 깊이정보 맵 부호화 방법에서는 깊이정보 맵에 대한 비트율 조절을 위해 양자화 변수를 이용하여 부호화할 비트평면의 수를 결정한다. 이러한 양자화 변수에 의한 제약 조건에서 벗어나서 부호화할 비트평면을 블록 단위에서 결정하는 방법을 제안한다. 실험 결과, 제안하는 방법이 블록 기반 적응적 깊이정보 맵 부호화 방법보다 BD-PSNR이 0.25 dB 향상되었고 BD-rate가 3.5% 감소되어 제안하는 방법의 우수함을 확인할 수 있었다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2018년도 춘계학술대회
• /
• pp.281-282
• /
• 2018

초다시점 영상 콘텐츠는 스테레오스코픽 영상이나 무안경 다시점 영상에서 문제가 되는 관찰자 양안의 수렴조절작용의 불일치로 인한 눈의 피로도 문제를 해결할 수 있는 완전 입체 영상을 제시할 수 있는 기술로 홀로그램 영상과 더불어 3D 영상 미디어의 긍극적인 발전방향으로 볼 수 있다. 현재 기술수준으로는 디스플레이 기술에 대한 기초 기반 연구와 함께 기술 검증 기술 검증단계에 머물러 있다. Depth Map(깊이 지도)은 3차원 컴퓨터 그래픽스에서 관찰 시점(viewpoint)으로부터 물체 표면과 의 거리와 관련된 정보가 담긴 하나의 영상 또는 영상의 한 채널이다.

• 한국멀티미디어학회논문지
• /
• 제17권6호
• /
• pp.733-740
• /
• 2014

With the development and spread of 3D display, users can easily experience an augmented reality with 3D features. Therefore, the demand for content of an augmented reality is exponentially growing in various fields. A traditional augmented reality environment was generally created by CG(Computer Graphics) modelling production tools. However, this method takes too much time and efforts to create an augmented environment. To create an augmented environment similar to the real world, everything in the real world should be measured, gone through modeling, and located in an augmented environment. But the time and efforts spent in the creation don't produce the same environment as the real world, making it hard for users to feel the sense of reality. In this study, multi-scale 3D panorama content augmented system is suggested by using a depth-map. By finding matching features from images to add 3D features to an augmented environment, a depth-map is derived and embodied as panorama, producing high-quality augmented content system with a sense of reality. With this study, limits of 2D panorama technologies will be overcome and a sense of reality and immersion will be provided to users with a natural navigation.

• 한국전자통신학회논문지
• /
• 제6권6호
• /
• pp.831-838
• /
• 2011

컴퓨터 그래픽스 적용분야에서 표현되는 모습들은 현실 세계의 모습을 기반으로 컴퓨터 비전(Computer Vision) 분야에서는 사실적인 3D(Dimension) 모델 또는 가상 환경을 구축하기 위한 연구가 활발하게 진행되고 있다. 3D 디스플레이의 발전과 보급으로 인해 사용자들이 입체감 있는 3차원 가상현실을 손쉽게 접할 수 있게 됨에 따라 가상현실 콘텐츠에 대한 수요가 증가되고 있다. 본 논문은 소실점 위치에 따른 깊이지도 생성 기법을 이용하여 3D 파노라마 시스템을 제안했다. 3D 파노라마는 사용자에게 마치 촬영 장소에 서서 주위를 살펴보는 것과 같은 입체감 있는 효과가 나타난다. 또한, 3D 파노라마 시스템은 넓은 영역에 대해 근거리의 사물과 원거리의 배경에 대한 자유로운 시점과 변함없는 고화질의 사진과 같은 현실감 있는 3차원 입체영상이 제공된다.

• 감성과학
• /
• 제16권1호
• /
• pp.29-42
• /
• 2013

본 연구에서는 피사체의 깊이와 깊이 표현의 상세레벨(detail level)을 각기 다르게 조정한 깊이맵을 이용하여 2D-to-3D 입체변환을 수행하고, 변환된 입체 이미지를 기반으로 시청자 평가 실험을 진행하여 피사체의 절대적 깊이 변화와 배경간의 깊이 차이에 따라 깊이맵의 상세레벨이 깊이감, 볼륨감, 불편감에 미치는 효과를 분석하였다. 주객체의 깊이는 3 레벨로 조정하였고, 또한, 주객체와 배경과의 상대적 깊이 차이도 하나의 독립변인으로 분석하기 위하여 3 레벨로 조정하였다. 깊이맵의 깊이 표현의 상세레벨을 다시 3레벨로 나누어, 이들 조건을 만족하는 18개의 깊이맵을 정의하고 이를 기반으로 실험을 위한 입체영상을 생성하였다. 18개의 입체영상을 실험참가자에게 보여 주고 설문을 통하여 각 영상별로 실험자들이 느끼는 주관적 입체감, 볼륨감, 불편감을 조사하였다. 그 결과 주 피사체의 절대적 위치와 피사체-배경간의 상대적 거리차이가 달라짐에 따라 깊이맵의 상세도가 깊이감, 볼륨감, 불편감에 미치는 영향력이 달라지는 결과를 얻었다. 단색 깊이맵의 경우는 주객체의 절대적 깊이위치에 상관없이 전반적으로 볼륨감을 크게 훼손하고, 스크린의 안쪽에 객체가 위치하는 경우, 다른 상세레벨의 깊이맵에 비해 깊이감도 크게 저하시키는 효과를 보이기 때문에 주객체의 절대적 위치와 상관없이 사용을 피하는 것이 바람직 한 것으로 분석되었다. 또한, 세밀한 깊이맵과 간략한 깊이맵을 적용하였을 때 실험자가 입체감을 크게 다르게 느끼지 못하는 것으로 나타남에 따라 입체변환시 모든 장면에 너무 과도하게 상세한 깊이맵을 구성할 필요가 없는 것으로 분석되었다.

• 한국통신학회논문지
• /
• 제38C권10호
• /
• pp.875-880
• /
• 2013

시청자에게 입체감과 몰입감을 줄 수 있는 3차원 영상의 제작을 위해서는 장면의 색상 영상과 함께 깊이 정보가 필요하다. 일반적으로 장면의 깊이를 측정하는 깊이 센서에서 획득된 깊이 영상은 매우 작은 해상도를 가진다. 따라서 색상 영상과 함께 3차원 영상 제작에 이러한 깊이 영상을 사용하기 위해서는 저해상도 깊이 영상의 업샘플링 기술이 필요하다. 본 논문에서는 깊이 불연속 정보를 이용하여 저해상도 깊이 영상을 업샘플링하는 방법을 설명한다. 깊이 영상을 업샘플링할 때 가장 민감하게 다루어야 할 깊이 불연속 부분을 고해상도 색상과 저해상도 깊이 영상으로부터 찾아낸다. 그리고 깊이 불연속 부분을 고려하여 깊이 영상 업샘플링을 위한 에너지 함수를 모델링하고, 신뢰 확산(belief propagation) 방법을 이용하여 해상도가 확대된 깊이 영상을 획득한다. 제안하는 방법은 필터 기반이나 에너지 함수 기반의 다른 방법들보다 우수한 성능을 나타내었다.

• IEIE Transactions on Smart Processing and Computing
• /
• 제6권3호
• /
• pp.175-182
• /
• 2017

In this paper, we present a multi-depth generation method using a time-of-flight (ToF) fusion camera system. Multi-view color cameras in the parallel type and ToF depth sensors are used for 3D scene capturing. Although each ToF depth sensor can measure the depth information of the scene in real-time, it has several problems to overcome. Therefore, after we capture low-resolution depth images by ToF depth sensors, we perform a post-processing to solve the problems. Then, the depth information of the depth sensor is warped to color image positions and used as initial disparity values. In addition, the warped depth data is used to generate a depth-discontinuity map for efficient stereo matching. By applying the stereo matching using belief propagation with the depth-discontinuity map and the initial disparity information, we have obtained more accurate and stable multi-view disparity maps in reduced time.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 하계학술대회
• /
• pp.275-278
• /
• 2012

본 논문에서 2D-3D 자동 영상 변환을 위하여 2D 상으로부터 깊이 지도(depth map)을 생성하는 방법을 제안한다. 제안하는 방법은 보다 정확한 깊이 지도 생성을 위해 영상의 전경 깊이 지도(foreground depth map)와 배경 깊이 지도(background depth map)를 각각 생성 한 후 결합함으로써 보다 정확한 깊이 지도를 생성한다. 먼저, 전경 깊이 지도를 생성하기 위해서 라플라시안 피라미드(laplacian pyramid)를 이용하여 포커스/디포커스 깊이 지도(focus/defocus depth map)를 생성한다. 그리고 블록정합(block matching)을 통해 획득한 움직임 시차(motion parallax)를 이용하여 움직임 시차 깊이 지도를 생성한다. 포커스/디포커스 깊이 지도는 평탄영역(homogeneous region)에서 깊이 정보를 추출하지 못하고, 움직임 시차 깊이 지도는 움직임 시차가 발생하지 않는 영상에서 깊이 정보를 추출하지 못한다. 이들 깊이 지도를 결합함으로써 각 깊이 지도가 가지는 문제점을 해결하였다. 선형 원근감(linear perspective)와 선 추적(line tracing) 방법을 적용하여 배경깊이 지도를 생성한다. 이렇게 생성된 전경 깊이 지도와 배경 깊이 지도를 결합하여 보다 정확한 깊이 지도를 생성한다. 실험 결과, 제안하는 방법은 기존의 방법들에 비해 더 정확한 깊이 지도를 생성하는 것을 확인할 수 있었다.