• 한국통신학회논문지
• /
• 제40권12호
• /
• pp.2530-2538
• /
• 2015

깊이맵은 색채 영상과 달리 색상 정보가 아닌 깊이 정보가 픽셀 값을 이루고 있어서 색차가 크더라도 비슷한 거리에 있으면 유사한 픽셀 값으로 나타난다. 또한 색채 영상은 미세한 영역에서 단계적으로 값이 변하면서 대상의 윤곽을 나타내지만 깊이맵은 픽셀 값이 계단식으로 변하여 픽셀 값이 변하는 지점에서 급변하는 경향이 있다. 이러한 깊이맵의 특성상 경계 영역과 그 외의 영역으로 크게 영상의 영역을 구분 할 수 있고, 전송 시 나타나는 오류에 대해 각 영역에 효과적으로 적용 될 수 있는 오류 은닉 방법이 필요하다. 본 연구에서는 깊이맵의 경계 방향에 따라 영역을 구분하고 각 영역의 값이 변화하는 방향성에 맞추어 적응적으로 오류가 은닉 될 수 있는 방법을 적용하여 깊이맵을 복구한다. 복구된 깊이맵은 다시점 영상과 함께 합성하여 새로운 중간 시점 영상을 만들고 이를 객관적 화질평가 방법을 통해 평가한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 하계학술대회
• /
• pp.31-33
• /
• 2012

MPEG 3DV 그룹에서는 재생되는 시점 수 보다 적은 시점의 다시점 비디오와 그에 대응하는 깊이영상 및 관련 파라미터를 하나의 비트스트림으로 부호화하는 다시점 및 깊이영상 부호화(MVD: Multiview Video plus Depth) 표준화가 진행 중에 있다. 본 논문은 3DV MVD 비트스트림 포맷을 MPEG-2 TS 로 다중화하기 위한 TS 다중화 확장기법을 제안한다. 또한, MVD 재현 시나리오에 따른 효율적인 TS 전송 구조를 제시하고, TS 다중화 SW 툴의 설계 및 구현을 통하여 그 장단점을 고찰한다. 제안된 기법은 프로그램 및 ES 에 대한 정보를 함께 다중화하여 MVD 의 다양한 재현 시나리오 적응 및 효율적인 복호화 및 가상시점 합성을 지원할 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 추계학술대회
• /
• pp.270-272
• /
• 2011

다시점 비디오는 사용자들에게 자유로운 시점 선택 및 넓은 시점에서의 입체감을 제공하지만, 시점의 증가에 따른 데이터 량의 증가가 불가피하다. 이에 따라 최근 MPEG 에서는 재생되는 시점 수 보다 적은 수의 다시점 비디오와 그에 대응하는 깊이 영상 및 관련 파라미터를 메타데이터 형태로 제공하는 다시점 및 깊이 영상 부호화(MVD: Multiview plus Depth)에 대한 표준화를 진행하고 있다. 본 논문은 MVD 가 방송망에서 서비스되는 시나리오를 가정하여 다시점 비디오와 그에 대응하는 깊이 영상을 MPEG-2 TS(Transport Stream)로 전송하기 위한 기법을 제시한다. 제안한 기법은 기존의 단일 영상 및 깊이 영상을 전송하기 위한 부가비디오스트림 서술자(Auxiliary Video Stream Descriptor) 및 MPEG-C Part 3 표준을 확장하여 다시점 비디오와 그에 대응하는 깊이 영상간의 매핑 정보 및 각 시점의 깊이 파라미터를 제공할 수 있다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.620-624
• /
• 2009

본 논문은 고화질(high definition, HD) 복합형 카메라 시스템과 고품질(high-quality) 3차원 스캐너를 결합하여 다시점 비디오와 그에 상응하는 다시점 깊이맵을 생성하는 시스템을 제안한다. 복합형 카메라 시스템과 3차원 스캐너를 이용해 3차원 비디오를 생성하기 위해서는, 우선 움직임이 없는 배경영역에 대한 깊이정보를 고품질 3차원 스캐너를 이용해 미리 획득하고, 동적으로 움직이는 전경영역에 대해서는 다시점 카메라와 깊이 카메라를 결합한 복합형 카메라 시스템을 이용해 다시점 비디오와 깊이맵을 획득한다. 그리고 3차원 스캐너와 깊이카메라를 통해 획득한 깊이정보를 이용해 3차원 워핑(warping)을 적용하여 각 다시점 카메라를 위한 초기 깊이정보를 예측한다. 초기 깊이정보를 이용해 다시점 깊이를 예측하는 것은 다시점 카메라의 각 시점에서의 초기 깊이맵을 계산하기 위한 것이다. 고화질의 다시점 깊이맵을 생성하기 위해서 belief propagation 방법을 이용하여 초기 깊이맵을 정제한다. 마지막으로, 전경영역의 경계선 영역의 불규칙적인 깊이맵을 정제하기 위해 전경영역의 외곽선 정보를 추출하여 생성된 깊이맵의 경계선 영역을 다시한번 정제한다. 제안한 3차원 스캐너와 복합형 카메라를 결합한 시스템은 기존의 깊이맵 예측 방법보다 정확한 다시점 깊이맵을 포함하는 3차원 비디오를 생성할 수 있었으며, 보다 자연스러운 3차원 영상을 생성할 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.51-53
• /
• 2022

고정된 위치를 중심으로 회전운동만 체험할 수 있는 3 자유도(DoF: Degrees of Freedom)를 넘어 위치를 변경하며 운동시차까지 포함된 6 자유도를 지원하는 몰입형 미디어에 대한 연구가 지속해서 진행되고 있다. 특히 부드러운 시점 변경을 제공하기 위해 특정 위치에서 샘플링 된 여러 개의 텍스쳐(또는 컬러) 및 깊이맵 영상(MVD: Multiview Video plus Depth)으로 구성된 다시점 영상을 통해 실제로 획득되지 않은 위치에서의 영상을 만들어내는 가상시점 합성(virtual view synthesis) 기술이 많이 사용되고 있다. 본 논문에서는 몰입형 미디어의 대표적인 데이터 형식인 다시점 영상을 실사 및 컴퓨터 그래픽스(CG: Computer Graphics) 환경에서 획득하는 방법에 관해 설명한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 하계학술대회
• /
• pp.452-454
• /
• 2015

본 논문에서는 다시점 깊이영상 기반 3 차원 영상시스템에서 깊이영상의 해상도에 따른 압축성능을 비교 실험한다. 다시점 깊이영상 시스템에서 깊이영상은 중간시점 합성을 위해 사용되며, 깊이영상은 중간영상의 화질에 큰 영향을 미치게 된다. 본 논문에서는 3 차원 영상시스템에서 깊이영상 해상도에 따른 중간영상의 화질변화를 분석하고, dilation filter 로 인한 성능변화를 비교 분석한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권1호
• /
• pp.224-241
• /
• 2015

Multiview plus depth (MVD) videos are widely used in free-viewpoint TV systems. The best-known technique to determine depth information is based on stereo vision. In this paper, we propose a novel local stereo matching algorithm which is radiometric invariant. The key idea is to use a combined matching cost of intensity and gradient based similarity measure. In addition, we realize an adaptive cost aggregation scheme by constructing an adaptive support window for each pixel, which can solve the boundary and low texture problems. In the disparity refinement process, we propose a four-step post-processing technique to handle outliers and occlusions. Moreover, we conduct stereo reconstruction tests to verify the performance of the algorithm more intuitively. Experimental results show that the proposed method is effective and robust against local radiometric distortion. It has an average error of 5.93% on the Middlebury benchmark and is compatible to the state-of-art local methods.

• 방송공학회논문지
• /
• 제21권6호
• /
• pp.878-888
• /
• 2016

본 논문에서는 3차원 비디오 시스템에서 손상된 깊이영상으로 인하여 합성된 가상시점 영상에서 발생하는 경계 잡음을 효과적으로 제거하는 방식을 제안한다. 제안 방식에서는 손실 압축에 의한 깊이영상의 잡음으로부터 발생하는 경계 잡음의 특징을 분석하고, 이를 바탕으로 픽셀 도메인과 주파수 도메인에서의 convex set을 설정하여 해당 조건들을 반복적으로 사영시키는 projection onto convex sets (POCS) 기법을 활용하여 올바른 정보는 유지한 채 경계 잡음만을 제거한다. 이 논문에서 제안한 방식은 영상합성 과정에서 생성되는 컬러 및 깊이영상에 모두 적용하였다. 실험 결과 제안 기법은 경계 잡음을 효과적으로 제거하여 가상시점 영상의 화질을 향상시켰음을 확인하였다.

• 한국정보통신학회논문지
• /
• 제20권2호
• /
• pp.375-384
• /
• 2016

본 논문에서는 스테레오 영상과 스테레오 영상 바깥 시점의 위성 영상 그리고 상응하는 깊이 영상이 입력으로 주어질 때 이 입력 영상들을 압축에 적합한 포맷으로 변환하고 활용하여 중간시점 영상을 합성하는 새로운 기법을 제안한다. 송출 단에서 깊이 영상들은 하나의 global 영상으로, 위성영상은 시점 이동 시에 발생하는 프레임 밖의 영역 및 가려짐 영역과 같은 홀 영역에만 해당하는 residual 영상으로 변환 후에 데이터 량을 줄이기 위하여 다운샘플링하고 주시점의 스테레오 영상과 더불어 HEVC 코덱으로 부호화 한 후 전송한다. 수신 단에서 복호화된 각 입력 영상들을 이용하여 스테레오 영상 간 그리고 스테레오 영상과 위성 영상간의 중간시점 영상을 합성한다. 실험을 통하여 제안한 포맷을 이용하여 합성한 중간 시점 영상을 MVD(Multiview Video plus Depth) 포맷을 이용하여 합성한 중간 시점 영상과 비교했을 때 전송하는 데이터의 비트율(bit-rate) 대비 객관적 그리고 주관적 화질이 뛰어남을 확인하였다.