• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2008.11a
• /
• pp.259-262
• /
• 2008

본 논문에서는 다시점 비디오와 깊이 정보의 상관도를 이용해서 현재 JVT(joint video team)에서 표준화 된 다시점 비디오 부호화 (multi-view video coding : MVC)의 참조 소프트웨어인 JMVM(joint multi-view video model)을 기반으로 하여 효율적인 다시점 비디오 압축 방법을 제안한다. 기존의 일반적인 비디오 부호화 방식은 단일 시점에 대한 비디오 부호화 기술이기 때문에 다시점 비디오 전송을 위해서는 시점 당 각각 전송 채널에 필요하다. 하지만 다시점 비디오 부호화 기법을 이용하게 되면, 단일 전송 채널을 이용하여 전송이 가능하다. 본 논문에서 제안된 방법은 입력된 다시점 입력 영상과 해당 하는 깊이 정보를 이용하여 시점 간의 예측 방법의 효율성을 높였다. 다시점 입력 영상과 깊이 정보의 전역 변이 벡터 (global disparity vector : GDV)의 상관도를 이용하였으며, 다시점 영상과 깊이 정보를 동시에 전송해야 할 경우 복잡도를 낮출 수 있고, 약 $0.01{\sim}0.1dB$의 PSNR 이득을 얻을 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.06a
• /
• pp.140-143
• /
• 2019

본 논문에서는 사용자 시점에 대응하는 고화질 360 비디오 제공을 위해 다시점 360 비디오 중복성 제거기법을 적용하고 잔여 비디오를 하나의 영상으로 병합하여 압축 후 전송하는 시스템을 구현한다. 사용자 움직임 적응적 360 비디오 스트리밍을 지원하는 three degrees of freedom plus (3DoF+)를 위한 시스템은 다시점에서 촬영된 다수의 고화질 360 비디오 전송을 요구한다. 이에 대한 방안으로 다시점 비디오 간 중복성 제거를 위한 3D warping 을 기반으로 하는 뷰 간 중복성 제거 기술과 비디오 복원에 필요한 타일들만 추출 및 병합해주는 잔여 뷰 병합 기술에 대한 구현 내용을 설명한다. 제안된 시스템을 기반으로 다시점 360 비디오 전송을 수행하면, 기존 high-efficiency video coding (HEVC)을 사용하여 전송했을 때 대비 최대 20.14%의 BD-rate 감소가 가능함을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2009.11a
• /
• pp.191-194
• /
• 2009

본 논문에서는 효율적인 다시점 비디오 부호화를 위해 히스토그램(histogram)을 이용한 다시점 비디오의 휘도(luminance)와 색차(chrominance)성분 보상 기법을 제안한다. 다시점 비디오는 카메라의 기하학적인 위치 차이와 여러 대의 카메라가 동일한 특성을 가지도록 완벽히 조정되지 못함으로 인해 동일한 시간대에 촬영된 인접한 시점 영상 간에 휘도와 색상의 차이가 발생할 수 있다. 이러한 특성은 인접한 카메라로부터 획득된 영상을 참조하여 시점간 움직임 예측 시에 오정합의 원인이 되어 부호화 효율을 떨어뜨리게 된다. 본 논문에서는 효율적인 다시점 비디오 부호화를 위해 시점간의 히스토그램을 비교하여 정합하는 휘도 및 색차 보상 기법을 수행한다. 일정한 시간 대역(time interval)에서 다시점 비디오의 평균 누적 히스토그램을 이용하여 참조 영상을 생성하고 각 시점별로 정합 함수를 통해 다시점 영상 간의 휘도와 색상의 불일치성을 보상한다. 제안하는 조명 보상 기법을 통하여 다시점 비디오 부호화 효율을 높일 수 있었다.

• The Journal of the Korea Contents Association
• /
• v.14 no.4
• /
• pp.9-18
• /
• 2014

Recently, many researches have been focused on multi-view video applications and services such as wireless video surveillance networks, wireless video sensor networks and wireless mobile video. In multi-view video signal processing, to exploit the strong correlation between images acquired by different cameras plays great role in developing a core technique of multi-view video coding. This paper proposes an adaptive multi-view video interpolation technique which is applicable for multi-view distributed video coding without requiring any cooperation amongst the cameras. The proposed algorithm estimates the non-linear moving blocks and employs disparity compensated view prediction, and then fills in the unreliable blocks. Through computer simulations, it is shown that the proposed method outperforms the conventional methods.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.07a
• /
• pp.77-79
• /
• 2010

본 논문은 다시점 비디오의 조명 불일치 현상을 효과적으로 보상하기 위한 히스토그램 매칭 기법의 성능을 향상시키는 영상의 에지 방향성을 고려한 전처리 기법을 제안하였다. 다시점 비디오는 카메라 간 서로 다른 위치와 방위로 인해 인접한 시점 영상 간에 존재하는 동일 물체에 색상 차이가 발생할 수 있다. 히스토그램 매칭 기법은 모든 시점 영상의 히스토그램을 정해진 참조시점 영상의 히스토그램에 매칭시켜 다시점 비디오의 조명 불일치 현상을 보상하는 방법이다. 본 논문에서는 히스토그램 매칭을 수행하기 전에 ELA(Edge-based Line Averaging) 선형 보간 기법과 Cosited 대표 값 추출 필터를 결합한 전처리 필터를 선행하여 조명 보상 효과와 다시점 부호화 성능을 향상시켰다. 실험을 통해 제안하는 전처리 기법이 일반적인 다시점 비디오 부호화에 비해 약 2 dB의 평균 PSNR 향상과 34%의 비트율 절감 효과를 가짐을 확인하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2012.04a
• /
• pp.386-389
• /
• 2012

다시점 비디오는 3차원 정보를 표현하기 위한 영상으로 하나의 3차원 장면을 여러 시점에서 다수의 카메라로 촬영한 동영상이다. 영상들 사이에 존재하는 시간적 상관성과 화면간 상관성을 이용하는 다시점 비디오 부호화는 카메라의 수에 비례하여 데이터의 양이 늘어나기 때문에 계산량을 줄일 수 있는 다시점 비디오 부호화 기술이 필요하다. 본 논문에서는 다시점 비디오의 부호화 성능을 향상시키기 위한 효율적인 예측구조를 제안한다. 제안한 예측 구조는 다시점 비디오의 부호화 효율을 높이기 위하여 부호화되는 현재 화면과 현재 화면이 참조하는 참조 화면들과의 평균 거리, B계층 최대 인덱스 그리고 각 B계층의 화면 수를 고려하였다. 제안한 예측 구조의 성능을 참조 예측 구조의 성능과 비교하였을 때 영상 화질 면에 있어서 제안한 예측 구조가 참조 예측 구조보다 약 0.07~0.13 (dB) 성능 향상을 보였다. 발생되는 평균 초당 비트량에 있어서 제안한 예측 구조가 참조 예측 구조보다약 +3 ~ -6.5(Kbps) 감소하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.11a
• /
• pp.270-272
• /
• 2011

다시점 비디오는 사용자들에게 자유로운 시점 선택 및 넓은 시점에서의 입체감을 제공하지만, 시점의 증가에 따른 데이터 량의 증가가 불가피하다. 이에 따라 최근 MPEG 에서는 재생되는 시점 수 보다 적은 수의 다시점 비디오와 그에 대응하는 깊이 영상 및 관련 파라미터를 메타데이터 형태로 제공하는 다시점 및 깊이 영상 부호화(MVD: Multiview plus Depth)에 대한 표준화를 진행하고 있다. 본 논문은 MVD 가 방송망에서 서비스되는 시나리오를 가정하여 다시점 비디오와 그에 대응하는 깊이 영상을 MPEG-2 TS(Transport Stream)로 전송하기 위한 기법을 제시한다. 제안한 기법은 기존의 단일 영상 및 깊이 영상을 전송하기 위한 부가비디오스트림 서술자(Auxiliary Video Stream Descriptor) 및 MPEG-C Part 3 표준을 확장하여 다시점 비디오와 그에 대응하는 깊이 영상간의 매핑 정보 및 각 시점의 깊이 파라미터를 제공할 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.07a
• /
• pp.80-82
• /
• 2010

본 논문에서는 깊이 정보를 이용하여 영상을 색상 분포가 각각 다른 객체 영상으로 분리하고 개별적으로 히스토그램 매칭 기법을 적용하는 조명 보상 기법을 제안한다. 서로 위치가 다른 다시점 카메라의 경우, 다시점 비디오 부호화(multi-view video coding)의 성능을 저하시키는 인접 시점 영상 간 조명 불일치 현상이 발생한다. 이러한 조명 불일치를 보상하기 위한 히스토그램 매칭(histogram matching)을 이용한 전처리 기법이 제안되었다. 모든 시점의 다시점 영상 히스토그램은 정해진 참조 시점 영상의 히스토그램으로 매칭되어 조명 불일치와 다시점 비디오 부호화의 성능을 개선할 수 있다. 하지만 일반적인 영상은 색상 분포와 깊이 정보가 상호 독립적인 객체들로 구성되어 있다. 또한 다시점 비디오는 시점에 따라 획득된 영상 간에 동일 객체의 위치와 깊이가 서로 달라 정해진 참조 시점의 히스토그램으로 매칭하는 기존의 방법은 적합하지 않다. 본 논문에서는 주어진 영상 내에서 깊이 정보를 이용하여 객체를 먼저 분리하고, 객체 영상별로 히스토그램 매칭 기법을 적용하여 색상 보상을 수행하는 새로운 기법을 제안한다. 실험을 통해 제안하는 객체 단위의 조명 보상 기법이 향상된 다시점 비디오 부호화 효율을 보이는 것을 확인하였다.

• Journal of Broadcast Engineering
• /
• v.12 no.6
• /
• pp.565-573
• /
• 2007

In this paper, we propose a method to select motion vector predictor by considering prediction structure of a multi view content for coding efficiency of multi view coding which is being standardized in JVT. Motion vector of a different tendency is happened while carrying out temporal and view reference prediction of multi-view video coding. Also, due to the phenomena of motion vectors being searched in both temporal and view order, the motion vectors do not agree with each other resulting a decline in coding efficiency. This paper is about how the motion vector predictor are selected with information of prediction structure. By using the proposed method, a compression ratio of the proposed method in multi-view video coding is increased, and finally $0.03{\sim}0.1$ dB PSNR(Peak Signal-to-Noise Ratio) improvement was obtained compared with the case of JMVM 3.6 method.

• Journal of Korea Multimedia Society
• /
• v.15 no.9
• /
• pp.1093-1101
• /
• 2012

Multi-view video is obtained by capturing one three-dimensional scene with many cameras at different positions. Multi-view video coding exploits inter-view correlations among pictures of neighboring views and temporal correlations among pictures of the same view. Multi-view video coding which uses many cameras requires a method to reduce the computational complexity. In this paper, we proposed an efficient prediction structure to improve performance of multi-view video coding. The proposed prediction structure exploits an average distance between the current picture and its reference pictures. The proposed prediction structure divides every GOP into several small groups to decide the maximum index of hierarchical B layer and the number of pictures of each B layer. Experimental results show that the proposed prediction structure shows good performance in image quality and bit-rates. When compared to the performance of hierarchical B pictures of Fraunhofer-HHI, the proposed prediction structure achieved 0.07~0.13 (dB) of PSNR gain and was down by 6.5(Kbps) in bitrate.