• 방송공학회논문지
• /
• 제12권2호
• /
• pp.128-136
• /
• 2007

사용자에게 보다 실감나는 입체감을 제공하기 위해 개발되고 있는 다시점 비디오는 두 대 이상의 카메라를 이용하여 촬영한 영상들을 기하학적으로 교정하고 공간적으로 처리하여 여러 방향의 다양한 시점 영상을 사용자에게 제공하는 3차원 영상처리 기술의 새로운 분야이다. 다시점 비디오는 사용자에게 시청 시점을 자유롭게 선택할 수 있는 기회를 주고 넓은 화면을 통한 3차원 입체감을 느낄 수 있는 장점을 가진다. 그러나 다시점 비디오는 시점 수가 증가하는 만큼 데이터 양도 증가하므로 효율적인 데이터 처리 방법이 요구된다. 최근 인접한 시점의 영상을 이용하여 중간시점의 영상을 합성하고 이를 부호화에 적용하는 방법이 연구되고 있다. 다시점 비디오 부호화 효율을 높이기 위해 제안되었던 기존의 영상보간법은 최대변위 설정과 고정된 블록을 이용한 블록정합 방법을 이용한다. 이때, 변위 종류가 다양한 영상이거나 변위차가 큰 영역에 대해서 변위 오류가 많이 발생한다. 이 논문에서는 이러한 문제점을 보완하고 개선된 화질의 중간시점의 영상을 얻기 위한 방법과 이 영상을 이용하여 부호화에 적용하는 방법을 제안한다. 제안한 영상보간법은 변위의 검색 범위를 초기에 설정하지 않고 블록 단위부터 화소 단위까지 변위를 측정하여 중간영상을 합성한다. 또한 이렇게 합성한 영상을 부호화 과정에서 참조 영상으로 추가하여 부호화한다. 이 논문에서 제안한 방법을 이용한 결과, 기존의 영상 보간법보다 약 $1{\sim}4dB$ 정도 개선된 화질의 중간시점 영상을 얻었고, 이 영상들을 이용하여 제안한 부호화 방법으로 부호화한 결과 참조 모델에 비해 최대 0.5 dB의 부호화 효율이 개선됨을 확인했다.

• 방송공학회논문지
• /
• 제14권6호
• /
• pp.703-720
• /
• 2009

본 논문에서는 3D 컨텐츠 서비스에 대한 사용자의 욕구를 만족시킴과 동시에 미래 컴퓨팅 환경에 적합한 새로운 동영상 코딩 방법으로서 실감형 다시점 스케일러블 비디오 코딩 방법을 제안하였다. 미래의 비디오 코딩 방법은 스테레오 스코픽 또는 다시점 비디오를 통하여 삼차원 실감형 입체영상을 사용자로 하여금 느끼게 하는 실감형 서비스를 지원함과 동시에 다양한 통신환경 및 다양한 종류의 단말을 통합적으로 지원하기 위한 'One-source Multi-use'를 달성할 수 있어야 한다. 지금까지 2차원 디스플레이만을 지원하는 동영상 코딩 방법과는 다르게 본 논문에서 제안하는 실감형 다시점 스케일러블 비디오 코딩 방법은 그러한 실감 서비스를 지원할 수 있는 방법이다. 제안된 코딩 방법은 다시점 비디오 코딩 방법과 스케일러블 비디오 코딩 방법의 기능을 통합하는 방향으로 설계되고 구현된 후 성능 평가를 통해 실제 3D 서비스에서의 응용 가능성을 살펴보았다. 성능 평가를 통해 본 논문에서 제안하는 코딩 구조가 코딩 효율을 효율적으로 유지하면서 시점간의 랜덤 액세스 성능을 크게 높여 주는 것을 확인할 수 있었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제8권7호
• /
• pp.2464-2479
• /
• 2014

Multi-view video coding is an international encoding standard that attains good performance by fully utilizing temporal and inter-view correlations. However, it suffers from high computational complexity. This paper presents a fast encoder design to reduce the level of complexity. First, when the temporal correlation of a group of pictures is sufficiently strong, macroblock-based inter-view prediction is not employed for the non-anchor pictures of B-views. Second, when the disparity between two adjacent views is above some threshold, frame-based inter-view prediction is disabled. Third, inter-view prediction is not performed on boundary macroblocks in the auxiliary views, because the references for these blocks may not exist in neighboring views. Fourth, finer partitions of inter-view prediction are cancelled for macroblocks in static image areas. Finally, when estimating the disparity of a macroblock, the search range is adjusted according to the mode size distribution of the neighboring view. Compared with reference software, these techniques produce an average time reduction of 83.65%, while the bit-rate increase and peak signal-to-noise ratio loss are less than 0.54% and 0.05dB, respectively.

• ETRI Journal
• /
• 제36권2호
• /
• pp.242-252
• /
• 2014

Since July of 2012, the 3D video extension of H.264/AVC has been under development to support the multi-view video plus depth format. In 3D video applications such as multi-view and free-view point applications, synthesized views are generated using coded texture video and coded depth video. Such synthesized views can be distorted by quantization noise and inaccuracy of 3D wrapping positions, thus it is important to improve their quality where possible. To achieve this, the relationship among the depth video, texture video, and synthesized view is investigated herein. Based on this investigation, an edge noise suppression filtering process to preserve the edges of the depth video and a method based on a total variation approach to maximum a posteriori probability estimates for reducing the quantization noise of the coded texture video. The experiment results show that the proposed methods improve the peak signal-to-noise ratio and visual quality of a synthesized view compared to a synthesized view without post processing methods.

• 한국정보디스플레이학회:학술대회논문집
• /
• 한국정보디스플레이학회 2007년도 7th International Meeting on Information Display 제7권2호
• /
• pp.1508-1511
• /
• 2007

This paper introduces a new texture prediction for MVC( Multi-view Video Coding) which is currently being developed as an extension of the ITU-T Recommendation H.264 | ISO/IEC International Standard ISO/IEC 14496-10 AVC (Advanced Video Coding) [1]. The MVC's prcimary target is 3D video compression for 3D display system, thus, key technology compared to 2D video compression is reducing inter-view correlation. It is noticed, however, that the current JMVM [2] does not effectively eliminate inter-view correlation so that there is still a room to improve coding efficiency. The proposed method utilizes similarity of interview residual signal and can provide an additional coding gain. It is claimed that up to 0.2dB PSNR gain with 1.4% bit-rate saving is obtained for three multi-view test sequences.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제2권7호
• /
• pp.495-502
• /
• 2013

영상 화질과 인코더의 속도에 영향을 주는 움직임 추정은 동영상 내에 존재하는 중복된 데이터를 제거하기 때문에 동영상 압축에서 중요한 역할을 하지만 높은 계산 복잡도를 요구한다. 다시점 비디오는 하나의 3차원 장면을 여러 시점에서 다수의 카메라로 촬영한 동영상으로 다시점 비디오를 위한 움직임 추정은 카메라 수에 비례하여 많은 계산량을 필요로 한다. 본 논문에서는 다시점 비디오 부호화를 위한 움직임 추정의 계산량을 줄이면서 영상 화질을 유지하는 고속 움직임 추정 기법을 제안한다. 제안한 기법은 계층적인 탐색 기법으로 수정된 다이아몬드 탐색 패턴, 다중 다이아몬드 탐색 패턴, 그리고 래스터 탐색 패턴으로 구성된다. 이 탐색 패턴들은 국부적 최소화 문제를 해결하기 위하여 탐색 영역 내에 탐색 점들을 규칙적, 대칭적으로 배치하거나 움직임 벡터의 분포 특성을 이용하여 탐색 점들을 배치한다. 제안한 기법의 성능은 JMVC의 고속 움직임 추정 기법인 TZ 탐색 기법의 성능과 비교한 경우, 영상 화질과 비트량을 비슷하지만 계산량을 줄임으로서 움직임 추정 속도를 약 1.2~3배 향상시킨다.

• 한국인터넷방송통신학회논문지
• /
• 제14권2호
• /
• pp.43-51
• /
• 2014

깊이 영상을 고려한 다시점 비디오는 매우 많은 양의 데이터 때문에 저장과 전송을 위해서 새로운 부호화 압축 기술 개발이 요구된다. 계층적 깊이 영상은 다시점 비디오의 효과적인 표현방법이 된다. 이 방법은 다시점 칼라와 깊이 영상을 합성하는 데이터 구조를 만들어 준다. 이 새로운 콘텐츠를 효과적으로 압축하는 방법으로 3차원 워핑을 이용한 계층적 깊이 영상 표현과 비디오 압축 부호화를 적용하는 방법을 제안하였다. 이 논문은 계층적 영상 표현을 사용한 H.264/AVC 비디오 부호화 기술의 개선된 압축 방법을 제시하여 준다. 컴퓨터 모의시험으로 좋은 압축율과 좋은 성능의 회복 영상을 얻을 수 있음을 제시하였다.

• 한국인터넷방송통신학회논문지
• /
• 제9권1호
• /
• pp.1-9
• /
• 2009

본 논문에서는 리프팅 웨이브렛 변환을 이용한 디지털 영상의 워터마크 기술을 제안하였다. 이 워터마크 기술은 쉽게 비디오와 관련된 콘텐트에 대한 워터마크 기술로 확장 될 수 있다. 그래서 깊이 정보를 포함하는 다시점 영상을 효과적으로 압축할 수 있는 계층적 깊이 영상 구조라는 새로운 콘텐트에 제안 기술을 적용하였다. 이 방법은 기준 시점 영상에만 워터마크를 삽입하므로 그 과정이 간단하다는 장점을 가진다. 그리고 계층적 깊이 영상 구조의 특성상 나머지 시점 영상으로 워터마크가 전파되므로 모든 시점 영상에 대하여 저작권을 보호할 수 있다는 장점도 가지고 있다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제14권3호
• /
• pp.271-275
• /
• 2008

근래의 지속적인 멀티미디어 기술의 발전과 컨덴츠를 이용하는 사용자의 향상된 욕구가 부합하여 새로운 실감 미디어 기술이 창출되고 있다. 그 중에서 다시점 비디오는 3차원 TV, 자유 시점 비디오 등의 기반 기술로써 활발하게 연구되고 있다. 하지만 시점 수의 증가에 따른 부호화 시간 증가, 비트율 증가 등이 문제점으로 작용한다. 본 논문에서는 다시점 비디오의 부호화 효율을 높이기 위해 향상된 GoGOP 구조를 제안한다. 즉, Key 프레임 위치 조절, 동적인 I 프레임 수 그리고 동적인 B 프레임 수를 이용하는 방법을 적용하여 향상된 GoGOP 구조를 제안하였다. 실험 결과, 본 논문에서 제안한 기법이 Anchor 구조와 비교하여 유사한 PSNR 값을 가지면서, 비트율이 상당히 감소하였다.

• 방송공학회논문지
• /
• 제19권5호
• /
• pp.713-725
• /
• 2014

차세대 영상 기술의 하나로 다양한 분야에서 주목받고 있는 고품질 다시점 및 3차원 콘텐츠들에 대한 비디오 부호화 기술의 연구 및 표준화가 활발히 진행되고 있다. 다시점 및 3차원 비디오 기술은 복수의 시점을 이용하여 사용자에게 실감나는 영상을 제공할 수 있다. 하지만, 많은 시점을 획득 및 전송하는 것은 한계가 있으므로, 소수의 시점을 이용하여 다양한 시점을 제공하는 연구가 주를 이룬다. 이러한 연구에는 전송 시점을 줄이는 대신 깊이 정보를 전송하여 전송된 시점으로부터 더욱 정확히 임의 시점을 생성하는 기술과 시점간 정보 중복성을 제거하기 위한 부호화 기술이 있다. 최근 국제 표준화 기구인 JCT-3V(Joint Collaborative Team on 3D Video Coding Extension Development)에서는 다시점 및 3차원 비디오 영상을 효율적으로 부호화할 수 있는 기술에 대하여 표준화가 진행되고 있다. 본 논문은 현재 JCT-3V에서 HEVC(High Efficiency Video Coding) 기반으로 표준화가 진행 중인 3D-HEVC 부호화 기술에 대해 살펴보고 그 부호화 및 복잡도 성능을 분석하였다. 이러한 성능 분석은 향후 부호화 성능 향상을 위한 알고리즘 개발 및 고속 부호화기 개발을 위한 부호화 툴의 선별 및 조정에 유용할 것으로 판단된다.