• ETRI Journal
• /
• 제34권5호
• /
• pp.666-673
• /
• 2012

Non-real-time delivery of stereoscopic video has been considered as a service scenario for 3DTV to overcome the limited bandwidth in the terrestrial digital television system. A hybrid codec combining MPEG-2 and H.264/AVC has been suggested for the compression of stereoscopic video for 3DTV. In this paper, we propose a stereoscopic video coding scheme using adaptive pre-/post-filters (APPF) to improve the quality of 3D video while retaining compatibility with legacy video coding standards. The APPF are applied adaptively to blocks of various sizes determined by the macroblock coding mode and reference frame index. Experiment results show that the proposed method achieves up to 24.86% bit rate savings relative to a hybrid codec of MPEG-2 and H.264/AVC including the inter-view prediction.

• 한국철도학회논문집
• /
• 제8권6호
• /
• pp.559-565
• /
• 2005

In this paper, we propose a stereoscopic video coding scheme for subway accident monitoring system. The proposed designed for providing flexible video among various displays, such ass control center, station employees and train driver. We uses MPEG-2 standard for coding the left-view sequence and IBMDC coding scheme predicts matching block by interpolating both motion and disparity predicted macroblocks. To provide efficient stereoscopic video service, we define both temporally and spatially scalable layers for each eye's-view by using the concept of Spatio-Temporal scalability. The experimental results show the efficiency of proposed coding scheme by comparison with already known methods and the advantages of disparity estimation in terms of scalability overhead. According to the experimental results, we expect the proposed functionalities will play a key role in establishing highly flexible stereoscopic video codec for ubiquitous display environment where devices and network connections are heterogeneous.

• 방송공학회논문지
• /
• 제18권2호
• /
• pp.261-270
• /
• 2013

스테레오스코픽(stereoscopic) 3D 비디오 서비스는 기존 2D와의 호환성을 유지하면서 새로운 3D 비디오 서비스를 제공할 수 있다. 전송 대역이 제한된 지상파 방송의 경우 높은 부호화 효율을 갖는 스테레오스코픽 비디오 코덱이 요구된다. 따라서 기준영상은 기존 2D 비디오 서비스와의 호환성을 위해 MPEG-2로 부호화하는 반면 3D를 위한 부가영상 부호화를 위해 부호화 효율이 높은 H.264/AVC, HEVC(High Efficiency Video Coding) 등을 고려하고 있으며, 또한 부가영상을 비실시간으로 전송하는 NRT(Non-Real Time) 3D 서비스도 고려되고 있다. 본 논문에서는 NRT 3D 서비스를 위한 스테레오스코픽 비디오 부호화에 있어서, HEVC에서 고려되었던 적응루프필터(ALF: Adaptive Loop Filter)를 전/후처리 필터로 적용하는 기법을 제시한다. 특히, 부가영상의 후처리에 ALF를 적용하기 위하여 부호화 과정에 결정되는 CU(Coding Unit) 구조를 이용하는 HEVC와 달리 MVC(Multiview Video Coding)로 부호화한 부가영상의 매크로블록(MB) 부호화 모드 및 참조영상 인덱스 등의 MB 부호화 정보를 이용한 ALF 적용 기법을 제안한다. 부가 영상 부호화에 있어서 제안한 기법으로 전처리 및 후처리 과정으로 ALF를 적용함으로써 최대 약 24.9%의 비트율 감소를 확인하였다.

• ETRI Journal
• /
• 제32권6호
• /
• pp.961-964
• /
• 2010

This letter introduces a stereoscopic video broadcasting system that provides 3D visual service and has full backward compatibility with legacy digital television (DTV) service in the same channel capacity. The proposed stereoscopic video broadcasting system in this letter is composed of both a hybrid codec and a multiplexer with a newly defined stereoscopic-related signaling method. In conclusion, the proposed method can be effectively applied for 3D broadcasting services without major changes in legacy broadcasting platforms.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2005년도 학술대회 논문집 정보 및 제어부문
• /
• pp.484-486
• /
• 2005

Passenger safety is a primary concern of railway system but, it has been urgent issue that dozens of people are killed every year when they falloff from train platforms. Recently, advancements in IT have enabled applying vision sensors to railway environments, such as CCTV and stereo camera sensors. In this paper, we propose a stereoscopic video coding scheme for subway accident monitoring system. The proposed scheme is designed for providing flexible video among various displays, such as control center, station employees and train driver. We uses MPEG-2 standard for coding the left-view sequence and IBMDC for predicting the P- and B-types of frames of the right-view sequence. IBMDC predicts matching block by interpolating both motion and disparity predicted macroblocks. To provide efficient stereoscopic video service. we define both temporally and spatially scalable layers for each eye's-view by using the concept of Spatio-Temporal scalability. According to the experimental results. we expect the proposed functionalities will play a key role in establishing highly flexible stereoscopic video codec for ubiquitous display environment where devices and network connections are heterogeneous.

• 한국통신학회논문지
• /
• 제36권12C호
• /
• pp.721-726
• /
• 2011

차세대 비디오 압축 표준으로 현재 개발 중인 HEVC(high efficiency video coding)는 기존 비디오 압축 표준인 H.264/AVC에 비해 40% 정도의 성능 향상을 보인다. 기존의 양안식 영상을 부호화하기 위한 코텍은 H.264/AVC 기반으로 제작되었기 때문에, HEVC를 이용하여 양안식 영상을 부호화 하면 성능 향상을 기대할 수 있다. 또한 양안식 영상은 기존의 각 화면의 시간 상관도{temporal correlation)에 더해서 화면간의 상관도(interview correlation)가 존재하기 때문에, 좌우 영상을 함께 부호화하는 것이 성능 개선에 유리하다. 본 논문에서는 HEVC의 참조 소프트웨어인 HM 3.4를 이용하여 화면간의 상관도를 고려한 양안식 영상 부호화 방법을 제안한다. 화면간의 예측을 이용한 제안한 코텍을 이용해 부호화한 오른쪽 영상과 기존 HEVC로의 오른쪽 화면을 부호화했을 때의 성능을 비교한 결과 BDBR이 약 36.24% 감소했으며 BDPSNR은 1.19 dB가 증가했다.

• 방송공학회논문지
• /
• 제17권4호
• /
• pp.584-595
• /
• 2012

최근 멀티미디어 서비스 관련 업계 및 시장에서는 콘텐츠로서의 3D 입체영상과, 전송기술로서의 HTTP 적응적 스트리밍 기법이 큰 관심을 받고 있다. 주목받고 있는 두 기술을 통해 유망하고 시장성 있는 멀티미디어 서비스 모델을 창출할 수 있을 것으로 기대되나, 현재의 표준기술에서는 두 기술의 유기적인 결합 방법을 제공하고 있지 않다. 3D 콘텐츠 서비스는 대역폭이 보장되거나 구애받지 않는 방송 및 저장 서비스 위주로 편중되어 있고, 적응적 스트리밍 서비스는 특정 코덱에 의존적이며, 단순한 영상구성 정보만을 제공하는 기초적 형태의 3D 서비스 제공 방법만을 제공하고 있다. 이에, 본 논문은 인터넷망을 기반으로 안정적이고 끊김 없는 스트리밍 서비스를 다양한 형태의 스테레오스코픽 비디오를 통해 호환성 있는 형태로 제공하기 위한 3D 비디오의 적응적 스트리밍 전송규격을 제안하고자한다. 제안하는 기술은 스테레오스코픽 비디오의 저장에 대한 서비스 지향적 표준기술인 스테레오스코픽 비디오 어플리케이션 포맷을 기반으로, 적응적 스트리밍에 대한 대표적 표준기술인 DASH를 통해 직접 적용 가능하도록 설계되었다. 본 논문의 제안 기술은 MPEG에서 작업표준안으로 채택되어 표준기술로 고려되고 있어, 향후 관련 분야에서의 실용적인 산업화를 위한 기틀을 제공할 수 있을 것으로 기대된다.

• 방송공학회논문지
• /
• 제22권3호
• /
• pp.401-404
• /
• 2017

360 VR 영상은 등장방형 또는 정육면체, 정십이면체 등의 입체 도형의 전개도 형태의 포맷을 가진다. 이러한 포맷들은 각각 다른 특성을 가지고 있지만, 공통적으로 해상도가 일반 2D 영상에 비해 높다는 공통점을 가지고 있다. 따라서 부호화/복호화를 할 때 시간이 많이 걸리며, 병렬 처리가 필수적으로 요구된다. 최신 2D 비디오 코덱인 HEVC에는 병렬화 기술로 Wavefront Parallel Processing(WPP) 기술이 표준으로 적용되어 있는데, 이 기술은 2D 영상을 고려하여 만들어진 기술으로 3D 영상에서 사용했을 때 최적의 성능을 보이지 않는다. 따라서, WPP를 3D 영상에 적절한 방법이 필요하며 본 논문에서는 큐브맵 포맷에서 개선된 WPP 부호화/복호화 방법을 제안한다. 실험은 HEVC 참조 소프트웨어인 HM 12.0에 적용하였고, 실험 결과 기존 WPP와 비교하여 PSNR에는 큰 손실이 없으며 15%~20% 정도의 부호화 복잡도가 추가로 감소했다. 제안하는 방법은 향후 3D VR 영상을 위한 코덱에 필수적으로 포함될 것으로 기대된다.

• 방송공학회논문지
• /
• 제16권2호
• /
• pp.216-225
• /
• 2011

최근 3차원 영상 콘텐츠와 디스플레이의 증가에 따라 지상파 방송사들은 스테레오스코픽 3차원 텔레비전(3DTV) 방송을 위한 준비를 시작하고 있다. 하지만 현재 지상파 방송사들이 비디오 전송을 위하여 사용하고 있는 ATSC 방송규격의 약 18Mbps 대역폭 제한 내에서 는 고화질의 스테레오스코픽 영상을 전송하는 데 한계가 있다. 따라서 보다 고화질의 3D 영상 방송 서비스를 제공하는 동시에, 기존 2DTV 시청자를 위한 호환성을 유지하기 위하여 좌영상은 현재 지상파 방송에서 채택하고 있는 MPEG-2 기반, 그리고 우영상은 보다 압축 효율이 높은 H.264/AVC 기반의 비디오 압축 및 전송 시스템이 고려되고 있다. 본 연구에서는 이러한 지상파 3DTV 방송 조건 하에서 이종 부호화기로부터 산출되는 비트스트림의 양을 대역폭 제한에 맞게 조절하는 합동 비트율 제어 방법을 제안한다. 제안하는 합동 비트율 제어 방법은 H.264/AVC의 비트율 제어 방법인 이차 율-양자화 모델(quadratic rate-quantization model)을 MPEG-2 부호화 과정 내에 구현하여 압축된 두 비디오 비트스트림의 합이 대역폭 조건을 충족시키면서 화질왜곡을 최소화하는 양자화계수를 계산하도록 설계되었다. 또한 시청자의 시각적 피로도가 양안 영상의 화질 차이와 관계가 있다는 가정 하에 좌영상과 우영상의 화질의 차이를 일정하게 유지되도록 하는 제약식을 최적화 문제에 추가하여 양자화계수를 계산하였다. 실험결과 제안한 지상파 스테레오스코픽 3DTV를 위한 합동 비트율 제어 알고리듬은 목표 비트율을 맞추는 동시에, MPEG-2 및 H.264/AVC의 기존 비트율 제어 알고리듬 방법에 비하여 좌/우 영상의 평균 화질 합을 약 2.02% 향상시켰고, 화질 절대차의 평균은 약 77.6%, 화질차의 분산은 약 74.38% 감소시키는 성능을 보였다.

• 한국정보통신학회논문지
• /
• 제12권12호
• /
• pp.2146-2152
• /
• 2008

본 논문에서는 3차원 디지털 시네마 영상의 압축을 위하여 다해상도 기반 렌더링(MultiResolution-based Rendering, MRBR) 기법을 이용한 JPEG2000 압축코덱 구조에 대하여 제안하였다. 스테레오 영상에 이산 웨이블릿 변환(discrete wavelet transform, DWT)과 다해상도의 웨이블릿 영역에서 스테레오 정합(stereo matching)기법을 적용하여 변이정보를 추출하고 기준영상과 같이 전송한다. 또한 추출된 다른 시점의 영상은 비폐색영역으로 인한 화질열화가 발생하므로 이를 보상하기 위하여 비폐색영역이 포함된 원 주파수정보와 대상 시점에서 주파수정보의 차이를 같이 전송한다. 변이정보는 변이공간에서의 동적계획법(dynamic programming)을 이용하여 추출하였다. DWT의 특성상 상위 부대역은 하위 부대역과 높은 상관성을 갖는다. 따라서 coarse-to-fine 방법을 이용하여 상위 부대역에서 얻어진 변이정보를 하위 부대역에 적용하여 탐색영역을 제한함으로써 일반적인 동적계획법에 비하여 연산량을 단축시켰으며 정확도를 향상시켰다.