• Journal of Broadcast Engineering
• /
• v.9 no.3
• /
• pp.236-245
• /
• 2004

A multiview sequence CODEC with view scaiability is proposed in this paper. We define a GGOP (Group of GOP) structure as a basic coding unit to efficiently code multiview sequences. 7he proposed CODEC provides flexible GGOP structures based on the number of views and baseline distances among cameras. Multiview sequences encode consists of disparity estimation/compensation, motion estimation/compensation, residual coding and rate control and generates multiview sequence bitstream. The main bitstream is the same as an MPEG-2 mono-sequence bitstream for MPEG-2 compatibility. The auxiliary bitstream contains information concerning the remaining multiview sequences except for the reference sequences. The proposed CODEC with view scalability provides that a number of view flints are selectively determined at the receiver according to the type of display modes. The proposed multiview sequence CODEC is tested with several multiview sequences to determine its flexibility. compatibility with MPEG-2 and view scaiability. In addition, we subjectively confirm that the decoded bitstreams with view scaiability can be Properly displayed by several types of display modes. including 3D monitors.

• Journal of Broadcast Engineering
• /
• v.21 no.2
• /
• pp.219-236
• /
• 2016

In this paper, we design and implement a 3D scalable video codec by combining the Scalable HEVC (SHVC) and the 3D-HEVC which are the extended standards of High Efficiency Video Coding (HEVC). The proposed 3D scalable video codec supports the view and spatial scalabilities which are the properties of 3D-HEVC and SHVC, respectively. In the proposed 3D scalable codec, the high-level syntaxes are designed to support the multiple scalabilities. In the computer simulation section, we confirmed the conformance of the proposed codec and analyzed the performance of the proposed codec.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.31 no.3A
• /
• pp.337-344
• /
• 2006

In this paper, we propose a multi-view video codec for 3DTV system. The proposed algorithm is not only to reduce the temporal and spatial redundancy but also to reduce the redundancy among each view. With these results, we can improve the coding efficiency for multi-view video sequences. In order to reduce the redundancy of each view more efficiently, we define the assembled image(AI) that is generated by the global disparity compensation of each view. In addition, the proposed algorithm is based on MPEG-2 structure so that we can easily implement 3DTV system without changing the conventional 2D digital TV system. Experimental results show that the proposed algorithm performs very well. It also performs better than MPEG-2 simulcast coding method. The newly proposed codec also supports the view scalability, accurate temporal synchronization among multiple views and random access capability in view dimension.

• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.46 no.1
• /
• pp.41-48
• /
• 2009

This Paper introduces representation and coding schemes of multiview texture and depth data for complex three-dimensional scenes. We represent input color and depth images using compressed texture and depth map pairs. The proposed X-codec encodes them further to increase compression ratio in a near-lossless way. Our system resolves two problems. First, rendering time and output visual quality depend on input image resolutions rather than scene complexity since a depth image-based rendering techniques is used. Second, the random access problem of conventional image-based rendering could be effectively solved using our image block-based compression schemes. From experimental results, the proposed approach is useful to graphics applications because it provides multiview rendering, selective decoding, and scene manipulation functionalities.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.26 no.9B
• /
• pp.1277-1282
• /
• 2001

스테레오스코픽 비디오 영상은 좌측영상과 우측영상으로 이루어진 한 쌍의 영상으로 구성되며, 이들 좌우 영상들 사이에는 높은 상관관계를 가진다. 스테레오 영상의 압축을 위한 부호화는 이들 좌우 영상의 높은 상관관계와 각 시각 내에서의 이웃 픽쳐와의 시간적 상관 관계를 모두 고려하여 이루어진다. 이 때, 왼쪽 영상의 정보는 기저층에서 처리하고 오른쪽 영상 정보는 상위 층에서 처리하는 것이 일반적이다. 본 논문은 MPEG-2 다시점 프로파일을 이용하여 입체영상 부호화 코덱을 구현할 때, 상위 층의 픽쳐 처리순서에 따라 부호화 효율이 어떻게 달라지는지를 분석하여, 실제 시스템 운용을 위한 코덱 구조를 제안하였으며, DTV 및 HDTV급 스테레오 시퀀스를 사용한 실험을 통하여 검증하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.11a
• /
• pp.101-104
• /
• 2014

실감형 디스플레이 장치들을 지원하기 위해 다시점 영상을 효율적으로 코딩하는 방법은 다시점 비디오 코딩 방법과 다양한 전송 환경과 다양한 종류의 단말들을 통합적으로 지원할 수 있는 스케일러블 비디오 코딩 방법은 존재하지만, 현재 유비쿼터스 환경에서 실감형 서비스를 지원하면서 동시에 다양한 환경을 지원할 수 있는 통합된 동영상 정보를 생성하는 방법은 존재하지 않는다. 따라서 본 논문에서는 통합된 동영상 정보를 생성하는 다중 확장 비디오 코딩의 개념과 동작에 대해 설명하고 최적의 inter layer 참조 영상 선택 방법에 대해 분석한다.

• Broadcasting and Media Magazine
• /
• v.7 no.3
• /
• pp.19-23
• /
• 2002

본 장에서는 H.26L 비디오 코덱에 적용되는 움직임 보상 기법(motion compensation) 및 B 픽쳐(Bi-predictive picture) 에 대해 다루기로 한다. 먼저 H.26L 비디오 코덱이 H.263 또는 MPEG-4 Part 2와 같은 종래 비디오 코덱들과 움직임 보상 관점에서 다른 점을 살펴보면, 복수개의 레퍼런스 픽쳐(multiple reference picture) 로부터 움직임 추정 (motion estimation) 밀 움직임 보상을 수행하고, 16x16 매크로 블록 크기부터 16x8, 8x16, 8x8블록 크기에서 매크로 블록 모드 타입이 결정되고 8x8 모드는 다시 8x4, 4x8, 4x4 단위에서 서브 모드 타입이 결정된다. 따라서 한 개의 매크로블록은 최대 16개의 모션벡터를 깆을 수 있다. 또한 복수개의 레퍼런스 픽쳐와 다양한 블록 타입을 적용함에 따라 모션벡터 예측(PMV: prediction of motion vector) 은 현재 블록과 이웃하는 블록들 사이의 레퍼런스 픽쳐 인덱스 비교 및 현재 블록 타입이 16x8또는 8x16 일 때 방향성 예측을 허용하는 새로운 기법들이 소개되어 있다. 그리고 코딩 효율을 높이기 위한 방법으로서 1/4 pel 단위의 움직임 보상을 하여 블록의 예측 정확도를 높이도록 하고 있다. 한편, H.26L에서의 B 픽쳐는 종래 비디오 코덱에 비해 확장된 정의를 갖고 있다. 예를 들어, 종래의 비디오 코덱에서는 B 픽쳐가 시간 스케일러빌러티(temporal scalability)에 사용됨에 따라 레퍼런스 픽쳐로서 사용될 수 없지만, H.26L은 B 픽쳐가 레퍼런스 픽쳐로서 사용되는 것을 허용하고 있다. 또한 종래의 B 픽쳐가 양방향에서 움직임 보상을 한 것과 달리 H.26L은 동일 방향에 존재하는 두개의 레퍼런스 픽쳐에서도 움직임 보상을 허용한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.101-104
• /
• 2022

MPEG Immersive Video (MIV) 표준화 기술은 다시점 영상 부호화 시 비디오 코덱의 부담을 최소화하기 위해 각 시점 영상의 차분 정보만을 표현하는 처리 기술을 바탕으로 하고 있다. 본 논문에서는 시점 간 중복성 제거를 진행하는 과정인 프루닝(pruning) 과정에서 복잡도 절감을 위해 병렬처리에 용이하도록 구성되는 프루닝 클러스터 그래프에 대해 서술하고, 각 클러스터 그래프 별 구성 전략에 따른 성능 분석을 진행한다. 클러스터 그래프 내에서 중복성 제거를 진행하지 않고 완전한 정보를 보존하는 바탕 시점(basic view)의 개수가 적게 포함될수록 처리할 전체 픽셀 화소율(pixel rate)은 감소하지만, 복원 화질 역시 감소하며 프루닝 복잡도는 증가하는 경향을 보인다. 실험 결과를 통해 프루닝 클러스터 그래프 구성에 따른 트레이드오프를 탐색하고, 최적화된 그래프 구성 전략에 따라 몰입형 비디오의 효율적인 전송이 가능함을 보인다.

• The Journal of the Acoustical Society of Korea
• /
• v.17 no.4
• /
• pp.14-22
• /
• 1998

본 연구에서는 Texas Instruments 사의 저가형 부동소수점 디지털 신호 처리기 (Digital Singnal Processor, DSP)인 TMS320C32를 이용하여 실시간 화자종속 음성인식 하 드웨어 모듈(VR32)을 개발하였다. 하드웨어 모듈의 구성은 40MHz의 TMS320C32 DSP, 14bit 코덱인 TLC32044(또는 8bit μ-law PCM 코덱), EPROM과 SRAM 등의 메모리와 호 스트 인터페이스를 위한 로직 회로로 이루어졌다. 뿐만 아니라 이 하드웨어 모듈을 PC사에 서 평가해보기 위한 PC 인터페이스용 보드 및 소프트웨어도 개발하였다. 음성인식 알고리 즘의 구성은 에너지와 ZCR을 기반으로 한 끝점검출(Endpoint Detection) 침 10차 가중 LPC 켑스터럼(Weighted LPC Cepstrum) 분석이 실시간으로 이루어지며 이후 Dynamic Time Warping(DTW)를 통하여 최고 유사 단어를 결정하고 다시 검증과정을 거쳐 최종 인식을 수행한다. 끝점검출의 경우 적응 문턱값(Adaptive threshold)을 이용하여 잡음에 강인한 끝 점검출이 가능하며 DTW 알고리즘의 경우 C 및 어셈블리를 이용한 최적화를 통하여 계산 속도를 대폭 개선하였다. 현재 인식률은 일반 사무실 환경에서 통상 단축다이얼 용도로 사 용할 수 있는 30 단어에 대하여 95% 이상으로 매우 높은 편이며, 특히 배경음악이나 자동 차 소음과 같은 잡음환경에서도 잘 동작한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.67-69
• /
• 2021

인공 지능, 사물 인터넷, 클라우드 컴퓨팅, 빅데이터, 모바일을 중심으로 시작된 4차 산업혁명은 최근 메타버스(Metaverse)시대로 자연스럽게 확장되어 가고 있다. 메타버스 시대의 핵심 기술인 VR(Virtual Reality)/AR(Augmented Reality)/MR(Mixed Reality)과 이를 디스플레이 하기 위한 HMD(Head Mounted Display)나 글래스(glass) 장치들은 사용자에게 고품질 영상뿐만 아니라 3차원 공간에 대한 6DoF(Degrees of Freedom)급의 자유도를 제공해야 한다. 이에 발맞춰 MPEG에서는 최근 실사 및 CG(Computer Graphics)로 제작된 다시점 텍스쳐 및 깊이 영상에 대한 효과적인 압축 방법을 찾기 위한 MIV(MPEG Immersive Video) 표준화를 진행중이다. 본 논문은 최신 2차원 압축 표준인 VVC(Verstitle Video Coding)를 기반으로 MPEG MIV 1.0 표준 프레임워크를 검증해본다. 특히 높은 압축율에 비해 복잡도가 높은 VVC 표준의 특성을 고려하여 HHI에서 개발한 최적화 코덱인 VVenC를 이용하여 압축 효율과 복잡도 관점에서 MIV 표준 활용을 위한 최적의 솔루션을 찾고자 한다.