• 방송공학회논문지
• /
• 제9권3호
• /
• pp.236-245
• /
• 2004

본 논문에서는 view scalability를 고려한 3차원 다시점 동영상 코덱을 제안한다. 다시점 동영상을 효율적으로 부호화하기 위하여 부호화의 기본 단위로는 GGOP (Group of GOP) 구조를 제안하며 그 GGOP 구조는 시점의 수와 카메라 사이의 베이스 라인의 간격에 따라 유동적으로 여러 가지 타입을 가질 수 있다 제안된 다시점 동영상 부호기는 전처리, 변이 추정/보상, 움직임 추정/보상, 차영상 부호화, 비트율 제어로 구성되며 다시점 동영상 비트열을 생성하게 된다. MPEG-2와의 호환성을 위하여 기준이 되는 동영상은 MPEG-2로 부호화를 수행하여 메인 비트열을 생성하였고, 나머지 시점들에 해당되는 동영상들은 변이 벡터 및 움직임 벡터를 이용하여 보조 비트열을 생성하여 복호단에 전송된다. 다시점 동영상 복호기는 메인 비트열을 복호하기 위한 MPEG-2 복호기와 보조 비트열을 복호하기 위한 복호기로 구성된다. 또한, 수신단에서 보유하고 있는 디스플레이의 특징에 따라 원하는 시점만을 선택하여 복호화를 가능하게 할 수 있는 view scalability 기능을 제안한다. 실험을 통하여 제안한 다시점 동영상 코덱의 GGOP 구조의 유동성, MPEG-2와의 호환성, view scalability의 성능을 확인하였다. 또한 view scalability로 원하는 시점만을 복원한 3차원 동영상을 여러 종류의 3차원 다시점 모니터에 디스플레이를 하여 주관적인 성능을 확인하였다

• 방송공학회논문지
• /
• 제21권2호
• /
• pp.219-236
• /
• 2016

본 논문에서는 High Efficiency Video Coding(HEVC)의 확장 표준인 Scalable HEVC(SHVC)와 3D-HEVC을 통합하여 구성되는 3차원 스케일러블 비디오 코덱을 제안한다. 제안하는 3차원 스케일러블 비디오 코덱은 다시점 영상을 부호화함과 동시에 공간해상도 스케일러빌리티 기능을 지원할 수 있도록 설계하였다. 이를 위해서, 다양 종류의 스케일러빌리티를 지원할 수 있는 High Level Syntax를 사용하였고, DPB 및 참조영상 리스트 구성 방법에 대한 알고리즘을 제안하였다. 본 논문의 컴퓨터 시뮬레이션 장에서는 제안하는 3차원 스케일러블 코덱의 정합성을 확인하였고, 또한, 제안 코덱의 부호화 성능을 분석하였다.

• 한국통신학회논문지
• /
• 제31권3A호
• /
• pp.337-344
• /
• 2006

본 논문에서는 3DTV를 위한 다시점 동영상 부호화 기법을 제안한다. 제안하는 기법에서는 다수의 카메라 입력에 대하여 기존의 MPEG 기반의 부호화 기법에서 사용된 시 공간적 중복성 제거 뿐 아니라 각 시점에 해당하는 영상간의 공간적 중복성을 제거하여 부호화 효율을 재선할 수 있다. 각 시점 영상간의 공간적 중복성을 효율적으로 제거하기 위하여 전역 시차 보상(global disparity compensation)된 집적영상(assembled image)을 사용하였다. 또한 기존의 디지털 TV 전송 표준인 MPEG-2를 기반으로 하였기 때문에 기존의 디지털 TV 표준을 크게 수정하지 않고 3DTV를 구현할 수 있을 뿐만 아니라 각 시점간의 동기화 문제도 해결할 수 있다. 제안하는 기법은 MPEG-2 기법으로 각 시점에 해당하는 영상을 독립적으로 부호화(simulcast 기법)한 결과와 비교하여 객관적 화질 면에서 우수한 결과를 보였으며, 평행식 카메라 구조로 획득된 영상과 유사한 디지털 홀로그램 부호화에도 적용하여 우수한 성능을 얻을 수 있었다.

• 대한전자공학회논문지SP
• /
• 제46권1호
• /
• pp.41-48
• /
• 2009

본 논문에서는 복잡한 삼차원 장면을 다시점 텍스처와 깊이맵을 이용해 표현하고 이를 부호화하는 기법을 제안한다. 이를 위해 입력 다시점 데이터를 압축된 텍스처 및 깊이맵쌍 포맷으로 변환하고 제안한 코덱인 X-Codec을 통해 손실을 최소화하면서 부호화 효율을 향상시킨다. 우선 제안한 부호화 시스템은 다시점 색상과 깊이영상을 입력으로 사용하므로 기존의 기하학 기반 렌더링 기법과 달리 렌더링 속도가 장면의 복잡도가 아닌 입력 영상의 해상도에 따라 좌우된다. 또한, 영상을 블록 단위로 나누어 부호화와 복호화를 수행하기 때문에 임의 영역 접근이 용이하고 그래픽스 프로세싱 유닛을 이용한 실시간 렌더링이 가능하다. 실험결과 제안한 방법은 다시점 데이터를 이용한 다시점 렌더링, 선택적 복호화, 깊이정보를 이용한 삼차원 장면의 조작 등 다양한 기능을 동시에 제공하므로 대용량 데이터로부터 삼차원 장면을 탐색하는 그래픽스 응용에 유용하다.

• 한국통신학회논문지
• /
• 제26권9B호
• /
• pp.1277-1282
• /
• 2001

스테레오스코픽 비디오 영상은 좌측영상과 우측영상으로 이루어진 한 쌍의 영상으로 구성되며, 이들 좌우 영상들 사이에는 높은 상관관계를 가진다. 스테레오 영상의 압축을 위한 부호화는 이들 좌우 영상의 높은 상관관계와 각 시각 내에서의 이웃 픽쳐와의 시간적 상관 관계를 모두 고려하여 이루어진다. 이 때, 왼쪽 영상의 정보는 기저층에서 처리하고 오른쪽 영상 정보는 상위 층에서 처리하는 것이 일반적이다. 본 논문은 MPEG-2 다시점 프로파일을 이용하여 입체영상 부호화 코덱을 구현할 때, 상위 층의 픽쳐 처리순서에 따라 부호화 효율이 어떻게 달라지는지를 분석하여, 실제 시스템 운용을 위한 코덱 구조를 제안하였으며, DTV 및 HDTV급 스테레오 시퀀스를 사용한 실험을 통하여 검증하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2014년도 추계학술대회
• /
• pp.101-104
• /
• 2014

실감형 디스플레이 장치들을 지원하기 위해 다시점 영상을 효율적으로 코딩하는 방법은 다시점 비디오 코딩 방법과 다양한 전송 환경과 다양한 종류의 단말들을 통합적으로 지원할 수 있는 스케일러블 비디오 코딩 방법은 존재하지만, 현재 유비쿼터스 환경에서 실감형 서비스를 지원하면서 동시에 다양한 환경을 지원할 수 있는 통합된 동영상 정보를 생성하는 방법은 존재하지 않는다. 따라서 본 논문에서는 통합된 동영상 정보를 생성하는 다중 확장 비디오 코딩의 개념과 동작에 대해 설명하고 최적의 inter layer 참조 영상 선택 방법에 대해 분석한다.

• 방송과미디어
• /
• 제7권3호
• /
• pp.19-23
• /
• 2002

본 장에서는 H.26L 비디오 코덱에 적용되는 움직임 보상 기법(motion compensation) 및 B 픽쳐(Bi-predictive picture) 에 대해 다루기로 한다. 먼저 H.26L 비디오 코덱이 H.263 또는 MPEG-4 Part 2와 같은 종래 비디오 코덱들과 움직임 보상 관점에서 다른 점을 살펴보면, 복수개의 레퍼런스 픽쳐(multiple reference picture) 로부터 움직임 추정 (motion estimation) 밀 움직임 보상을 수행하고, 16x16 매크로 블록 크기부터 16x8, 8x16, 8x8블록 크기에서 매크로 블록 모드 타입이 결정되고 8x8 모드는 다시 8x4, 4x8, 4x4 단위에서 서브 모드 타입이 결정된다. 따라서 한 개의 매크로블록은 최대 16개의 모션벡터를 깆을 수 있다. 또한 복수개의 레퍼런스 픽쳐와 다양한 블록 타입을 적용함에 따라 모션벡터 예측(PMV: prediction of motion vector) 은 현재 블록과 이웃하는 블록들 사이의 레퍼런스 픽쳐 인덱스 비교 및 현재 블록 타입이 16x8또는 8x16 일 때 방향성 예측을 허용하는 새로운 기법들이 소개되어 있다. 그리고 코딩 효율을 높이기 위한 방법으로서 1/4 pel 단위의 움직임 보상을 하여 블록의 예측 정확도를 높이도록 하고 있다. 한편, H.26L에서의 B 픽쳐는 종래 비디오 코덱에 비해 확장된 정의를 갖고 있다. 예를 들어, 종래의 비디오 코덱에서는 B 픽쳐가 시간 스케일러빌러티(temporal scalability)에 사용됨에 따라 레퍼런스 픽쳐로서 사용될 수 없지만, H.26L은 B 픽쳐가 레퍼런스 픽쳐로서 사용되는 것을 허용하고 있다. 또한 종래의 B 픽쳐가 양방향에서 움직임 보상을 한 것과 달리 H.26L은 동일 방향에 존재하는 두개의 레퍼런스 픽쳐에서도 움직임 보상을 허용한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.101-104
• /
• 2022

MPEG Immersive Video (MIV) 표준화 기술은 다시점 영상 부호화 시 비디오 코덱의 부담을 최소화하기 위해 각 시점 영상의 차분 정보만을 표현하는 처리 기술을 바탕으로 하고 있다. 본 논문에서는 시점 간 중복성 제거를 진행하는 과정인 프루닝(pruning) 과정에서 복잡도 절감을 위해 병렬처리에 용이하도록 구성되는 프루닝 클러스터 그래프에 대해 서술하고, 각 클러스터 그래프 별 구성 전략에 따른 성능 분석을 진행한다. 클러스터 그래프 내에서 중복성 제거를 진행하지 않고 완전한 정보를 보존하는 바탕 시점(basic view)의 개수가 적게 포함될수록 처리할 전체 픽셀 화소율(pixel rate)은 감소하지만, 복원 화질 역시 감소하며 프루닝 복잡도는 증가하는 경향을 보인다. 실험 결과를 통해 프루닝 클러스터 그래프 구성에 따른 트레이드오프를 탐색하고, 최적화된 그래프 구성 전략에 따라 몰입형 비디오의 효율적인 전송이 가능함을 보인다.

• 한국음향학회지
• /
• 제17권4호
• /
• pp.14-22
• /
• 1998

본 연구에서는 Texas Instruments 사의 저가형 부동소수점 디지털 신호 처리기 (Digital Singnal Processor, DSP)인 TMS320C32를 이용하여 실시간 화자종속 음성인식 하 드웨어 모듈(VR32)을 개발하였다. 하드웨어 모듈의 구성은 40MHz의 TMS320C32 DSP, 14bit 코덱인 TLC32044(또는 8bit μ-law PCM 코덱), EPROM과 SRAM 등의 메모리와 호 스트 인터페이스를 위한 로직 회로로 이루어졌다. 뿐만 아니라 이 하드웨어 모듈을 PC사에 서 평가해보기 위한 PC 인터페이스용 보드 및 소프트웨어도 개발하였다. 음성인식 알고리 즘의 구성은 에너지와 ZCR을 기반으로 한 끝점검출(Endpoint Detection) 침 10차 가중 LPC 켑스터럼(Weighted LPC Cepstrum) 분석이 실시간으로 이루어지며 이후 Dynamic Time Warping(DTW)를 통하여 최고 유사 단어를 결정하고 다시 검증과정을 거쳐 최종 인식을 수행한다. 끝점검출의 경우 적응 문턱값(Adaptive threshold)을 이용하여 잡음에 강인한 끝 점검출이 가능하며 DTW 알고리즘의 경우 C 및 어셈블리를 이용한 최적화를 통하여 계산 속도를 대폭 개선하였다. 현재 인식률은 일반 사무실 환경에서 통상 단축다이얼 용도로 사 용할 수 있는 30 단어에 대하여 95% 이상으로 매우 높은 편이며, 특히 배경음악이나 자동 차 소음과 같은 잡음환경에서도 잘 동작한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.67-69
• /
• 2021

인공 지능, 사물 인터넷, 클라우드 컴퓨팅, 빅데이터, 모바일을 중심으로 시작된 4차 산업혁명은 최근 메타버스(Metaverse)시대로 자연스럽게 확장되어 가고 있다. 메타버스 시대의 핵심 기술인 VR(Virtual Reality)/AR(Augmented Reality)/MR(Mixed Reality)과 이를 디스플레이 하기 위한 HMD(Head Mounted Display)나 글래스(glass) 장치들은 사용자에게 고품질 영상뿐만 아니라 3차원 공간에 대한 6DoF(Degrees of Freedom)급의 자유도를 제공해야 한다. 이에 발맞춰 MPEG에서는 최근 실사 및 CG(Computer Graphics)로 제작된 다시점 텍스쳐 및 깊이 영상에 대한 효과적인 압축 방법을 찾기 위한 MIV(MPEG Immersive Video) 표준화를 진행중이다. 본 논문은 최신 2차원 압축 표준인 VVC(Verstitle Video Coding)를 기반으로 MPEG MIV 1.0 표준 프레임워크를 검증해본다. 특히 높은 압축율에 비해 복잡도가 높은 VVC 표준의 특성을 고려하여 HHI에서 개발한 최적화 코덱인 VVenC를 이용하여 압축 효율과 복잡도 관점에서 MIV 표준 활용을 위한 최적의 솔루션을 찾고자 한다.