• 전자통신동향분석
• /
• 제39권2호
• /
• pp.1-11
• /
• 2024

The metaverse is expected to evolve into an immersive environment based on photorealistic stereoscopic imaging to integrate real and virtual worlds. To transition from flat images to immersive stereoscopic images, such as light fields and holograms, a continuous cycle of technological development should be reached in media, content, and device technologies, ranging from acquisition and generation to transmission and synthesis as well as reproduction and interaction. Additionally, owing to the multitude of components involved in the metaverse, proper service realization will be challenging without concurrent advancements in computing and communication technologies that facilitate the integration of such components. We introduce research and development trends in media, contents, and devices at the Electronics and Telecommunications Research Institute toward the next generation of stereoscopic images.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2010년도 추계학술대회
• /
• pp.14-17
• /
• 2010

최근 3차원 영상 컨텐츠와 디스플레이의 증가에 따라 지상파 방송사들의 3차원 텔레비전(3DTV) 방송을 위한 준비가 시작되고 있다. 하지만 현재 지상파 방송사들이 비디오 전송을 위하여 사용하고 있는 약 18Mbps의 대역폭 제한 내에서는 고화질의 3차원 스테레오스코픽 영상을 전송하는 데 한계가 있다. 따라서 보다 고화질의 3D 영상 방송 서비스를 제공하는 동시에, 기존 2DTV 시청자를 위한 호환성을 유지하기 위하여 좌영상은 현재 지상파 방송에서 채택하고 있는 MPEG-2 기반, 그리고 우영상은 보다 압축 효율이 높은 H.264/AVC 기반의 비디오 압축 및 전송 시스템이 고려되고 있다. 본 연구에서는 이러한 지상파 3DTV 방송 조건 하에서, 이종 부호화기에서 산출되는 비트스트림의 양을 대역폭 제한에 맞게 조절하는 합동 비트율 제어 방법을 제안한다. 제안하는 합동 비트율 제어 방법은 H.264/AVC의 비트율 제어 방법인 이차 율-양자화 모델(quadratic rate-quantization model)을 MPEG-2 부호화 과정 내에 구현하여 압축된 두 비디오 비트스트림의 합이 대역폭 조건을 충족시키면서 화질왜곡을 최소화하는 양자화계수를 계산하도록 설계 되었다. 또한 좌영상과 우영상의 화질의 차이가 일정하게 유지되도록 최적화 문제에서 제약식을 추가하여 양자화계수를 계산하였다. 실험결과 제안한 지상파 스테레오스코픽 3DTV를 위한 합동 비트율 제어 알고리듬은 목표 비트율을 맞추는 동시에, MPEG-2 및 H.264/AVC의 기존 비트율 제어 알고리듬 방법에 비하여 좌/우 영상의 평균 화질 합은 비슷한 수준을 나타내었고, 화질 절대차의 평균 및 변동은 큰 수준으로 감소시켰다.

• 전자공학회논문지CI
• /
• 제39권2호
• /
• pp.35-44
• /
• 2002

카메라의 이동과 회전은 영상 프레임 전체에 영향을 미치는 전역 움직임(global motion)을 유발한다. 이러한 전역 움직임을 포함하는 영상을 부호화하는 경우, 변화성분 검출(change detection) 기법을 사용하여 정확한 오브젝트를 분할하는 것은 실제적으로는 불가능하며 큰 움직임 벡터로 인해 높은 압축률을 얻기 어렵다. 이러한 문제는 전역 움직임이 보상된 영상 시퀀스를 사용함으로써 해결할 수 있다. 전역 움직임 보상을 위한 기존의 카메라 움직임 추정 방법들은 계산량이 많다는 문제점을 가지고 있다. 따라서, 본 논문에서는 간단한 선 형식으로 구성되는 전역 움직임 추정 알고리즘을 제안한다 제안 알고리즘은 영상 프레임 내의 대칭점(symmetric points)의 움직임 정보를 이용하여 패닝(panning)과 틸팅(tilting), 줌잉(zooming)에 대한 전역 움직임 파라미터를 산출한다. 전역 움직임 계산에는 카메라 회전에 대해 깊이(depth)에 독립적인 원경만이 사용되며, 영상 내에서 원경을 구분하기 위한 판별식도 논문에 제시된다. 또한, MPEG 시험 영상을 사용한 실험 결과도 나타내었다. 본 논문에서 제안한 기법의 실시간 수행 능력은 많은 영상처리 분야의 전처리 단계에서 사용될 수 있다.

• 대한전자공학회논문지SP
• /
• 제46권3호
• /
• pp.89-95
• /
• 2009

H.264/AVC는 높은 압축 성능을 보이는 현존하는 가장 우수한 비디호 부호화 표준이다. H.264/AVC는 양자화된 변환 계수를 부호화하기 위해 지그재그 탐색 방법을 채택하고 있다. 하지만 이 방법은 모든 블록의 양자화된 변환 계수를 블록의 특성을 고려하지 않고 동일한 순서로 탐색하기 때문에 효과적이지 못하다. 따라서 본 논문에서는 H.264/AVC의 화면 간 예측에서 압축 효율을 증가시키기 위한 적응적인 계수 탐색 방법을 제안한다. 제안하는 방법에서는, 이전 블록들의 정보를 기반으로 각 화면 간 예측 모드의 계수 탐색 순서를 조절한다. 실험 결과는 제안하는 적응적인 계수 탐색 방법은 고화질의 HD 영상에서 2.29%의 압축 효율 향상을 보여준다.

• 융합신호처리학회논문지
• /
• 제4권2호
• /
• pp.31-39
• /
• 2003

MPEG-2 소스 부호화 알고리즘은 가변장 부호화를 사용하기 때문에 채널 오류에 매우 민감하다. 압축 데이터가 전송되는 동안 비트 오류가 발생하게 되고, 이 오류를 정정 기술로 보정할 수 없는 경우 디코더에서는 오류 은닉 방식을 사용함으로써 영상의 화질 저하를 최소화할 수 있다. 본 논문에서 제안하는 알고리즘은 I 프레임의 연속적인 매크로블록 오류를 은닉하기 위한 방식으로 I 프레임과 시간적으로 가장 가까이 위치한 이전 GOP의 B 프레임의 시간적 정보와 P 프레임의 공간적 정보를 이용한다. 이 방식은 기존의 오류 은닉 방식들이 갖는 시간적 오류에 의한 움직임 왜곡과 공간적 오류에 의한 번짐 현상을 개선할 수 있으며, 전송 오류가 매우 심한 망에서의 심각한 슬라이스 오류를 보다 효과적으로 은닉할 수 있다. 알고리즘은 MPEG-2 비디오 코덱에서 수행되었고 모의 실험을 통하여 다른 방식들에 비하여 I 프레임의 슬라이스 오류를 효율적으로 은닉할 수 있음을 증명한다.

• 한국정보통신학회논문지
• /
• 제18권5호
• /
• pp.1187-1193
• /
• 2014

본 논문에서는 웨이블릿 변환 기반의 스케일러블 비디오 부호화의 핵심 요소인 움직임 보상 시간적 필터링 (motion compensated temporal filtering; MCTF)의 성능향상을 위한 효과적인 움직임 예측 기법을 제안한다. MCTF의 성능향상과 밀접한 관련이 있는 픽셀 연결성을 개선하기 위하여 변형 중간값 연산 및 주변 블록의 움직임 벡터를 이용한 움직임 예측 방법으로 움직임 벡터 필드를 평탄화한다. 또한 영상의 복잡도 등의 특성에 따라 가변 블록크기로 움직임 예측을 수행하여 움직임 벡터 필드의 상관도를 더욱 향상시킨다. 제안하는 방법은 시간적 필터링 과정에서 고주파 프레임으로 분해되는 에너지를 줄여 MCTF 및 전체 스케일러블 부호기의 성능을 향상시킨다. 실험결과 기존의 고정 블록크기 전역탐색 방법과 비교하여 제안하는 방법이 시간적 고주파 부대역 프레임에 포함된 에너지를 최대 30.33%까지 감소시키는 것을 확인하였다.

• 대한전자공학회논문지SP
• /
• 제44권3호
• /
• pp.23-32
• /
• 2007

H.264 영상 부호화 표준은 인트라 예측에서 압축 효율을 향상시키기 위해 율-왜곡 최적화(RDO : Rate Distortion Optimization) 방법을 사용한다. 이러한 방법을 사용함으로써 현재 블록에 대한 최적의 부호화 모드의 선택이 가능해졌지만 복잡도와 연산은 이전대비 더욱 증가하였다. 본 논문은 우세한 에지 방향(DED : Dominant Edge Direction)의 예측을 통한 고속인트라 모드 결정 알고리즘을 제안한다. 이를 위해 이 알고리즘은 이산 코사인 변환(DCT : Discrete Cosine Transform) 계수를 근사화하여 이용한다. DED를 예측함으로써 $4{\times}4$ 휘도 블록의 경우 최적 모드 결정을 위한 율-왜곡 최적화 계산에 9개 모드 중 3개 모드가 선택된다. $16{\times}16$ 휘도 블록과 $8{\times}8$ 색상 블록의 경우 4개 모드 대신에 2개 모드가 최적 모드 결정을 위해 율-왜곡 최적화 계산을 수행한다. 이러한 방법을 이용한 실험 결과 인트라 전체 검색 방법대비 약 72%의 연산시간이 감소하는 결과를 보여준다.

• 방송공학회논문지
• /
• 제19권4호
• /
• pp.468-477
• /
• 2014

본 논문은 FCS(foveated contrast sensitivity)를 이용한 인지품질 기반 비디오 코딩 방법을 제안한다. CS(contrast sensitivity)를 이용한 기존의 인지품질 기반 비디오 코딩 방법은 공간주파수에 따라 시각적 인지능력이 달라지는 인간시각체계(HVS, human visual system)의 특징을 이용하여 비디오 압축 시 인지품질의 손상을 최소화하며, FM(foveated masking)을 이용한 방법에서는 HVS의 중심시(central vision) 와 주변시(peripheral vision)의 차를 이용한다. 본 연구에서는, 정신물리학 실험을 통하여 기존의 DCT(discrete cosine transform)기반 JND(Just-noticeable difference) 모델과 FM이 서로 의존성을 갖고 동시에 고려된 새로운 FCS 모델을 제안하였고, 이를 HM10.0 부호화기에 적용하여 인지품질기반 부호화를 수행하였다. 제안된 방법으로 부호화된 영상은 인지품질 관점에서 동일한 화질을 유지하면서 평균 10%의 비트율 감소를 보였다.

• 한국통신학회논문지
• /
• 제31권11C호
• /
• pp.1077-1084
• /
• 2006

본 논문에서는 H.264/AVC에서 가장 많은 연산량을 차지하는 인터 예측(inter prediction)을 고속으로 수행할 수 있는 방법을 제안하였다. 제안한 방법은 율-왜곡 최적화 기법(Rate-Distortion Optimization, RDO)이 적용된 JM(Joint Model)의 FME(Fast Motion Estimation)를 대상으로 예측된 움직임 벡터의 방향성을 고려하여 탐색영역을 결정한 후 적응적인 후보 나선형 탐색을 수행한다. 동시에 가변 블록 크기에 대하여 비용함수의 임계값(threshold)을 결정한 후 가변 구간 움직임 탐색을 수행함으로써 인터 예측의 부호화 복잡도를 감소시킨다. 다양한 영상들을 대상으로 실험한 결과 기존의 예측 방식에 최대 80%의 연산량을 줄일 수 있음을 확인하였다. 이에 따른 화질 열화는 평균 $0.05dB{\sim}0.19dB$에 불과하며, 압축률은 평균 0.58%의 미미한 감소를 보임으로써, 제안한 방법이 고속 인터 예측 알고리즘으로 매우 효율적인 방법임을 확인하였다.

• 인터넷정보학회논문지
• /
• 제11권2호
• /
• pp.49-60
• /
• 2010

H.264/AVC 표준은 여러 가지 신기술들을 접목시킴으로써 기존의 동영상 표준들보다 한층 개선된 부호화 효율성을 제공한다.하지만, H.264/AVC 인코더의 향상된 부호화 기술은 그것의 전반적인 복잡도를 크게 증가시켰다. 따라서, 인코더의 복잡도 수준을 경감시키기 위한 최적화의 연구는 중대한 선결 과제이다. 특히, 움직임 추정 부분에 대한 계산량의 비율은 인코더의 작업시간을 크게 좌우한다. 본 논문에서는 완전 다이아몬드와 12각형을 기본 탐색 패턴으로 사용하고 특정한 임계기준치를 적용시킴으로써 효율적으로 정적 블록들을 스킵하는 다이아몬드 웹 격자 탐색 알고리즘을 제안한다. 실험 결과는 본 논문에서 제안된 기법이 기존의 UMHexagonS 알고리즘의 계산량을 12%까지 감소시키면서도 유사한 PSNR을 유지한다는 것을 보여준다.