• 한국통신학회논문지
• /
• 제37A권11호
• /
• pp.918-926
• /
• 2012

3차원 비디오 전송에 있어서, 렌더링에 사용되는 깊이 맵은 압축 효율을 위하여 일반적으로 낮은 해상도로 다운샘플링 되어 전송된다. 이때, 다운샘플링 과정에서 발생하는 오류는 디코딩 후의 적절한 업샘플링 기법을 통하여 효과적으로 복구할 수 있다. 하지만 기존의 연구들은 이러한 오류를 줄이기 위하여 여러 업샘플링 기법에 대해서만 초점이 맞춰져 있었다. 본 논문에서는 사람의 인지적인 화질을 보다 제고시키기 위하여 동적인 객체와 정적인 배경에 서로 다른 다운샘플링 비율을 적용시키는 새로운 하이브리드 깊이 맵 다운샘플링 기법을 제안한다. 실험적인 결과는 제안하는 방법이 시각적인 품질과 PSNR 측면에서의 이득이 있음을 보여준다. 또한 제안하는 방법은 여러 업샘플링 기법들과 호환이 가능하다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권5호
• /
• pp.1856-1869
• /
• 2015

This paper addresses the issues of 3D human activity detection, tracking and recognition from RGB-D video sequences using a feature structured framework. During human tracking and activity recognition, initially, dense depth images are captured using depth camera. In order to track human silhouettes, we considered spatial/temporal continuity, constraints of human motion information and compute centroids of each activity based on chain coding mechanism and centroids point extraction. In body skin joints features, we estimate human body skin color to identify human body parts (i.e., head, hands, and feet) likely to extract joint points information. These joints points are further processed as feature extraction process including distance position features and centroid distance features. Lastly, self-organized maps are used to recognize different activities. Experimental results demonstrate that the proposed method is reliable and efficient in recognizing human poses at different realistic scenes. The proposed system should be applicable to different consumer application systems such as healthcare system, video surveillance system and indoor monitoring systems which track and recognize different activities of multiple users.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(C)
• /
• pp.430-432
• /
• 2012

본 논문은 깊이영상의 화면 내 예측 부호화 과정에서 속도를 개선하는 기법을 제안한다. 부호화 과정 중 최적 모드 결정에 중요한 역할을 하는 율-왜곡 비용은 부호화 모드와 밀접한 관련이 있다. 영상을 분석한 결과, 컬러 영상의 최적 모드의 블록 크기에 따라 울-왜곡 비용이 차이나는 특징이 있다. 따라서 깊이 영상의 화면 내 예측 시 먼저 부호화 된 컬러 영상의 율-왜곡 비용에 따라 $16{\times}16$ 블록 크기를 결정한다. 제안한 기법을 참조 소프트웨어에 적용하여 실험한 결과 PSNR 차이는 거의 없었고, 부호화 시간은 평균 60% 이상의 속도를 개선하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 추계학술대회
• /
• pp.51-53
• /
• 2022

MIV(MPEG Immersive Video)의 시험모델 TMIV 는 다시점의 비디오와 깊이(depth) 비디오를 입력 받아 시점 사이의 중복성을 제거한 후 남은 텍스처(texture)와 깊이로 텍스처 아틀라스(atlas)와 깊이 아틀라스를 각각 생성하고 이를 압축한다. 각 화소별 점유(occupancy) 정보는 깊이 아틀라스에 포함되어 압축되는데 압축 손실로 인한 점유맵 오류를 방지하기 위하여 임계값 T = 64 로 설정한 보호대역을 사용한다. 기존에 설정된 임계값을 낮추어 깊이 동적범위를 확대하면 보다 정확한 깊이값 표현으로 부호화 효율을 개선할 수 있지만 보호대역 축소로 점유맵 오류가 증가한다. 본 논문에서는 TMIV 의 부호화기와 보호화기에 비대칭 임계값을 사용하여 보호대역 축소로 인한 점유맵 오류를 보정하면서 보다 정확한 깊이 값 표현을 통하여 부호화 효율을 개선하는 기법을 제안한다. 제안기법은 깊이 동적범위 확대와 비대칭 임계값 기반의 점유맵 오류 보정을 통하여 CG 시퀀스에서 2.2% BD-rate 이득과 주관적 화질 개선을 보인다.

• 한국통신학회논문지
• /
• 제37권1A호
• /
• pp.51-56
• /
• 2012

HEVC는 성능 향상과 더불어 복잡도 또한 크게 증가했다. 본 논문은 깊이 영상의 복잡도를 줄이기 위해 깊이 영상의 특성을 이용한 조기 SKIP과 인터 예측의 고속 모드 결정 알고리즘을 제안한다. 이 알고리즘은 동차 영역에서 SKIP 모드가 자주 발생한다는 점을 이용해 설계됐다. 동차 영역의 SKIP에서 발생한 비용값이 양자화 매개변수에 적응적인 문턱값과, 평균 SKIP의 비용값의 곱보다 작다면 조기 SKIP 모드를 발생시킨다. 그렇지 않은 경우 인터 $2N{\times}2N$의 비용값을 구한 뒤 인터 $2N{\times}2N$의 움직임 벡터가 0이고 부호화 단위의 분산이 인터 예측을 위한 문턱값보다 작다면 인터 $2N{\times}N$과 인터 $N{\times}2N$의 탐색을 수행하지 않는다. 조기 SKIP과 인터 예측을 위한 문턱값은 실험을 통해 결정이 됐고, 실험 결과는 기존의 HEVC와 비교하였을 때 BDBR이 0.24%, BDPSNR이 -0.011 dB로 비트율과 화질의 큰 변화 없이 부호화 시간은 최소 39%에서 최대 82%까지 줄였다.

• 방송공학회논문지
• /
• 제16권4호
• /
• pp.596-601
• /
• 2011

양안식 3차원 방송의 경우 좌우 두 시점에 해당하는 영상을 동시에 전송해야 하기 때문에 전송 대역폭의 부담이 매우 크다. 이러한 부담을 줄이기 위해 좌우 시점의 두 영상을 전송하는 대신에 좌영상과 이에 해당하는 깊이맵을 부호화하여 전송하는 방법이 있다. 이러한 3차원 방송 시스템의 수신단에서는 좌영상과 깊이맵을 복호한 뒤에 우영상을 만들어 좌우 영상을 실시간으로 출력한다. 본 논문에서는 좌영상과 깊이맵을 이용하여 가상시점 영상을 생성할 때 생기는 빈 공간을 효율적으로 채우는 기법을 제안하고, 전 과정의 실시간 처리를 위해 이를 GPU상에서 병렬로 처리되도록 구현했다. 그 결과 효과적으로 홀 채움을 수행하면서 CPU 대비 15배 이상 빠르게 양안식 영상을 생성할 수 있었다.

• 한국정보통신설비학회:학술대회논문집
• /
• 한국정보통신설비학회 2005년도 하계학술대회
• /
• pp.417-421
• /
• 2005

In the recent digital communication systems, the performance of Turbo Code using the error correction coding depends on the interleaver influencing the free distance determination and the recursive decoding algorithms that is executed in the turbo decoder. However, performance depends on the interleaver depth that needs many delays over the reception process. Moreover, turbo code has been known as the robust coding methods with the confidence over the fading channel. International Telecommunication Union(ITU) has recently adopted it as the standardization of the channel coding over the third generation mobile communications(IMT-2000). Therefore, in this paper, we proposed the interleaver that has the better performance than existing block interleaver, and modified turbo decoder that has the parallel concatenated structure using MAP algorithm. In the real-time voice and video service over third generation mobile communications, the performance of the proposed two methods was analyzed and compared with the existing methods by computer simulation in terms of reduced decoding delay using the variable decoding method over AWGN and fading channels for CDMA environments.

• 스마트미디어저널
• /
• 제1권3호
• /
• pp.36-42
• /
• 2012

요즘 스마트폰과 스마트 TV와 같은 스마트 기기에 대한 관심이 높아짐에 따라 보다 다양한 기능을 포함하는 영상장치가 주목받고 있다. 특히, 스마트 TV는 3차원 영상을 서비스함에 따라 보다 고화질의 3차원 영상을 효율적으로 부호화하는 것이 중요하다. 최근 MPEG(moving picture experts group) 그룹에서는 다시점 영상과 깊이 영상을 동시에 압축하여 부호화하는 표준화 작업이 진행되고 있다. 제한된 수의 시점을 이용하여 편안한 3차원 입체 영상을 재현하기 위해서는, 충분한 수의 중간시점의 영상을 생성해야 한다. 깊이정보를 이용하여 3차원 워핑을 수행하면 가상시점의 영상을 합성할 수 있는데, 깊이값의 정확도에 따라 화질이 달라진다. 스테레오 정합 기술을 이용하여 깊이맵을 획득할 때 객체의 경계와 같은 깊이값 불연속 영역에서 깊이값 오류가 발생할 수 있다. 이러한 오류는 생성한 중간영상의 배경에 원치 않는 잡음을 생성한다. 본 논문에서는 편안한 3차원 비디오 재현을 위하여 깊이맵을 기반으로 중간시점의 영상을 생성할 때 발생하는 경계 잡음을 제거하는 방법을 제안한다. 중간시점의 영상을 합성할 때 비폐색 영역을 합성한 후 경계 잡음이 발생할 수 있는 영역을 구별한 다음, 잡음이 없는 참조영상으로 대체함으로써 경계 잡음을 제거할 수 있다. 실험 결과를 통해 배경 잡음이 사라진 자연스러운 합성영상을 생성했다.

• 방송공학회논문지
• /
• 제18권4호
• /
• pp.647-650
• /
• 2013

HEVC RExt(High Efficiency Video Coding Range Extension)는 RGB/YUV 4:2:2 4:4:4 색 샘플링 영상과 10비트 심도 이상의 영상 지원을 목표로 한다. RGB 영상은 YUV 4:2:0 색 샘플링 영상과는 달리 색평면 간 높은 상관도를 갖고 있으며, 이를 이용하여 화소값을 예측하는 기법들이 JCT-VC 표준화 회의에서 기고되었다. 하지만 일반적으로 RGB 영상의 고주파수 성분은 색평면 간 낮은 상관도를 갖고 있으며, 이는 색평면 간 예측 시 부호화 효율 저하의 원인이 된다. 따라서 본 논문에서는 색평면 간 예측 시 고주파수 성분을 저역통과필터를 통해 적응적으로 제거하는 기법을 제안한다. HEVC RExt의 RGB 영상을 통한 실험 결과, 본 논문에서 제안하는 기법은 기존 색평면 간 예측 기법에 비해 큰 복잡도의 증가 없이 평균 0.6%의 BD(Bjontegaard Distortion)-율 이득을 얻을 수 있었다.

• Journal of Information Processing Systems
• /
• 제16권4호
• /
• pp.959-974
• /
• 2020

High efficiency video coding (HEVC) employs quadtree coding tree unit (CTU) structure to improve its coding efficiency, but at the same time, it also requires a very high computational complexity due to its exhaustive search processes for an optimal coding unit (CU) partition. With the aim of solving the problem, a fast CU size decision optimal algorithm based on neighborhood prediction is presented for HEVC in this paper. The contribution of this paper lies in the fact that we successfully use the partition information of neighborhood CUs in different depth to quickly determine the optimal partition mode for the current CU by neighborhood prediction technology, which can save much computational complexity for HEVC with negligible RD-rate (rate-distortion rate) performance loss. Specifically, in our scheme, we use the partition information of left, up, and left-up CUs to quickly predict the optimal partition mode for the current CU by neighborhood prediction technology, as a result, our proposed algorithm can effectively solve the problem above by reducing many unnecessary prediction and partition operations for HEVC. The simulation results show that our proposed fast CU size decision algorithm based on neighborhood prediction in this paper can reduce about 19.0% coding time, and only increase 0.102% BD-rate (Bjontegaard delta rate) compared with the standard reference software of HM16.1, thus improving the coding performance of HEVC.