비디오 해상도 및 양자화 파라미터를 고려한 HEVC의 화면내 부호화 복잡도 감소 기법

Scheme for Reducing HEVC Intra Coding Complexity Considering Video Resolution and Quantization Parameter

Abstract

최근 초고해상도(UHD: Ultra High Definition) 영상 서비스의 확산을 위하여 기존의 비디오 압축 기술인 H.264/AVC 대비 두 배이상의 압축 성능을 가지는 HEVC (High-Efficiency Video Codec)의 표준화가 완료되었다. 그러나 높은 압축 효과를 얻기 위하여 복잡한 연산이 필요한 기법들이 많이 도입되어 HEVC의 부호화 복잡도는 H.264/AVC보다 크게 증가되었다. 예로써 HEVC의 화면내 예측 부호화는 예측 모드을 최대 35개까지 확장함으로써 기존 H.264/AVC에 비해서 향상된 부호화 효율을 갖지만 화면내 부호화의 복잡도는 크게 증가되어 복잡도 감소 기법이 필요하다. 본 논문은 화면내 예측 부호화에 사용되는 예측 모드 35가지를 비디오 해상도와 양자화 파라미터 크기를 고려하여 4개의 세트로 분류하고 비디오 해상도에 따른 PU (Prediction Unit)의 크기의 점유율에 따라 예측 모드 개수를 변경함으로써 계산 복잡도를 감소시키는 기법을 제안한다. 실험 결과를 통해 제안된 기법을 적용함으로써 대략 2%의 BD-rate 증가로 부호화 시간을 7% 가량 감소시킬 수 있음을 확인하였다.

To expedite UHD (Ultra High Definition) video service, the HEVC (High-Efficiency Video Coding) technology has recently been standardized and it achieves two times higher compression efficiency than the conventional H.264/AVC. To obtain the improved efficiency, however, it employs many complex methods which need complicated calculation, thereby resulting in a significantly increased computational complexity when compared to that of H.264/AVC. For example, to improve the coding efficiency of intra frame coding, up to 35 intra prediction modes are defined in HEVC, but this results in an increased encoding time than the H.264/AVC. In this paper, we propose a fast intra prediction mode decision scheme which reduces computational complexity by changing the number of intra prediction mode in accordance with the percentage of PU sizes for a given video resolution, and by classifying the 35 intra prediction modes into 4 categories considering video resolution and quantization parameter. The experimental results show that the total encoding time is reduced by about 7% on average at the cost of only 2% increase in BD-rate.

Ⅰ. 서 론

최근 케이블 방송에서 UHD (Ultra High Definition) 상용 서비스가 시작되었고, 이동 멀티미디어 단말기에서도 고화질의 멀티미디어 서비스를 제공할 수 있으며, Full HD급 이상의 디스플레이 장치가 대중화 되었다. 소비자들은 더 좋은 화질과 더 큰 해상도의 영상 서비스를 요구하며 Full HD 크기를 넘어선 UHD급 초고해상도 영상 서비스에 대한 필요성이 커지고 있다[1]. 이러한 초고해상도의 영상을 이용하기 위해서는 기존의 비디오 압축 기술보다 부호화 효율이 훨씬 높은 압축 기술이 필요하게 되었다. 이러한 흐름에 따른 ISO/IEC의 MPEG과 ITU-T의 VCEG에서는 2010년 1월 JCT-VC (Joint Collaborative Team on Video Coding)를 설립하여 차세대 비디오 부호화 표준인 HEVC (High Efficiency Video Coding)[2]를 2013년 1월 스위스 제네바에서 차세대 최종 표준안으로 승인하였다. HEVC는 기존 H.264/AVC[3]와 비교하였을 때, 40~50%의 객관적 화질 측면의 향상된 부호화 효율을 보여주었다[4],[5]

HEVC는 기존의 동영상 압축 표준 기술들과 유사하게 블록 단위의 예측, 변환, 양자화, 엔트로피 코딩을 통해 동영상을 효과적으로 압축한다. 그러나 기존의 동영상 압축 기술들의 경우 고정된 크기의 매크로 블록을 사용하는 반면, HEVC는 압축 효율을 높이기 위해 입력 영상에 대해 가변 크기의 CTU (Coding Tree Unit)를 사용한다. CTU는 64×64, 32×32, 16×16의 크기를 가지며 해상도의 크기에 따라 선택적으로 사용함으로써 부호화 효율성을 높일 수 있다[6]. 그리고 CTU는 쿼드트리 (Quad-tree) 형태로 블록 분할이 가능하며 CTU 내에서 분할되는 블록을 CU (Coding Unit)라고 부른다. CU는 화면 내 예측 또는 화면 간 예측이 수행되는 코딩의 기본 단위로 64×64, 32×32, 16×16, 8×8 크기를 가질 수 있으며, 더욱 효과적으로 압축하기 위하여 각 CU는 PU(Prediction Unit)와 TU(Transform Unit)로 분할된다. PU는 예측의 기본 단위로 분할되는 CU의 크기와 같거나 작은 크기를 가지며 64×64, 32×32, 16×16, 8×8, 4×4 크기를 가질 수 있다. 또한 CU와는 다르게 쿼드트리 형식이 아닌 한 번만 분할되며 화면 내 예측 또는 화면 간 예측에 따라 2N×2N, 2N×N, N×2N, N×N 등 다양하게 나눠진다. TU는 변환과 양자화의 단위로 정의된 깊이에 따라 쿼드 트리 방식으로 분할된다[7]. 또한 H.264/AVC는 화면 내 예측 부호화를 위하여 16×16 블록에 대해 4가지 예측모드, 8×8과 4×4 블록에 대해서는 9가지 예측모드[8]를 사용하는데 비해 HEVC에서는 총 35가지의 확장된 예측 모드를 사용하여 다양한 방향성을 지원함으로 정확한 예측과 높은 부호화 효율을 얻을 수 있다[9],[10]. 이러한 부호화 효율의 개선과 함께 많은 연산들로 인하여 부호화 복잡도 또한 많이 증가하게 되었다[11],[12]. 과도한 부호화 복잡도를 줄이기 위하여 Y. Piao는 화면 내 부호화 모드 결정을 위한 RDO (Rate distortion optimization)를 계산하기 이전에 후보의 수를 줄이기 위한 RMD (Rough Mode Decision)과정을 추가하였다[13]. RMD는 하다마드 변환을 통해 모드들의 순위를 빠르게 조사하여 상위 N개의 후보를 PU의 크기에 따라 64×64, 32×32, 16×16 경우 3가지, 8×8, 4×4 경우 8가지로 결정한다. RMD는 RDO에 대한 부호화 복잡도를 줄일 수는 있지만 RMD는 화면내 예측 모드 35가지의 모드를 다 고려한다. H.264/AVC 경우 화면 내 예측 부호화를 위하여 16×16 블록에 대해 4가지 예측모드, 8×8과 4×4 블록에 대해서는 9가지 예측모드를 사용하는데 이는 블록의 크기가 커지면 참조 화소와 피참조 화소간의 공간적 거리가 멀어져 예측 성능이 낮을 수 있기 때문이다. 또한 HEVC에서 PU의 크기가 크다는 것은 비교적 평활한 영상일 가능성이 높다는 것을 의미한다. 이러한 경우 많은 모드를 고려할 필요성이 줄어들 수 있다[14]. 본 논문에서는 화면 내 부호화의 복잡도 감소를 위하여 RMD 과정에서의 탐색 모드의 수를 비디오 해상도와 양자화 파라미터 크기에 따라 후보의 수를 제한하는 방법을 제안한다. 2장에서는 기존의 HEVC 화면 내 예측 방식에 대한 간략한 소개와 더불어 비디오 해상도와 양자화 파라미터 크기에 따라 RMD 후보의 개수를 제한하는 방법을 제안한다. 3장에서는 제안 방법을 적용한 실험 결과를 분석하고 4장에서 결론을 맺는다.

 

Ⅱ. 제안된 HEVC 화면 내 예측 기법

HEVC 화면 내 예측에서 PU는 CU 크기와 동일한 2N×2N 크기를 가지며 8×8 CU에 대해서는 예외적으로 N×N의 크기인 4×4크기의 PU를 가진다. PU 크기와 상관없이 휘도 (luma) 성분에서는 35가지의 모드를 지원하며, 색도 (chroma) 성분에서는 6가지의 모드를 지원한다. 하지만 PU 크기를 고려하지 않고 모드를 수행하는 것은 부호화 복잡도를 높일 수 있다. H.264/AVC에서 블록 크기에 따른 예측모드 수를 정한 것을 HEVC에서도 적용하고자 비디오 해상도와 양자화 파라미터에 따른 PU의 선택 비율과 예측모드 선택 비율을 계산하였다. 첫 번째로 비디오 해상도와 양자화 파라미터에 따른 PU의 선택 비율을 계산하기 위하여 HEVC 표준화에서 이용되고 있는 공통 실험 영상인 Class B, Class C, Class D의 모든 test 영상에 대한 QP(Quantization Parameter) 크기를 22, 27, 32, 37로 설정하였으며 All-Intra 환경에서 실험을 실시하였다. 각 test 영상의 QP 값에 따른 PU 크기의 비율을 구하고 그 결과의 평균으로 비율 값을 계산하였다.

표 1의 실험 결과를 보면, 8×8 PU의 경우, 비디오의 해상도가 클수록 선택되는 비율이 작아지며 양자화 파라미터가 클수록 선택되는 비율이 작아지는 것을 알 수 있다. 이와 반대로 64×64 PU의 경우, 비디오의 해상도가 클수록 선택되는 비율이 커지며 양자화 파라미터가 클수록 선택되는 비율이 커지는 것을 알 수 있다.

표 1.비디오 해상도와 양자화 파라미터에 따른 PU의 선택 비율 Table 1. Selection ratio of PU in accordance with video resolution and quantization parameter

두 번째로 비디오 해상도와 양자화 파라미터에 따른 예측모드 선택 비율을 계산하기 위하여 HEVC 표준화에서 이용되고 있는 공통 실험 영상인 Class B, Class C, Class D의 모든 test 영상에 대한 QP 크기를 22, 27, 32, 37로 설정하였으며 All-Intra 환경에서 실험을 실시하였다. 각 test 영상의 QP 값에 따른 예측모드 선택 비율을 구하고 그 결과의 평균으로 비율 값을 계산하였다.

표 2, 3, 4는 각 해상도가 큰 순서로 Class B, Class C, Class D의 결과를 보여주며 실험 결과에서 빨간색은 선택 비율이 1% 이하인 예측 모드을 나타낸다. 결과를 분석해 보면 첫 번째로 해상도에 관계없이 각 Class 마다 공통적인 특성으로 Planar(0), DC(1), Horizontal(10), Vertical(26)이 가장 많이 선택된 것을 알 수 있다. 또한 Horizontal(10), Vertical(26)의 확률을 중심으로 주변의 모드가 멀어질수록 선택 확률이 낮아지는 것을 볼 수 있다. 8×8인 경우 Vertical(26)의 확률이 점차 커지며 그 주변 모드의 확률은 작아지는 것을 볼 수 있다. Horizontal(10)의 경우 확률이 점차 작아지며 그 주변의 모드의 확률도 작아지는 것을 볼 수 있다. 64×64인 경우 Vertical(26)의 확률이 점차 작아지면 그 주변 모드의 확률이 커지고 (표 2의 경우), Vertical(26)의 확률이 점차 커지면 그 주변의 모드의 확률의 변화는 없거나 낮아진다 (표 3, 4의 경우). 그리고 QP의 값이 커질수록 8×8인 경우 표 2~4(Class B~D)에서 1% 이하로 선택되는 예측 모드의 수가 변화가 없거나 늘어나는 경우가 있으며 16×16인 경우 표 3(Class C)에서 1% 이하로 선택되는 예측 모드의 수가 늘어나는 경우가 있지만, 표 2(Class B)와 표 4(Class D)는 1% 이하로 선택되는 예측 모드의 수가 줄어든다. 32×32와 64×64인 경우 표 2~4(Class B~D) 1% 이하로 선택되는 예측 모드의 수가 줄어든다. 두 번째로 해상도의 차이에 따른 특성으로 각 Class에 PU의 크기가 같은 경우의 선택 비율이 1% 이하인 예측 모드의 수가 다른 것을 알 수 있다. 이는 표 1의 실험 결과로부터 해상도에 따른 PU의 크기 점유율에 따라 1% 이하의 예측 모드의 수가 다른 것을 볼 수 있다. 그 예로 8×8 경우 Class D에서 70%의 점유율을 보이고 Class B에서는 점유율이 40%로 낮아짐에 따라 1% 이하로 선택되는 예측 모드의 수가 표 4(Class D)는 평균 1개, 표3(Class C)은 평균 6개, 표 2(Class B)는 평균 12개로 점차 늘어나는 것을 볼 수 있다. 16×16과 32×32의 경우 해상도와 QP의 크기에 따라 점유율의 변화가 있었지만, 표 3(Class C)에서 1% 이하로 선택되는 예측 모드의 수가 16×16은 평균 12개, 32×32은 평균 19개로 낮았지만 표 2(Class B)와 표 4(Class D)에서는 1% 이하로 선택되는 예측 모드의 수가 2~6개 차이로 많아지고 Planar(0), DC(1)의 예측 확률 비율이 커지는 것으로 나타났다. 64×64의 경우는 해상도의 크기가 커짐에 따라 점유율이 커졌지만 1% 이하로 선택되는 예측 모드의 수의 변화보다는 예측 모드의 확률이 커짐을 볼 수 있다. 이러한 실험 결과를 통해 RMD 과정에서의 예측 모드의 수를 35가지를 모두 수행하는 것이 아니라 비디오 해상도에 따른 PU 크기의 점유율과 양자화 파라미터 크기의 관계를 분석한 통계적 특성을 이용하여 예측 모드의 수를 제한하는 기법을 제안한다. HEVC에서는 RMD 후보 개수를 선택하기 위하여 35가지 모드를 전부 체크하지만 이 모드를 4개로 세트화 시켜서 비디오 해상도에 따른 PU 크기의 점유율과 양자화 파라미터 크기의 관계에 맞게 적용시킴으로 화면 내 부호화의 복잡도 감소를 얻어낼 수 있다.

표 2.Class B에서 QP에 따른 예측모드 선택 비율 (QP=22, 27, 32, 37 일 때) Table 2. Selection ratio of Prediction mode in accordance with quantization parameter from Class B (QP=22, 27, 32, 37)

표 3.Class C에서 QP에 따른 예측모드 선택 비율 (QP=22, 27, 32, 37 일 때) Table 3. Selection ratio of Prediction mode in accordance with quantization parameter from Class C (QP=22, 27, 32, 37)

표 4.Class D에서 QP에 따른 예측모드 선택 비율 (QP=22, 27, 32, 37 일 때) Table 4. Selection ratio of Prediction mode in accordance with quantization parameter from Class D (QP=22, 27, 32, 37)

표 5는 제안하는 RMD 예측 후보 세트 4가지를 나타낸 것이다. SET 1은 가장 많이 선택되는 4가지 모드로 설정하고 SET 2는 Horizontal(10), Vertical(26)을 중심으로 주변의 2가지 모드를 추가로 선택하고 대각선인 18번 모드를 추가하였다. 이는 표 2, 표3, 표 4에서 Horizontal(10), Vertical(26) 만큼의 선택 확률을 가지고 있지는 않지만 1% 이하로 선택되는 예측 모드들이 18번 모드 주변으로 생기는 것을 감안한 것이다. SET 3은 Horizontal(10), Vertical(26)을 중심으로 3가지 모드를 추가로 선택하고 대각선인 18번 모드를 중심으로 1가지 모드를 추가하였다. SET 4는 기존의 35가지 모드를 사용한다. 그림 1은 각 세트의 모드를 그림으로 보여준다.

표 5.제안하는 RMD 예측 후보 세트 Table 5. Candidate sets of the proposed RMD prediction mode

그림 1.제안하는 RMD 예측 후보 세트 1, 2, 3, 4 Fig. 1. Proposed candidate SET 1, 2, 3, 4 for RMD prediction

 

Ⅲ. 실험 결과

본 논문의 제안한 방법의 성능을 실험하기 위하여, HEVC 참조 소프트웨어인 HM12.0[15]에 제안 알고리듬을 구현하고 이를 기존의 HEVC 압축 성능과 비교 분석하였다. 또한 표 6에 명시된 환경에서 실험을 진행하였으며 표 7에 명시된 영상들을 실험에 사용하였다.

표 6.실험 환경 Table 6. Test environment

표 7.실험 영상 Table 7. Test sequence

표 8은 비디오 해상도에 따라 QP의 크기와 PU의 크기의 점유율을 고려하여 표 5에서 제안한 예측후보 세트를 적용시킨 내용을 보여준다. 기존 HEVC 알고리즘의 부호화 시간과 제안한 방법의 부호화 시간의 변화인 △Time 식은 (1)과 같이 계산한다.

표 8.비디오 해상도 따라 QP의 크기와 PU의 비율을 고려한 모드 결정 Table 8. Mode selection of considering each video resolution, QP and PU ratio

표 9는 제안한 방법에 의한 실험결과를 나타낸다. Class B에 해당하는 테스트 영상에 대해 부호화 시간이 6.7% 줄고 부호화 손실은 3.8% 증가하였다. Class C에 해당하는 테스트 영상에 대해 부호화 시간이 3.6% 줄고 부호화 손실은 2.9% 증가하였다. Class D에 해당하는 테스트 영상에 대해서는 부호화 시간이 3.8% 줄고 부호화 손실은 2.2% 증가하였다. 실험 결과를 살펴보면 Class C와 D의 경우 QP가 32와 37인 경우에 부호화 시간이 평균 6%의 감소를 보였지만 Class B의 경우에는 전반적으로 고르게 6% 이상의 감소를 보여 주고 있다. 이와 같은 결과는 8×8 PU의 점유율이 높은 Class C와 D의 경우는 기존의 HEVC 예측 모드 35가지가 포함되는 SET 4를 많이 사용하는 반면 Class B는 제안한 방법의 SET 1~3를 고르게 사용함으로써 전반적인 부호화의 시간을 감소시킨 것을 알 수 있다.

표 9.실험 결과 Table 9. Test results

이것은 제안한 방법이 8×8 PU 점유율이 높은 Class C와 D의 경우보다 8×8 크기 PU 점유율이 Class C와 D의 경우보다 낮은 Class B에 더 좋은 결과를 나타냄을 보여준다. 그리고 Class B에서 Frame rate가 50이상으로 높은 Cactus, BasketballDrive, BQTerrace의 경우 평균 5%의 부호화 손실로 평균 6.4%의 부호화 시간 감소를 나타내었지만 Frame rate가 24인 Kimono의 경우 2.8%의 부호화 손실로 평균 7%의 부호화 시간의 감소를 보였으며, ParkScene의 경우는 1.2%의 부호화 손실로 평균 약 7.3%의 부호화 시간의 감소를 나타내었다. 부호화 손실과 부호화 시간의 감소를 모두 고려하였을 때 제안한 방법은 8×8 PU 크기 이상의 점유율이 8×8 PU 점유율 보다 높은 Class B에서 Frame rate가 낮은 경우 가장 많은 부호화 효율의 향상을 가져옴을 알 수 있다.

 

Ⅳ. 결 론

본 논문에서는 HEVC 화면 내 예측 부호화에 사용되는 RMD의 후보 개수인 35가지를 4개 세트로 나누어 세트 별로 RMD 후보 개수를 분류하고 비디오 해상도에 따른 PU 크기의 점유율과 양자화 파라미터 크기의 관계를 분석한 통계적 특성을 이용하여 제안한 4개 세트를 적용하도록 하였다. HM 12.0 환경에서의 실험을 통해, 해상도가 작고 8×8 PU의 점유율이 높은 경우에는 제안하는 방법이 많은 이득을 얻을 수 없었지만, 비디오 해상도가 큰 Class B에서 Flame rate가 낮은 경우 평균 2.0%의 부호화 손실로 7.1%의 부호화 시간 감소를 얻을 수 있었다. UHD를 비롯한 해상도가 매우 큰 영상 서비스에서 제안하는 방법을 효과적으로 이용할 수 있으며 향후 Flame rate에 따른 세트 설정과 다양한 해상도와 QP에 따른 세트 구성을 최적화하기 위한 추가적인 연구를 수행할 예정이다.