In-Loop Filtering with a Deep Network in HEVC

깊은 신경망을 사용한 HEVC의 루프 내 필터링

As deep learning technology advances, there have been many attempts to improve video codecs such as High-Efficiency-Video-Coding (HEVC) using deep learning technology. One of the most researched approaches is improving filters inside codecs through image restoration researches. In this paper, we propose a method 01 replacing the sample adaptive offset (SAO) filtering with a deep neural network. The proposed method uses the deep neural network to find the optimal offset value. The proposed network consists of two subnetworks to find the offset value and its type of the signal, which can restore nonlinear and complex type of error. Experimental results show that the performance is better than the conventional HEVC in low delay P and random access mode.

딥러닝 기술이 발전함에 따라 High-Efficiency-Video-Coding(HEVC)와 같은 비디오 코덱을 딥러닝 기술을 사용해 발전시키는 방법이 많아 시도되었다. 가장 많이 연구된 분야 중 하나에는 코덱 내부의 필터들을 영상 복원 기술을 통해 개선시키는 연구가 있다. 본 논문에서는 그 중 Sample adaptive offset(SAO) 필터링 기법을 깊은 신경망으로 대체하는 방식을 제안한다. SAO는 주변 정보들을 통해 에러의 형태를 결정하고 그를 상쇄하는 값을 전송하는 형태를 가진다. 이 때 찾은 보상 값이 최적의 값이 아니기 때문에 제안 기법에서는 깊은 신경망을 통해서 그 값을 찾는다. 제안하는 네트워크는 최적의 보상 값을 찾는 부분과 에러의 형태를 찾는 부분으로 이루어져 있으며, 두 네트워크를 통해 비선형적이고 복잡한 형태의 에러를 제거할 수 있다. 실험 결과 제안하는 방식은 저지연 P 모드와 임의접근 모드에서 기존 HEVC 보다 좋은 성능을 낸 것을 확인할 수 있다.