A Boundary Matching and Post-processing Method for the Temporal Error Concealment in H.264/AVC

H.264/AVC의 시간적 오류 은닉을 위한 경계 정합과 후처리 방법

  • Published : 2009.11.30

Abstract

In this paper, we propose a new boundary matching method for the temporal error concealment and a post processing algorithm for perceptual quality improvement of the concealed frame. Temporal error concealment is a method that substitutes error blocks with similar blocks from the reference frame. In conventional H.264/AVC standard, it compares outside pixels of erroneous block with inside pixels of reference block to find the most similar block. However, it is very possible that the conventional method substitutes erroneous block with the wrong one because it compares only narrow spatial range of pixels. In this paper, for substituting erroneous blocks with more correct blocks, we propose enhanced boundary matching method by comparing inside and outside pixels of reference block with outside pixels of erroneous block and setting up additional candidate motion vector in the fixed search range based on maximum and minimum value of candidate motion vectors. Furthermore, we propose a post processing method to smooth edges between concealed and decoded blocks without error by using the modified deblocking filter. We identified that the proposed method shows quality improvement of about 0.9dB over the conventional boundary matching methods.

H.264/AVC의 시간적 오류 은닉을 위한 새로운 경계 정합 방법과 은닉된 영상의 화질 향상을 위한 후처리 방법을 제안한다. 시간적 오류 은닉은 참조 프레임에서 가장 유사한 블록으로 오류가 발생한 블록을 대체시키는 방법이다. 가장 유사한 블록을 찾기 위해 H.264/AVC에서는 오류가 발생한 블록의 바깥 경계의 화소값과 참조블록의 안쪽 경계의 화소값을 단순 비교한다. 그러나 기존의 방법은 좁은 범위의 화소값 만을 비교하므로 부정확한 블록으로 오류 블록을 대체할 확률이 높다. 본 논문에서는 더욱 정확한 블록으로 오류 블록을 대체하기 위하여 참조 블록의 안쪽 경계의 화소값과 바깥 경계의 화소값을 오류 블록의 바깥 경계의 화소값과 비교하고 후보 움직임 벡터의 최솟값과 최댓값을 기준으로 일정 검색 범위내의 추가적인 후보 움직임 벡터를 설정하는 보다 향상된 경계 정합 방법, 그리고 변형된 디블록킹 필터를 통해 오류 없이 복호된 블록과 오류가 은닉된 블록과의 경계를 부드럽게 하는 후처리 방법을 제안한다. 실험을 통하여 제안된 방법이 기존의 블록 정합방법보다 최대 약 0.9 dB의 화질 향상을 보여주는 것을 확인하였다.

Keywords

References

  1. A. Luthra, G. Sullivan, and T. Wiegand, "Introduction to the special issue on the H.264/AVC video coding standard," IEEE Trans. on Circuits and Systems for Video Technology, Vol.13, No.7, pp.557-559. July 2003.
  2. G. Sullivan, P. Topiwala, and A. Luthra, "The H.264/AVC advanced video coding standard: Overview and Inton to the Fidelity Range Extensions," SPIE Conf. on Applications of Digital Image Processing XXVII, Vol.5558, pp. 53-74, Aug. 2004.
  3. 정제창 역, H.264/AVC 비디오 압축 표준, 홍릉과학출판사, 2006.
  4. S. Kumar, L. Xu, M. K. Mandai, and S. Panchanathan, "Error Resilience Schemes of H.264/AVC Standard," Journal of Visual Communication and Image Representation, Vol.17, pp. 425-450, 2006. https://doi.org/10.1016/j.jvcir.2005.04.006
  5. D. Agrafiotis, D. R. Bull and N. Canagarajah, "Spatial error concealment with edge related perceptual considerations," Signal Processing Image Communication, Vol.21, pp. 130-142, Feb, 2006. https://doi.org/10.1016/j.image.2005.08.002
  6. W. M. Lam, A. R. Reibman, and B. Liu, "Recovery of lost or erroneously received motion vectors," IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP-93., Vol.5, 1993.
  7. D. Kim, S. Yang, and J. Jeong, "A new temporal error concealment method for H.264 using adaptive block sizes," IEEE International Conference on Image Processing, 2905. ICIP 2005., Vol.3, pp. III- 928-31, 2005.
  8. 고성제, 김종옥 역, MPEG-4의 세계, 브레인코리아, 2005.
  9. X. Yang, Z. Ce, L. Zheng Guo, L. Xiao, and L. Nam, "An unequal packet loss resilience scheme for video over the internet," IEEE Trans. on Multimedia, Vol.7, pp. 753-765, 2005. https://doi.org/10.1109/TMM.2005.846782
  10. D. Agrafiotis, D. R. Bull and N. Canagarajah, "Enhanced Error Concealment With Mode Selection," IEEE Trans. on Circuits and Systems for Video Technology, Vol.16, pp. 960-973, 2006. https://doi.org/10.1109/TCSVT.2006.879988
  11. JM model 10.1; http://iphome.hhi.de/suehring/tml/JM.10.1.Zip
  12. P. Lambert, W. D. Neve, Y. Dhondt, R. V. D. Walle, "Flexible macroblock ordering in H.264/AVC," Journal of Visual Communication and Image Representation, Vol. 17, pp. 358-375, 2006. https://doi.org/10.1016/j.jvcir.2005.05.008