An Efficient Hardware-Software Co-Implementation of an H.263 Video Codec

하드웨어 소프트웨어 통합 설계에 의한 H.263 동영상 코덱 구현

  • 장성규 (한국과학기술원 전기 및 전자공학과 영상시스템 연구실) ;
  • 김성득 (한국과학기술원 전기 및 전자공학과 영상시스템 연구실) ;
  • 이재헌 (한국과학기술원 전기 및 전자공학과 영상시스템 연구실) ;
  • 정의철 ((주) 삼성전자 멀티미디어 연구소) ;
  • 최건영 ((주) 삼성전자 멀티미디어 연구소) ;
  • 김종대 ((주) 삼성전자 멀티미디어 연구소) ;
  • 나종범 (한국과학기술원 전기 및 전자공학과 영상시스템 연구실)
  • Published : 2000.04.01

Abstract

In this paper, an H.263 video codec is implemented by adopting the concept of hardware and software co-design. Each module of the codec is investigated to find which approach between hardware and software is better to achieve real-time processing speed as well as flexibility. The hardware portion includes motion-related engines, such as motion estimation and compensation, and a memory control part. The remaining portion of theH.263 video codec is implemented in software using a RISC processor. This paper also introduces efficient design methods for hardware and software modules. In hardware, an area-efficient architecture for the motion estimator of a multi-resolution block matching algorithm using multiple candidates and spatial correlation in motion vector fields (MRMCS), is suggested to reduce the chip size. Software optimization techniques are also explored by using the statistics of transformed coefficients and the minimum sum of absolute difference (SAD)obtained from the motion estimator.

이 논문에서는 하드웨어와 소프트웨어의 통합 설계에 의한 H.263 동영상 코덱을 구현한다. 동영상의 부호화와 복호화를 실시간으로 수행하기 위해 동작 속도 및 응용성을 동시에 고려하여 H.263 코덱의 각 부분 중 어느 부분이 하드웨어 또는 소프트웨어로 구현된는 것이 바람직한지 결정하였다. 하드웨어로 구현하는 부분은 움직임 추정부 및 보상부와 메모리 제어부이고, 나머지 부분은 RISC (reduced instruction set computer) 프로세서를 사용하여 소프트웨어로 처리한다. 이 논문에서는 하드웨어 및 소프트웨어 모듈의 효과적인 구현 방법을 소개한다. 특히 하드웨어로 구현되는 움직임 추정부를 위해서 주변 움직임 변위의 상관성 및 계층적 탐색을 이용한 다수의 움직임 후보를 가지고 알고리즘을 사용하였으며, 이 알고리즘에 기반한 소면적 구조를 제안한다. 소프트웨어로 처리되는 DCT (discrete cosine transform) 부분의 최적화를 위해서 움직임 추정부에서 얻어진 SAD (sum of absolute difference) 값에 근거하여 DCT 이후 양자화된 계수들의 통계적 특성을 분류하는 기법을 사용한다. 제안된 방법을 실제 RISC 프로세서와 gate array를 이용하여 구\ulcorner하고, 그 성능이 우수함을 확인하였다.

Keywords

References

  1. Video coding for low bitrate communication Draft ITU-T Recommendation H.263
  2. IEEE Trans. Circuits Systems Video Techol. v.2 no.2 An All-ASIC implementation of a low bit-rate video codec H. Fujiwara;M. L. Liou;M.-T. Sun;K.-M. Yang;M. Maruyama;K. Shomura;K. Ohyama
  3. Proc. Int. Conf. Image Processing Real time H.263 video codec using parallel DSP W. Lin;K. H. Goh;B. J. Tye;G. A. Powell;T. Ohya;S. Adachi
  4. Proc. SPIE Visual Commun. Image Processing v.3309 A standard-based software-only video conferencing codec on Ultra SPARC W. Ding
  5. IEE Electronics Letters Improved hierarchical search block matching algorithm by using multiple motion vector candidates K. W. Lim;J. B. Ra
  6. Proc. SPIE Visual Commun. Image Processing v.3024 DCT computation with minimal average number of operations K. Lengwehasatit;A. Ortega
  7. Proc. Picture Coding Symposium Early detection of all-zero coefficients in H.263 A. Yu;R. Lee;M. Flynn
  8. IEEE Trans. Circuits Systems Video Technol v.8 no.3 Approximation of calculations for forward discrete cosine transform I.-M. Pao;M.-T. Sun
  9. Proc. of IEEE Workshop on Multimedia Signal Processing Efficient hardware-software co-implementation of H.263 video codec S. D. Kim;S. K. Jang;J. Lee;J. B. Ra;J. S. Kim;U. Joung;G. Y. Choi;J. D. Kim
  10. IEE Electronics Letters Method for detecting all-zero DCT coefficients ahead of discrete cosine transformation and quantization Z. Xuan;Y. Zhenghua;Y. Songyu
  11. IEEE Trans. Commun. v.39 no.5 Pruning the fast discrete cosine transform Z. Wang
  12. IEEE Trans. Signal Processing v.42 no.7 Fast discrete cosine transform pruning A. N. Skodras
  13. IEEE Trans. Circuits Systems Video Technol. v.9 no.4 Modeling DCT coefficients for fast video encoding I.-M. Pao;M.-T. Sun