Journal of the Institute of Electronics Engineers of Korea SP (대한전자공학회논문지SP)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

Fast Disparity Vector Estimation using Motion vector in Stereo Image Coding

스테레오 영상에서 움직임 벡터를 이용한 고속 변이 벡터 추정

  • Doh, Nam-Keum (Graduate School of Advanced Imaging Science, Multimedia & Film, Chung-Ang University) ;
  • Kim, Tae-Yong (Graduate School of Advanced Imaging Science, Multimedia & Film, Chung-Ang University)
  • 도남금 (중앙대학교 영상공학과) ;
  • 김태용 (중앙대학교 영상공학과)
  • Published : 2009.09.25
Download PDF
⟨ Previous Next ⟩

Abstract

Stereoscopic images consist of the left image and the right image. Thus, stereoscopic images have much amounts of data than single image. Then an efficient image compression technique is needed, the DPCM-based predicted coding compression technique is used in most video coding standards. Motion and disparity estimation are needed to realize the predicted coding compression technique. Their performing algorithm is block matching algorithm used in most video coding standards. Full search algorithm is a base algorithm of block matching algorithm which finds an optimal block to compare the base block with every other block in the search area. This algorithm presents the best efficiency for finding optimal blocks, but it has very large computational loads. In this paper, we have proposed fast disparity estimation algorithm using motion and disparity vector information of the prior frame in stereo image coding. We can realize fast disparity vector estimation in order to reduce search area by taking advantage of global disparity vector and to decrease computational loads by limiting search points using motion vectors and disparity vectors of prior frame. Experimental results show that the proposed algorithm has better performance in the simple image sequence than complex image sequence. We conclude that the fast disparity vector estimation is possible in simple image sequences by reducing computational complexities.

스테레오 영상은 단일 영상과는 달리 오른쪽과 왼쪽, 2개의 영상으로 구성되어 있기 때문에 단일 영상에 비하여 더욱 많은 데이터량을 가지게 된다. 따라서 이를 효율적으로 처리하기 위한 영상 압축 기술이 필요하게 되었고, 이를 위해 DPCM기반의 예측 부호화 압축 기술을 대부분의 비디오 압축 표준에서 사용한다. 예측 부호화 기술의 구현을 위해 움직임 추정 및 변이 추정이 필요한데 이를 수행하는 알고리즘으로 여러 가지 비디오 코딩 표준들에서 블록 정합 알고리즘을 사용한다. 블록 정합 알고리즘 중 완전탐색 알고리즘은 기준 블록을 탐색영역 안에 존재하는 모든 블록과 비교하여 최적의 블록을 찾아낸다. 이 알고리즘은 최적의 블록을 찾을 수 있어 효율은 좋으나 많은 연산량이 단점이 된다. 본 논문에서는 스테레오 영상에서 움직임 벡터 정보와 전 프레임의 변이벡터 정보를 이용하여 고속으로 현재 프레임의 변이 벡터를 추정할 수 있는 방안을 제시한다. 변이 벡터 추정시 전역 변이 벡터를 사용하여 탐색 영역을 줄이고, 전 프레임들 사이에서 구한 변이 벡터 정보를 재사용하면서 움직임 벡터 정보를 이용하여 탐색 위치를 제한함으로 연산량을 줄여 고속의 변이 벡터 추정을 가능하게 하였다. 실험결과 제안 알고리즘은 움직임이 많은 복잡 영상 보다는 움직임이 적은 단순 영상에서의 성능이 훨씬 뛰어났으며, 움직임이 적은 단순 영상에서의 변이 벡터 추정 시에 약간의 residual 증가는 있지만 빠른 처리 속도를 제공하여 고속의 변이 벡터 추정을 가능하게 함을 확인하였다.

Keywords

References

  1. 호요성, 오관정, "다시점 비디오 부호화 기술 동향", 전자공학회지, 제34권, 제8호, 8. 2007
  2. A. Tamtauoui and C. Labit, "Constrained disparity and motion estimators for 3DTV image sequence coding," Signal Processing : Image Comm., Vol. 4, pp. 45-54, Nov. 1991 https://doi.org/10.1016/0923-5965(91)90059-B
  3. Y.-C. Lin and S.-C. Tai, "Fast Full-Search Block-Matching Algorithm for Motion- Compensated Video Compression", IEEE Transactions on Communications, vol. 45, no. 5, pp. 527-531, May 1997 https://doi.org/10.1109/26.592551
  4. Tamas Frajka, Kenneth Zeger, "Residual image coding for stereo image compression", Optical Engineering, vol.42, No.1, Jan. 2003 https://doi.org/10.1117/1.1526492
  5. 박상현, 이상호, 김미현, 손광훈, "차영상 정보를 이용한 효율적인 3차원 영상 변이 추정에 관한 연구", 한국방송공학회 학술대회, pp 9-12, 12. 1998
  6. Yongtae Kim, Jiyoung Kim, Kwanghoon Shon, "Fast Disparity and Motion Estimation for Multi-view Video Coding", IEEE Transactions on Consumer Electronics, vol.53, No.2, May. 2007
  7. Jiangbo Lu, Hua Cai, Jian-Guang Lou, Jiang Li, "An Epipolar Geometry-Based Fast Disparity Estimation Algorithm for Multiview Image and Video Coding", IEEE Transactions on Circuits and Systems for Video Technology, vol.17, No.6, Jun. 2007
  8. 안재균, 김창수, "실시간 스테레오 동영상 처리를 위한 빠른 디스패리티 추정", 대한전자공학회 하계 종합학술대회, 제30권, 제1호, 2007
  9. Jiyonh Park, Wonjae Lee, Jaeseok Kim, "New Fast Disparity Estimation Algorithm by Diminishing Search Range and FPGA Implementation", IEEE International Symposium on Consumer Electronics, volume. Issu, sept.1-3, 2004. Pp 457-460
  10. Won-Ho Kim, Sung-Woong Ra, "Fast Disparity Estimation Using Geometric Properties and Selective Sample Decimation for Stereoscopic Image Coding", IEEE Transactions on Comsumer Electronics, vol.45, No.1, FEB. 1999
  11. Iain E.G Richardson, "H.264 and MPEG-4 Video Compression: Video Coding for Next-genertion Multimedia", Wiley, Dec. 2003.
  12. R. Li, B. Zeng, and M. L. Liou, "A new three-step search algorithm for block motion estimation," IEEE Trans. Circuits Syst. Video Technol.,vol. 4, no: 4, pp. 438-442, Aug. 1994 https://doi.org/10.1109/76.313138
  13. L. M. Po and W. C. Ma, "A novel four-step search algorithm for fast block motion stimation," IEEE Transactions on Circuits & systems for Video Technology, vol. 6, pp. 3 13-3 17, June 1996 https://doi.org/10.1109/76.499840
  14. Shan Zhu, Kai-Kuang Ma, "A new diamond search algorithm for fast block-matching motion estimation," IEEE Transactions on Image Processing, vol. 9, no. 2, pp. 287-290, Feb. 2000 https://doi.org/10.1109/83.821744
  15. Ce Zhu, Xiao Lin, Lap-Pui Chau, Keng-Pang Lim, Hock-Ann Ang, and Choo-Yin Ong, "A novel hexagon-based search algorithm for fast block motion estimation, In Proc. of the IEEE International Conference on Acoustics, Speech, and Signal Processing, pp. 1593-1596, May 2001
  16. W. Yang, K. Ngan, J. Lim, and K. Sohn, "Joint motion and disparity fields estimation for stereoscopic video sequences," Signal Process.: Image Commun., vol. 20, no. 3, pp. 265–276, Mar. 2005 https://doi.org/10.1016/j.image.2004.12.003
  17. 이문호, 정성환, "오픈소스 CxImage를 이용한 Visual C++ 디지털 영상처리", 홍릉과학출판사, 8.2006
  18. Yongtae Kim, Seungchul Choia, Sukhee Cho, Kwanghoon Sohn, "Efficient disparity vector coding for multiview sequences", Signal Process.: Image Commun. vol. 19, pp. 539–553, 2004. https://doi.org/10.1016/j.image.2004.04.004