Journal of the Institute of Electronics Engineers of Korea CI (전자공학회논문지CI)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

Development of a SAD Correlater for Real-time Stereo Vision

실시간 스테레오 비젼 시스템을 위한 SAD 정합연산기 설계

  • Yi, Jong-Su (School of Electrical and Electronics Engineering, Chung-Ang University) ;
  • Yang, Seung-Gu (School of Electrical and Electronics Engineering, Chung-Ang University) ;
  • Kim, Jun-Seong (School of Electrical and Electronics Engineering, Chung-Ang University)
  • 이정수 (중앙대학교 전자전기공학부) ;
  • 양승구 (중앙대학교 전자전기공학부) ;
  • 김준성 (중앙대학교 전자전기공학부)
  • Published : 2008.01.25
Download PDF
⟨ Previous Next ⟩

Abstract

A real-time three-dimensional vision is a passive system, which would support various applications including collision avoidance, home networks. It is a good alternative of active systems, which are subject to interference in noisy environments. In this paper, we designed a SAD correlator with respect to resource usage for a real-time three-dimensional vision system. Regular structures, linear data flow and abundant parallelism make the correlation algorithm a good candidate for a reconfigurable hardware. We implemented two versions of SAD correlator in HDL and synthesized them to determine resource requirements and performance. From the experiment we show that the SAD correlator fits into reconfigurable hardware in marginal cost and can handle about 30 frames/sec with $640{\times}480$ images.

실시간 삼차원 영상은 충돌 방지를 위한 수동 시스템을 포함하는 다양한 응용 분야에 활용될 수 있으며, 기존 능동 시스템에 대한 훌륭한 대안으로서 잡음이 많은 복잡한 환경에서 외부의 영향을 최소화 할 수 있는 장점이 있다. 본 논문에서는 하드웨어 자원 사용량에 주목하여 실시간 삼차원 영상을 위한 스테레오 비전 시스템의 최적화에 관한 연구를 진행하였다. SAD 알고리즘은 규칙적인 구조, 선형적인 데이터 흐름과 풍부한 병렬성을 가지므로 재구성 가능한 하드웨어에서 구현하기 위한 좋은 조건을 가지고 있다. HDL을 이용하여 SAD 정합연산기를 설계하고 하드웨어 자원 사용량과 성능을 확인하기 위해서 Xilinx를 사용하여 합성하였다. 실험을 통하여, 초당 30프레임을 실시간으로 처리할 수 있는 충분한 처리 속도를 가지고 있으며, 적은 자원은 사용하면서 높은 정합율을 보이는 SAD 정합연산기를 설계하였음을 확인하였다.

Keywords

References

  1. C. F. Olson, 'Maximum-likelihood image matching,' Pattern Analysis and Machine Intelligence, IEEE Transactions on , Volume: 24, Issue: 6 , pp. 853 - 857, June 2002
  2. N. Sebe, M. S. Lew, 'Maximum Likelihood Stereo Matching,' Pattern Recognition, 2000. Proceedings. 15th International Conference on, Volume: 1, pp. 900 - 903 vol.1, September 2000
  3. J. S. Yi, J. S. Kim, LiPing, J. Morris, G. Lee, P. Leclercq, 'Real-time three dimensional vision,' Advances in Computer Systems Architecture: 9th Asia-Pacific Conference, ACSAC 2004, pp. 309-320, Beijing, China, September 2004
  4. S Wong, S. Vassiliadis, S. Cotofana, 'A Sum of absolute differences implementation in FPGA Hardware,' Euromicro Conference, 2002. Proceedings. 28th, pp. 183-188, September 2002
  5. S. T. Barnard, M. A. Fischler, 'Computational Stereo,' ACM Computing Surveys archive Volume 14, Issue 4, pp. 553 - 572, December 1982 https://doi.org/10.1145/356893.356896
  6. W. Eric, L. Grimson, 'Computatoinal Experiments with a Feature Based Stereo Algorithm,' IEEE Trans. Pattern Anal. Machine Intell., Vol. PAMI-7, No. 1, pp. 17-33, 1985 https://doi.org/10.1109/TPAMI.1985.4767615
  7. P. Leclercq, J. Morris, 'Robustness to Noise of Stereo Matching,' Image Analysis and Processing, 2003. Proceedings. 12th International Conference on , pp. 606 - 611, September 2003
  8. P. J. Ashenden, 'Recursive and repetitive hardware models in VHDL,' Tech. Rep. TR160/12/93/ECE, Electrical and Computer Engineering, University of Cincinatti, Ohio 45221-0030, 1993
  9. J. Morris, 'Reconfigurable computing,' Computer Engineering Handbook, Vojin G Oklobdzija, Ed. CRC Press, pp. 37-1 - 37-16, 2001
  10. Xilinx Inc. : Virtex-II Platform FPGAs : Complete Data Sheet, 'http://www.xilinx.com,' 2002
  11. D. Scharstein, R. Szeliski, 'A taxonomy and evaluation of dense two-frame stereo correspondence algorithms,' International Journal of Computer Vision, vol. 47, pp. 7-42, 2002 https://doi.org/10.1023/A:1014573219977
  12. Middlebury Stereo Vision Page, http://www.middlebury.edu/stereo