Journal of the Institute of Electronics Engineers of Korea SC (전자공학회논문지SC)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

Design of Stereo Image Match Processor for Real Time Stereo Matching

실시간 스테레오 정합을 위한 스테레오 영상 정합 프로세서 설계

  • Kim, Yeon-Jae (Dept.of Electronics Electric Engineering, Chungang University) ;
  • Sim, Deok-Seon (Dept.of Electronics Electric Engineering, Chungang University)
  • 김연재 (중앙대학교 전자전기공학부) ;
  • 심덕선 (중앙대학교 전자전기공학부)
  • Published : 2000.03.01
Download PDF
⟨ Previous Next ⟩

Abstract

Stereo vision is a technique extracting depth information from stereo images, which are two images that view an object or a scene from different locations. The most important procedure in stereo vision, which is called stereo matching, is to find the same points in stereo images. It is difficult to match stereo images in real time because stereo matching requires heavy calculation. In this Paper we design a digital VLSI to Process stereo matching in real time, which we call stereo image match processor (SIMP). For implementation of real time stereo matching, sliding memory and minimum selection tree are presented. SIMP is designed with pipeline architecture and parallel processing. SIMP takes 64 gray level 64$\times$64 stereo images and yields 8 level 64 $\times$64 disparity map by 3 bit disparity and 12 bit address outputs. SIMP can process stereo images with process speed of 240 frames/sec.

스테레오 영상(stereo image)이란 같은 물체나 장면을 담고있는 서로 다른 시점의 두 영상이며 스테레오 영상에서 깊이 정보를 얻어내는 것을 스테레오 비전(stereo vision)이라 한다. 스테레오 비전에서 가장 중요한 과정은 두 영상에서 서로 일치하는 점을 찾아내는 스테레오 정합(stereo matching)이다. 그러나, 스테레오 정합은 매우 많은 계산을 필요로 하기 때문에 실시간으로 정합하기 어렵다. 본 논문에서는 실시간으로 스테레오 정합을 처리할 수 있는 스테레오 영상 정합 프로세서(stereo image match procesor：SIMP)를 설계하고 구현하였다. 이를 위해 슬라이딩 메모리(sliding memory)와 최소 선택 트리(minimum selection tree)를 제안하였고 파이프라인 구조(pipeline architecture)와 병렬 처리 기법을 이용하였다. SIMP의 입력은 64 그레이 레벨인 두 개의 64×64 스테레오 영상이고 출력은 최대 7의 값을 가지는 변이(disparity)와 12비트의 주소로 이들을 이용하여 64×64 변이도(disparity map)를 구성할 수 있다. SIMP는 약 240 프레임/초의 속도로 스테레오 영상을 처리할 수 있다.

Keywords

References

  1. D. Marr and T. Poggio, 'Cooperative computation of stereo disparity,' Science, vol. 194, pp. 283-287, Oct. 1976 https://doi.org/10.1126/science.968482
  2. S. B. Pollard, J. E. W. Mayhew, and J. P. Frisby, 'PMF: A stereo correspondence algorithm using a disparity gradient limit,' Perception, vol. 14, pp. 449-470, 1985 https://doi.org/10.1068/p140449
  3. K. Prazdny, 'Detection of binocular disparities,' Biological Cybem., vol. 52, pp. 93-99, 1985 https://doi.org/10.1007/BF00363999
  4. M. Okutomi and T. Kanade, 'A multiple-baseline stereo,' IEEE Transaction on Pattern Analysis and Machine Intelligence, vol. 15, pp. 353-363, Apr. 1993 https://doi.org/10.1109/34.206955
  5. T. Kanade and M. Okutomi, 'A stereo matching algorithm with an adaptive window: Theory and experiment,' IEEE Transaction on Pattern Analysis and Machine Intelligence, vol. 16, pp. 920-932, Sept. 1994 https://doi.org/10.1109/34.310690
  6. J. M. Hakkarainen and H.-S. Lee, 'A 40 x 40 CCD/CMOS absolute-value-of- difference processor for use in a stereo vision system,' IEEE J. Solid State Circuits, vol. 28, pp. 779-807, July 1993 https://doi.org/10.1109/4.222179
  7. C. H. Hsieh and T. P. Lin, 'VLSI architecture for block-matching motion estimation algorithm,' IEEE Transaction on Circuits and Systems for Video Technology, Vol. 2, No.2, June 1992 https://doi.org/10.1109/76.143416
  8. V. L. Do and K. Y. Yun, 'A low-power VLSI architecture for full-search block- matching motion estimation,' IEEE Transaction on Circuits and Systems for Video Technology, Vol. 8, No.4, August 1998 https://doi.org/10.1109/76.709406
  9. T. Komarek and P. Pirsch, 'Array architecture for block matching algorithms,' IEEE Transaction on Circuits and Systems, Vol. 32, No. 10, October 1989
  10. P.J. Ashenden, ed., The Designer's Guide to VHDL, Morgan Kaufmann Publishers, Inc., 1996
  11. I. Koren, ed., Computer Arithmetic Algorithms, Englewood Cliffs, New Jersey: Prentice- Hall, Inc., 1993
  12. R. C. Gonzalez and R. E. Woods, eds., Digital Image Processing, Addison Wesley, 1993
  13. K. S. Fu, R. C. Gonzalez, and C. S. G. Lee, eds., Robotics: Control, Sensing, Vision and Intelligence, New York: McGraw-Hill, 1987