A Side-and Rear-View Image Registration System for Eliminating Blind Spots

차량의 사각 지대 제거를 위한 측/후방 카메라 영상 정합 시스템

  • 박민우 (경북대학교 전자전기컴퓨터학부) ;
  • 장경호 (경북대학교 전자전기컴퓨터학부 BK) ;
  • 정순기 (경북대학교 컴퓨터공학과) ;
  • 윤팔주 ((주)만도 중앙연구소 Active Safety 1팀)
  • Published : 2009.08.15

Abstract

In this paper, we propose a blind spots elimination system using three cameras. A wide-angle camera is attached on trunk for eliminating blind spots of a rear-view mirror and two cameras are attached on each side-view mirror for eliminating blind spots of vehicle's sides. In order to eliminate blind spots efficiently, we suggest a method to build a panoramic mosaic view with two side images and one wide-angle rear image. First, we obtain an undistorted image from a wide-angle camera of rear-view and calculate the focus-of-contraction (FOC) in undistorted images of rear-view while the car is moving straight forward. Second, we compute a homography among side-view images and an undistorted image of rear-view in flat road scenes. Next, we perform an image registration process after road and background region segmentation. Finally, we generate various views such as a cylinder panorama view, a top view and an information panoramic mosaic view.

본 논문에서는 세 대의 카메라를 이용하여 사각지대를 효과적으로 제거하기 위한 파노라믹 비전 시스템(panoramic vision system)을 제안한다. 차량의 후방에는 광각 카메라를 사용하여 후방 거울(rear-view mirror)로부터 보이지 않는 사각지대를 제거하며, 나머지 두 대의 카메라는 측면 거울(side-view mirror)의 아래에 설치하여 측면 거울로 보지 못하는 사각지대를 제거한다. 좀 더 효과적인 사각지대 제거를 위해서 세 대의 카메라에서 얻어지는 영상을 정합하는 방법을 제공한다. 먼저, 후방 카메라에서 얻은 영상을 보정하고, 보정된 영상에서 focus-of-contraction(FOC)을 구한다. 그 뒤에 측방 카메라의 영상과 후방 카메라의 영상 사이의 호모그래피(homography)를 구한다. 그 다음으로 영상을 차도와 배경 영역으로 분리하고, 호모그래피를 사용하여 분리한 차도를 정합하고, 가상의 평면에 배경을 투영하여 최종정합을 완성한다. 마지막으로 정합된 영상을 보다 효과적으로 보여주기 위한 실린더 파노라마 영상, 가상의 Top-view 시스템, 그리고 차량의 다양한 정보와 함께 사각지대 영상을 보여주는 통합 정보 가시화 영상을 생성하여 제공한다.

Keywords

References

  1. 자동차부품연구원, '최신 자동차 기술동향 보고서', http://www.katech.re.kr/asp/trend.asp
  2. Wikipedia, 'Blind Spot (automobile),' http://en.wikipedia. org/wiki/Blind_spot_%28automobile%29
  3. R. Andrew Hicks and Ronald K. Perline, 'Blindspot Problem for Motor Vehicles,' Applied Optics, vol.44, no.19, pp.3893-3897, 2005 https://doi.org/10.1364/AO.44.003893
  4. Ford Interim Summer 98, http://www.hitl.washington. edu/publications/r-98-25
  5. Ford's CamCar Technology Eliminates 'blind spots' http://www.autoworld.com/apps/news/FullS-tory. asp?id=409
  6. PanoramicVisionTM System, http://www.donnelly.com/ products/exteriorvisionsystems/panoramicvisionsyst em.asp
  7. The 'Mechatronic' Car - Operating the Z22, http://www.bmwworld.com/models/concepts/z22.htm
  8. NISSAN-GLOBAL, 'Around View Monitor,' http:// www.nissan-global.com/EN/TECHNOLOGY/INTR ODUCTION/DETAILS/AVM/
  9. R. Szeliski, 'Image Alignment and Stitching: a Tutorial,' Technical Report MSR-TR-2004-92, Microsoft Research, December 2004
  10. S. Nayar, 'Catadioptric Omnidirectional Cameras,' In IEEE Conference on Computer Vision and Pattern Recognition, pp.482-488, 1997
  11. 신주홍, 남동환, 권기준, 정순기, 'Ellipsoid를 이용한 어안 렌즈의 Non-metric 접근 왜곡 보정 기법', HCI2005 학술대회논문집, 제14권, 제1호, pp.83-89, 2005년 2월
  12. Didi Sazbon, Hector Rotstein and Ehud Rivlin, 'Finding the Focus of Contraction and Estimating Range using Optical Flow Images and a Matched Filter,' Machine Vision and Applications, Volume 15, Issue 4, pp.229-236, October 2004 https://doi.org/10.1007/s00138-004-0152-7
  13. Carlo Tomasi and Takeo Kanade, 'Shape and Motion from Image Streams: a Factorization Method,' Technical Report CMU-CS-91-105, Carnegie Mellon University, School of Computer Science, Jan 1991
  14. M. Fischler and R. Bolles, 'Random Sample Consensus: a Paradigm for Model Fitting with Application to Image Analysis and Automated Cartography,' Communications of the ACM, vol.24, Issue 6, pp.381-395, June 1981 https://doi.org/10.1145/358669.358692
  15. R. Hartley and A. Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press, ISBN: 0521540518, second edition, 2004
  16. Bin Ran and Henry X. Liu, 'Development of A Vision-based Vehicle Detection and Recognition System for Intelligent Vehicles,' TRB Annual Meeting and To Appear in Transportation Research Record, 1999
  17. Rafael C. Gonzalez, Richard E. Woods, Digital Image Processing, Prentice Hall, ISBN: 0131687288, third edition, 2008
  18. Bin Ran and Henry X. Liu, 'Development of A Vision-based Real Time Lane Detection and Tracking System for Intelligent Vehicle,' Transportation Research Board 79th Annual Meeting, Washington DC, 2000
  19. 박민우, 이석준, 장경호, 정순기, 윤팔주, '사각지대 파노라마 영상생성을 위한 시뮬레이션', 정보과학회 2006 한국컴퓨터종합학술대회, 2006 한국컴퓨터종합학술대회 논문집, 제33권, 제1(B)호, pp.292-294, 2006년 6월