Stereo Vision-Based Obstacle Detection and Vehicle Verification Methods Using U-Disparity Map and Bird's-Eye View Mapping

U-시차맵과 조감도를 이용한 스테레오 비전 기반의 장애물체 검출 및 차량 검증 방법

  • Lee, Chung-Hee (Daegu Gyeongbuk Institute of Science & Technology) ;
  • Lim, Young-Chul (Daegu Gyeongbuk Institute of Science & Technology) ;
  • Kwon, Soon (Daegu Gyeongbuk Institute of Science & Technology) ;
  • Lee, Jong-Hun (Daegu Gyeongbuk Institute of Science & Technology)
  • Received : 2010.06.29
  • Published : 2010.11.25

Abstract

In this paper, we propose stereo vision-based obstacle detection and vehicle verification methods using U-disparity map and bird's-eye view mapping. First, we extract a road feature using maximum frequent values in each row and column. And we extract obstacle areas on the road using the extracted road feature. To extract obstacle areas exactly we utilize U-disparity map. We can extract obstacle areas exactly on the U-disparity map using threshold value which consists of disparity value and camera parameter. But there are still multiple obstacles in the extracted obstacle areas. Thus, we perform another processing, namely segmentation. We convert the extracted obstacle areas into a bird's-eye view using camera modeling and parameters. We can segment obstacle areas on the bird's-eye view robustly because obstacles are represented on it according to ranges. Finally, we verify the obstacles whether those are vehicles or not using various vehicle features, namely road contacting, constant horizontal length, aspect ratio and texture information. We conduct experiments to prove the performance of our proposed algorithms in real traffic situations.

본 논문에서는 U-시차맵과 조감도를 이용한 스테레오 비전 기반의 장애물체 검출 및 차량 검증 방법을 제안한다. 먼저 최대 빈도 값을 이용하여 V-시차맵 상에서 도로 특징 정보를 추출하고, 추출된 도로 정보를 이용하여 대략적인 도로상의 장애물체 영역을 추출한다. 좀 더 정확한 장애물체 영역 추출을 위하여 U-시차맵을 생성하는데, 이때 시차값과 카메라 파라미터를 이용하여 계산된 문턱치를 이용하여 높이 제한된 U-시차맵을 생성함으로써, 일정한 높이의 장애물체만을 검출 할 수 있다. 그러나 검출된 장애물체 영역 내에는 여전히 다수의 장애물체와 배경이 존재하므로, 세그먼테이션 과정을 수행한다. 전 단계에서 추출된 장애물체 영역을 카메라 모델링과 파라미터를 이용하여 조감도 맵핑을 수행한다. 조감도는 시차맵과 카메라 정보를 기반으로 계산된 장애물체들의 위치를 평면상에 표시함으로써 장애물체들을 좀 더 쉽게 분리할 수 있다. 마지막으로 각각 분리된 장애물체들 별로 차량 특징 기반의 차량 검증 과정을 수행한다. 도로 접점 여부, 일정한 수평크기, 가로 세로 비율 및 텍스쳐 정보를 이용하여 최종적으로 도로상의 차량만을 검출한다. 그리고 실제 도로에서 획득한 영상에 제안한 알고리즘을 적용함으로써 장애물체 검출 및 차량 검증 성능을 검증한다.

Keywords

References

  1. Everett H.R., Sensors for mobile Robots:Theory and Application, Wellesley MA, A.K. Peters, 1995.
  2. S. Zehang, B. George, and M. Ronald, "On-Road Vehicle Detection: A Review," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 28, No. 5, 2006, pp. 694-711.
  3. V. Kastinaki et al., "A Survey of Video Processing Techniques for Traffic Applications," Image and Vision Computing, Vol. 21, No. 4, 2003, pp. 359-381. https://doi.org/10.1016/S0262-8856(03)00004-0
  4. L. W. Tsai, J. W. Hsieh, and K. C. Fan, "Vehicle Detection Using Normalized Color and Edge Map," IEEE Transactions on Image Processing, Vol. 16. No. 3, 2007, pp. 850-864. https://doi.org/10.1109/TIP.2007.891147
  5. C. Tzomakas and W. Seelen, "Vehicle Detection in Traffic Scenes Using Shadows," Technical report 98-06, Institute for Neuroinformatik, Ruht-university, 1998.
  6. Y. Park, "Shape-Resolving Local Thresholding for Object Detection," Pattern Recognition Letters, 2001, pp. 883-890.
  7. A. Broggi, M. Bertozzi, A. Fascioli, C.G.L., Bianco, and A. Piazzi, "Visual Perception of Obstacles and Vehicles for Platooning," IEEE Transactions on Intelligent Transportation Systems, Vol. 1, No. 3, 2000, pp. 164-176. https://doi.org/10.1109/6979.892153
  8. H. G. Jung, Y. H. Lee, B. J. Kim, P. J. Yoon, and J. H. Kim, "Stereo Vision-Based Forward Obstacle Detection," International Journal of Automotive Technology, Vol. 8, No. 4, 2007, pp. 493-504.
  9. G. Toulminet, M. Bertozzi, S. Mousset, A. Bensrhair, and A. Broggi, "Vehicle Detection by Means of Stereo Vision-Based Obstacles Features Extraction and Monocular Pattern Analysis," IEEE Transactions on Image Processing, Vol. 15, No. 8, 2006, pp. 2364-2375. https://doi.org/10.1109/TIP.2006.875174
  10. 이충희, 임영철, 권순, 이종훈, "스테레오 비전 기반의 도로 특징 정보 추출 및 장애물체 검출," 전자공학회논문지, 46권, 제6호, 28-37쪽, 2009년 11월.
  11. 이충희, 임영철, 권 순, 이종훈, "스테레오 비전 기반의 이동객체용 실시간 환경 인식 시스템," 대한임베디드공학회, 3권, 3호, 143-150쪽, 2008년 9월
  12. C. H. Lee, Y. C. Lim, S. Kwon and J. H. Lee, "Obstacle localization with a binarized v-disparity map using local maximum frequency values in stereo vision," International Conference on Signals, Circuits and Systems 2008, pp. 1-4, Nov. 2008.
  13. 이충희, 임영철, 권순, 이종훈, "스테레오 비전을 이용한 장애물체 검출용 후처리 기법," UCT 2008 학술대회, 172-175쪽, 2008년 7월
  14. R. Labayrade, D. Aubert, "A Single Framework for Vehicle Roll, Pitch, Yaw Estimation and Obstacles Detection by Stereovision," IEEE Intelligent Vehicles Symposium Proceedings, 2003, pp. 31-36.
  15. R. Labayrade, D. Aubert, and J.-P. Tarel, "Real time obstacle detection on non flat road geometry through V-disparity representation," IEEE Intelligent Vehicles Symposium, Versailles, June, 2002, pp. 646-651.
  16. C. Pocol, S. Nedevschi, M. M. Meinecke, "Obstacle Detection Based on Dense Stereovision for Urban ACC Systems," in Proceedings of 5th International Workshop on Intelligent Transportation (WIT 2008), 2008, pp. 13-18.
  17. R. Hartley, and A. Zisserman, Multiple View Geometry, 2nd ed., Cambridge University Press, 2003.
  18. GLCM texture http://www.fp.ucalgary.ca/mhallbey/
  19. 임영철, 이충희, 권 순, 이종훈, "스테레오 비전에서 향상된 적응형 퍼지 칼만 필터를 이용한 거리 추정 기법," 전자공학회논문지, 45권, 제6호, 108-116쪽, 2008년 11월.