The Journal of Korean Institute of Communications and Information Sciences (한국통신학회논문지)

The Korean Institute of Commucations and Information Sciences (한국통신학회)
권호 표지
DOI QR코드

DOI QR Code

FPGA-DSP Based Implementation of Lane and Vehicle Detection

FPGA와 DSP를 이용한 실시간 차선 및 차량인식 시스템 구현

  • 김일호 (서강대학교 전자공학과 MMI 연구실) ;
  • 김경환 (서강대학교 전자공학과 MMI 연구실)
  • Received : 2011.10.25
  • Accepted : 2011.12.14
  • Published : 2011.12.30
Download PDF
⟨ Previous Next ⟩

Abstract

This paper presents an implementation scheme of real-time lane and vehicle detection system with FPGA and DSP. In this type of implementation, defining the functionality of each device in efficient manner is of crucial importance. The FPGA is in charge of extracting features from input image sequences in reduced form, and the features are provided to the DSP so that tracking lanes and vehicles are performed based on them. In addition, a way of seamless interconnection between those devices is presented. The experimental results show that the system is able to process at least 15 frames per second for video image sequences with size of $640{\times}480$.

본 논문에서는 FPGA(Field Programmable Gate Array)와 DSP(Digital Signal Processor)를 이용하는 실시간 차선 및 차량인식 시스템의 구현에 대하여 기술한다. 실시간 시스템의 구현을 위해서 FPGA와 DSP의 역할을 효율적으로 분할할 필요성이 있다. 시스템의 알고리즘을 특정요소 추출부분을 기준으로 분할하여 대량의 영상정보를 이용하여 소량의 특정요소를 추출하는 과정을 FPGA로 구현하고 추출된 특정요소를 사용하여 차선과 차량을 정의하고 추적하는 부분을 DSP에서 수행하게 하고, FPGA와 DSP의 효율적 연동을 위한 인터페이스 구성을 제안함으로써 실시간 처리가 가능한 시스템 구조를 제안한다. 실험 결과 제안한 실시간 차선 및 차량인식 시스템은 $640{\times}480$ 크기를 갖는 비디오 영상 입력에 대해 약 15 (frames/sec)로 동작하여 실시간 응용으로 충분함을 알 수 있다.

Keywords

References

  1. J. C. McCall and M. M. Trivedi, "Video-based lane estimation and tracking for driver assistance: survey, system, and evaluation," IEEE Transactions on Intelligent Transportation Systems, 7(1), pp. 20-37, 2006. https://doi.org/10.1109/TITS.2006.869595
  2. Z. Sun, G. Bebis and R. Miller, "On-road vehicle detection: a review," IEEE Transactions on Pattern Analysis and Machine Intelligence, 28(5), pp. 694-711, 2006. https://doi.org/10.1109/TPAMI.2006.104
  3. Z. Liu, Y. Wang and W. Liu, "Design of a color image fusion system based on DSP and FPGA," International Congress on Image and Signal Processing, pp. 797-800, 2010.
  4. S. S. Kim and S. Jung, "Hardware implementation of a real-time neural network controller with a DSP and FPGA for nonlinear systems," IEEE Transactions on Industrial Electronics, pp. 265-271, 2007.
  5. 이운근, 이순웅, 조석빈, 고덕화, 백광렬, "도로교통 영상처리를 위한 고속 영상처리시스템의 하드웨어 구현", 제어.자동화.시스템공학 논문지,9(7), pp. 498-506, July 2003.
  6. J. Zhang, H. -B. Su and Q. -Z. Wu, "Research of multi-mode tracking based on multi-DSP and FPGA," International Conference on Intelligent Human-Machine Systems and Cybernetics, pp. 230-234, 2010.
  7. L. Yan, T. Zhang and S. Zhong, "A DSP/FPGA - based parallel architecture for real-time image processing," in Proceedings of the Sixth World Congress on Intelligent Control and Automation, pp. 10022-10025, 2006.
  8. M. Felisa and P. Zani, "Robust monocular lane detection in urban environments," in Proceedings of Intelligent Vehicles Symposium, pp. 591-596, 2010.
  9. C. Torress-Huitzil and M. Arias-Estrada, "FPGA-based configurable systolic architecture for window-based image processing," EURASIP Journal on Applied Signal Processing, 7, pp. 1024-1034, 2005.
  10. M. Jablonski and M. Gorgon, "Handel-C implementation of classical component labelling algorithm," in Proceedings of EUROMICRO Systems on Digital System Design, pp. 387-393, 2004.
  11. 노시봉, 안희준, 이명진, 오혁준, "임베디드 DSP기반 시스템을 위한 H.264 소프트웨어 부호기의실시간 최적화", 한국통신학회논문지, 34(10),pp. 983-991, October 2009.
  12. Texas Instuments, TMS320DM6437 digital media processor, 2006.
  13. Texas Instuments, TMS320C64x+ DSP Megamodule, 2010.
  14. Texas Instuments, TMS320C64x+ IQmath library user's guide, 2008.
  15. M. Boumediene, A. Ouamri and M. Keche, "Vehicle detection algorithm based on horizontal/vertical edges," International Workshop on Systems, Signal Processing and their Applications, pp. 396-399, 2011.
  16. M. Bertozzi, A. Broggi and S. Castelluccio, "A real-time oriented system for vehicle detection," Journal of System Architecture, 43(1-5), pp. 317-325, 1997. https://doi.org/10.1016/S1383-7621(96)00106-3
  17. AVNET, Spartan-3A DSP DaVinci development kit user guide, 2009.