DOI QR코드

DOI QR Code

Hardware Architecture and Memory Bandwidth Analysis of AVM System

AVM 시스템의 하드웨어 구현에 따른 하드웨어 구조 및 메모리 대역폭 분석

  • Nam, Kwnag-Min (Dept. of Electronics and Communications Engineering, Kwangwoon University) ;
  • Jung, Yong-Jin (Dept. of Electronics and Communications Engineering, Kwangwoon University)
  • Received : 2016.08.31
  • Accepted : 2016.09.29
  • Published : 2016.09.30

Abstract

AVM(Around View Monitoring) is a function of ADAS(Advanced Driver Assistance Systems), which provides a bird's eye view of the surroundings of a vehicle to the user. AVM systems require large bandwidth since they are composed of four input images and require real-time processing for vehicle-embedded environments. Also, the memory bandwidth requirement increases greatly when the resolution of the input data is higher. In this paper, we propose four basic hardware models of AVM systems. The models are decided by whether or not there is a valid data extraction module and an image processing purpose LUT generation module. We analyze the required bandwidth and hardware resource for each model. For verification of the proposed models, we implemented an AVM system using XC7Z045 FPGA and DDR3 memory for VGA and FHD resolution. All four of the proposed hardware model is executed below 33ms, which shows that it can operate in real-time.

AVM(Around View Monitor)시스템은 ADAS(Advanced Driver Assistance Systems)의 한 종류로 운전자가 차량 주변을 한눈에 파악할 수 있게 도와주는 차량 시스템이다. AVM 시스템은 네 개의 카메라에서 입력받은 데이터를 실시간 처리하기 때문에 요구되는 메모리 대역폭이 크다. 특히 입력 영상의 해상도 증가에 따라 메모리 대역폭 수치가 크게 증가하기 때문에, 필요한 메모리 대역폭에 맞는 하드웨어 구조 설계가 필요하다. 본 논문은 설계에 기틀이 될 AVM 시스템 하드웨어 모델 네 종류를 제시한다. 각 모델은 입력 영상으로부터 유효 데이터를 추출하는 모듈의 유무, 영상처리를 위한 LUT 생성 모듈 유무로 결정된다. 논문에서는 모델 별로 상이한 필요 메모리 대역폭과 하드웨어 자원 사용량이 제시된다. 이를 토대로 설계자의 요구 사항에 맞는 모델을 선택하고 구현할 수 있다. 제시한 하드웨어 모델의 검증을 위해 VGA, FHD급 AVM 시스템을 구현하였다. 구현에는 XC7Z045 FPGA, DDR3가 이용되었으며, 30FPS로 동작한다.

Keywords

References

  1. Yu-Chih Liu, Kai-Ying Lin, and Yong-Sheng Chen, "Bird's eye view vision system for vehicle surrounding monitoring," International Workshop on Robot Vision, pp. 207-218, 2008.
  2. Y. Chang, L. Hsu, and O. Chen, "AUTOCALIBRATION AROUND VIEW MONITORING SYSTEM," Vehicular Technology Conference, pp. 1-5, 2013.
  3. H. Ciaran, D. Patrick, and J. Edward, "Accuracy of fish-eye lens models" OSA Publishing, Applied Optics Vol. 49, pp.3338-3347, 2010. https://doi.org/10.1364/AO.49.003338
  4. Ki-Yong Lee, Joon-Woong Lee, "Ground Plane Detection Using Homography Matrix," Journal of Institute of Control Robotics and Systems, pp. 983-988, 2011.
  5. S. Ma, Q. Dong, M. Gao, "Motion and structure from an orthographic and a perspective image," IEEE International Conference on Automation and Logistics, pp. 833-837, 2008.
  6. B. Jeon, G. Park, J. Lee, S. Yoo, H. Jeong, "A Memory-Efficient Architecture of Full HD Around View Monitor Systems," IEEE Transactions on Intelligent Transportation Systems, Vol.15, pp. 2683-2695, 2014.