Implementation of Driver Fatigue Monitoring System

운전자 졸음 인식 시스템 구현

  • 최진모 (전자부품연구원 소프트웨어디바이스연구센터) ;
  • 송혁 (전자부품연구원 멀티미디어IP연구센터) ;
  • 박상현 (전자부품연구원 소프트웨어디바이스연구센터) ;
  • 이철동 (전자부품연구원 소프트웨어디바이스연구센터)
  • Received : 2012.04.29
  • Accepted : 2012.08.06
  • Published : 2012.08.31


In this paper, we introduce the implementation of driver fatigue monitering system and its result. Input video device is selected commercially available web-cam camera. Haar transform is used to face detection and adopted illumination normalization is used for arbitrary illumination conditions. Facial image through illumination normalization is extracted using Haar face features easily. Eye candidate area through illumination normalization can be reduced by anthropometric measurement and eye detection is performed by PCA and Circle Mask mixture model. This methods achieve robust eye detection on arbitrary illumination changing conditions. Drowsiness state is determined by the level on illumination normalize eye images by a simple calculation. Our system alarms and operates seatbelt on vibration through controller area network(CAN) when the driver's doze level is detected. Our algorithm is implemented with low computation complexity and high recognition rate. We achieve 97% of correct detection rate through in-car environment experiments.

본 논문에서는 운전자 졸음 인식 시스템의 구현 방법과 그에 따른 결과를 소개한다. 영상 입력 장치로는 시중에 판매되는 웹캠 카메라를 사용하였다. 얼굴 검출 방법으로는 Haar 변환 기법을 이용하였으며, 다양한 조명 환경에 강건하게 적응하도록 조명정규화를 수행하였다. 조명정규화를 거친 얼굴 영상은 특징값 추출에 용이하다. 조명정규화를 통한 눈 후보영역은 인체측정학 정보를 이용하여 후보 영역을 줄인 이후에 PCA와 Circle Mask의 혼합 모델을 적용했다. 위 방법을 통해 차량 내부의 복잡한 조명 환경 속에서 강건히 눈 영역을 추출한다. 검출된 눈 영역은 고해상도의 조명 정규화 영상과 간단한 연산을 통하여 졸음 여부를 판별한다. 졸음 상태가 1단계로 판단 될 경우에는 통합 모니터링 인터페이스에서 운전자에게 경고음을 울리며 2단계일 경우에는 CAN(Controller Area Network)를 통하여 안전벨트를 진동하게 함으로써 운전자에게 경고를 준다. 본 논문에서 제안하는 졸음 인식 시스템은 낮은 계산 복잡도를 만족하는 동시에 높은 인식률을 보여준다. 실험 결과 차량 내에서 97%의 인식률이 나타났다.


Grant : IT특화연구소 설립

Supported by : 정보통신산업진흥원


  1. H. Chun, J. Moon, J. Park, C. Woo, "Analysis of the Fund Supported by Ministry of Knowledge Economy in the Field of Intelligent Vehicle Research" KSAE Auto Journal, Nov, 2010 (전형호, 문종덕, 박종만, 우창화, "지능형 자동차 분야의 지식경제부 연구개발 지원현황, " 한국자동차공학회 Auto Journal, 2010년 11월.)
  2. L. Jin, S. Satoh and M. Sakauchi, "A Novel Adaptive Image Enhancement Algorithm for Face Detection," in Proc. of ICPR04, pp.843-848, Cambridge, UK, Aug. 2004.
  3. M. H. Yang, D. J. Kriegman and N. Ahuja, "Detecting Faces in Images: A Survey," IEEE PAMI, vol.24, no.1, pp.34-8, Jan. 2002.
  4. R. Lienhart and J. Maydt, "An Extended Set of Haar-like Features for Rapid Object Detection," IEEE ICIP 2002, vol.1, pp.900-903, Sept. 2002.
  5. P. Viola and M. J. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features," IEEE CVPR, vol.1, pp.I-511-I-518, Dec. 2001.
  6. M. D. Levine, M. R. Handhi, and J. Bhattacharyya, "Image Normalization for Illumination Compensation in Facial Images," Internal Report, McGill University, 2004.
  7. T. Miyakawa, H. Takano, and K. Nakamura, "Development of Non-contact Real-time Blink Detection System for Doze Alarm," SICE Annual Conference in Sapporo, vol..2, pp.1626-1631, Aug. 2004.
  8. Savas, Z, "Real-time Detection And Tracking of Human Eyes in Video Sequences", Master Thesis, Middle East Technical University Ankara, Turkey, 2005
  9. M. H. Yang, N. Ahuja, D. Kriegman, "Face recognition using kernel eigenfaces", International Conference on Image Processing Proceedings, Vol. 1, pp. 37-40, Sep, 2000.
  10. J. W. Li, "Eye blink detection based on multiple Gabor response waves", Machine Learning and Cybernetics, 2008 International Conference, Vol. 5, pp. 2852-2856, Dec. 2008.

Cited by

  1. System for Detecting Driver's Drowsiness Robust Variations of External Illumination vol.19, pp.6, 2016,