Database Research (데이타베이스연구회지:데이타베이스연구)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

Driver Drowsiness Detection Model using Image and PPG data Based on Multimodal Deep Learning

이미지와 PPG 데이터를 사용한 멀티모달 딥 러닝 기반의 운전자 졸음 감지 모델

  • 최형탁 (충남대학교 컴퓨터공학과) ;
  • 백문기 (충남대학교 컴퓨터공학과) ;
  • 강재식 (충남대학교 컴퓨터공학과) ;
  • 윤승원 (충남대학교 컴퓨터공학과) ;
  • 이규철 (충남대학교 컴퓨터공학과)
  • Received : 2018.10.16
  • Accepted : 2018.12.11
  • Published : 2018.12.31

⟨ Previous Next ⟩

Abstract

The drowsiness that occurs in the driving is a very dangerous driver condition that can be directly linked to a major accident. In order to prevent drowsiness, there are traditional drowsiness detection methods to grasp the driver's condition, but there is a limit to the generalized driver's condition recognition that reflects the individual characteristics of drivers. In recent years, deep learning based state recognition studies have been proposed to recognize drivers' condition. Deep learning has the advantage of extracting features from a non-human machine and deriving a more generalized recognition model. In this study, we propose a more accurate state recognition model than the existing deep learning method by learning image and PPG at the same time to grasp driver's condition. This paper confirms the effect of driver's image and PPG data on drowsiness detection and experiment to see if it improves the performance of learning model when used together. We confirmed the accuracy improvement of around 3% when using image and PPG together than using image alone. In addition, the multimodal deep learning based model that classifies the driver's condition into three categories showed a classification accuracy of 96%.

주행 중에 발생하는 졸음은 큰 사고로 직결될 수 있는 매우 위험한 운전자 상태이다. 졸음을 방지하기 위하여 운전자의 상태를 파악하는 전통적인 졸음 감지 방법들이 존재하지만 운전자들이 가지는 개개인의 특성을 모두 반영한 일반화 된 운전자 상태 인식에는 한계가 있다. 최근에는 운전자의 상태를 인식하기 위한 딥 러닝기반의 상태인식 연구들이 제안되었다. 딥 러닝은 인간이 아닌 기계가 특징을 추출하여 보다 일반화된 인식모델을 도출할 수 있는 장점이 있다. 본 연구에서는 운전자의 상태를 파악하기 위해 이미지와 PPG를 동시에 학습하여 기존 딥 러닝 방식보다 정확한 상태 인식 모델을 제안한다. 본 논문은 운전자의 이미지와 PPG 데이터가 졸음 감지에 어떤 영향을 미치는지, 함께 사용되었을 때 학습 모델의 성능을 향상시키는지 실험을 통해 확인하였다. 이미지만을 사용했을 때 보다 이미지와 PPG를 함께 사용하였을 때 3%내외의 정확도 향상을 확인했다. 또한, 운전자의 상태를 세 가지로 분류하는 멀티모달 딥 러닝 기반의 모델을 96%의 분류 정확도를 보였다.

Keywords

Acknowledgement

Supported by : 국토교통부

References

  1. 공공데이터포털, "졸음운전 교통사고 현황(2017), https://www.data.go.kr/dataset/fileDownload.do?atchFileId=FILE_000000001379721&fileDetailSn=1
  2. Jo, J., Lee, S. J., Park, K. R., Kim, I. J., & Kim, J. (2014). Detecting driver drowsiness using feature-level fusion and user-specific classification. Expert Systems with Applications, 41(4), 1139-1152. https://doi.org/10.1016/j.eswa.2013.07.108
  3. Li, W. C., Ou, W. L., Fan, C. P., Huang, C. H., & Shie, Y. S. (2016, October). Near-infrared-ray and side-view video based drowsy driver detection system: Whether or not wearing glasses. In Circuits and Systems (APCCAS), 2016 IEEE Asia Pacific Conference on (pp. 429-432). IEEE.
  4. Saradadevi, M., & Bajaj, P. (2008). Driver fatigue detection using mouth and yawning analysis. International journal of Computer science and network security, 8(6), 183-188.
  5. Teyeb, I., Jemai, O., Zaied, M., & Amar, C. B. (2014, July). A novel approach for drowsy driver detection using head posture estimation and eyes recognition system based on wavelet network. In Information, Intelligence, Systems and Applications, IISA 2014, The 5th International Conference on (pp. 379-384). IEEE.
  6. Viola, P., & Jones, M. (2001). Rapid object detection using a boosted cascade of simple features. In Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on (Vol. 1, pp. I-I). IEEE.
  7. Dwivedi, K., Biswaranjan, K., & Sethi, A. (2014, February). Drowsy driver detection using representation learning. In 2014 IEEE International Advance Computing Conference (IACC) (pp. 995-999).
  8. Reddy, B., Kim, Y. H., Yun, S., Seo, C., & Jang, J. (2017). Real-time Driver Drowsiness Detection for Embedded System Using Model Compression of Deep Neural Networks. Comput. Vis. Pattern Recognit. Work.
  9. Zhang, K., Zhang, Z., Li, Z., & Qiao, Y. (2016). Joint face detection and alignment using multitask cascaded convolutional networks. IEEE Signal Processing Letters, 23(10), 1499-1503 https://doi.org/10.1109/LSP.2016.2603342