DOI QR코드

DOI QR Code

Fatigue Classification Model Based On Machine Learning Using Speech Signals

음성신호를 이용한 기계학습 기반 피로도 분류 모델

  • 이수화 ((주)코그넷나인) ;
  • 권철홍 (대전대학교 정보통신.전자공학과)
  • Received : 2022.09.27
  • Accepted : 2022.11.01
  • Published : 2022.11.30

Abstract

Fatigue lowers an individual's ability and makes it difficult to perform work. As fatigue accumulates, concentration decreases and thus the possibility of causing a safety accident increases. Awareness of fatigue is subjective, but it is necessary to quantitatively measure the level of fatigue in the actual field. In previous studies, it was proposed to measure the level of fatigue by expert judgment by adding objective indicators such as bio-signal analysis to subjective evaluations such as multidisciplinary fatigue scales. However this method is difficult to evaluate fatigue in real time in daily life. This paper is a study on the fatigue classification model that determines the fatigue level of workers in real time using speech data recorded in the field. Machine learning models such as logistic classification, support vector machine, and random forest are trained using speech data collected in the field. The performance evaluation showed good performance with accuracy of 0.677 to 0.758, of which logistic classification showed the best performance. From the experimental results, it can be seen that it is possible to classify the fatigue level using speech signals.

피로는 개인의 능력을 저하되게 하여 업무 수행을 어렵게 하며, 피로가 누적되면 집중력이 저하되어 안전사고를 초래할 가능성이 증가하게 된다. 피로에 대한 자각은 주관적이나, 실제 현장에서는 피로의 수준을 정량적으로 측정할 필요가 있다. 기존 연구에서 피로 수준은 다원적 피로 척도와 같은 주관적 평가에, 생체신호 분석 등의 객관적지표를 추가하여 전문가의 판단으로 측정하는 방식이 제안되었으나, 이러한 방법은 일상생활에서 실시간으로 피로도를 평가하기 어렵다. 본 논문은 현장에서 녹음한 음성 데이터를 이용하여 실시간으로 작업자의 피로 수준을 판정하는 피로도 분류 모델에 관한 연구이다. 현장에서 수집한 음성 데이터를 이용하여 로지스틱 분류, 서포트 벡터 머신, 랜덤 포레스트 등의 기계학습 모델을 학습시킨다. 성능을 평가한 결과, 정확도가 0.677 ~ 0.758로 우수한 성능을 보여주었고, 이 중에서 로지스틱 분류가 가장 우수한 성능을 나타냈다. 실험 결과로부터 음성신호를 이용하여 피로도를 분류하는 것이 가능하다는 것을 알 수 있다.

Keywords

Acknowledgement

본 연구는 대한민국 정부(산업통상자원부 및 방위사업청)의 재원으로 민군협력진흥원에서 수행하는 민군겸용기술개발사업의 연구비 지원으로 수행되었습니다. (과제번호 20-CM-BD-13)

References

  1. U. S. Choi and M. S. Song, "Concept analysis: Fatigue," Korean Journal of Women Health Nursing, Vol. 9, No. 1, pp. 61-69, 2003 https://doi.org/10.4069/kjwhn.2003.9.1.61
  2. Kaldi speech recognition toolkit, [Computer program] retrieved August 2022 from https://github.com/kaldi-asr/kaldi
  3. Korean forced aligner, [Computer program] retrieved August 2022 from http://hyungwonsnotebook.blogspot.com/2017/05/korean-forced-aligner.html
  4. Y. W. Lim, J. R. Cho, J. M. Lee, M. W. Koo, "The development of grapheme-to-phoneme conversion based on LSTM for Korean language," Proceedings of the Korea Software Congress 2017, pp. 2,004-2,006, 2017
  5. P. Boersma and D. Weenink, "Praat: doing phonetics by computer," [Computer program]. version 6.2.06, retrieved August 2022 fromhttps://www.fon.hum.uva.nl/praat/
  6. Y. L. Shue, P. Keating, C. Vicenik, K. Yu "VoiceSauce: a program for voice analysis," Proceedings of the ICPhS XVII, 1846-1849, 2011, [Computer program]. version 1.37, retrieved August 2022 from http://www.phonetics.ucla.edu/voicesauce/
  7. S. Raschka and V. Mirjalili, Python machine learning - third edition, Packt Publishing, 2019