Development of a driver's emotion detection model using auto-encoder on driving behavior and psychological data

Abstract

Emotion recognition while driving is an essential task to prevent accidents. Furthermore, in the era of autonomous driving, automobiles are the subject of mobility, requiring more emotional communication with drivers, and the emotion recognition market is gradually spreading. Accordingly, in this research plan, the driver's emotions are classified into seven categories using psychological and behavioral data, which are relatively easy to collect. The latent vectors extracted through the auto-encoder model were also used as features in this classification model, confirming that this affected performance improvement. Furthermore, it also confirmed that the performance was improved when using the framework presented in this paper compared to when the existing EEG data were included. Finally, 81% of the driver's emotion classification accuracy and 80% of F1-Score were achieved only through psychological, personal information, and behavioral data.

운전 중 감정 인식은 사고를 예방하기 위해 꼭 필요한 과제이다. 더 나아가 자율 주행 시대에서 자동차는 모빌리티의 주체로 운전자와의 감정적인 소통이 더욱 요구되고 있으며 감정 인식 시장은 점점 확산되고 있다. 이에 따라 본 연구 방안에서는 수집하기 비교적 용이한 데이터인 심리데이터와 행동 데이터를 이용해 운전자의 감정을 분류하는 인공지능 모델을 개발하고자 한다. 오토인코더 모델을 통해 잠재 변수를 추출하고, 이를 본 분류 모델의 변수로 사용하였으며, 이는 성능 향상에 영향을 미침을 확인하였다. 또한 기존 뇌파 데이터를 포함했을 때 보다 본 논문이 제시하는 프레임워크를 사용하였을 때 성능이 향상됨도 확인하였다. 최종적으로 심리 및 개인정보데이터, 행동 데이터만을 통해 운전자의 감정 분류 정확도 81%와 F1-Score 80%를 달성하였다.

I. Introduction

현재 주요 교통수단은 자동차로, 한국교통안전공단에 의하면 2021년 기준 자동차 일평균 주행거리는 39.6km이다[1]. 평균적으로 하루에 대략 1시간은 차 안에서 시간을 소비한다는 의미이다.

AI(Artificial Intelligence)의 발전에 따라 자동차는 수동 주행에서 자율 주행으로 변화하고 있으며, 이에 따라 자동차는 단순 교통수단이 아닌 탑승자 즉, 기존의 운전자와 소통 및 교감하는 모빌리티 서비스로 탑승자의 상태를 인지하여 맞춤 서비스 제공의 필요성이 더욱 요구되고 있는 상황이다. 또한 운전자들은 본인들의 운전 방식과 비슷한 자율 주행 방식을 선호한다는 것을 통해 운전자 맞춤 자율 주행의 필요성도 요구됨을 알 수 있다[2].

최근 감정 감지 및 인식 시장은 확대되고 있는 추세로 마켓 앤 마켓(Markets and Markets)에서 발표한 ‘전 세계 감정 감지 및 인식 시장’ 보고서에 따르면 세계 감정 감지 및 인식 시장 규모는 2019년 216억 달러에서 2024년 560억 달러로 연평균 21.0% 성장세를 보일 것이라 전망하고 있다[3]. 감정 및 인식 기술에 따라 자연어 처리, 머신러닝, 바이오센서, 특징추출 및 3D 모델링, 기타로 분류되는데 그중 머신러닝은 2019년 49억 6,900만 달러에서 연평균 성장률 22.0%로 2024년에는 134억 5,100만 달러에 이를 것으로 기대한다[3].

이에 동반하여 감정 인식 기술 또한 발전을 이루고 있다. 감정 인식 기술은 감정 데이터를 수집해 분석하는 것으로 사람의 얼굴, 음성, 신체 동작, 생체 신호 등을 통해 객관적인 감정 정보를 수치적으로 해석하는 기술을 의미한다[4]. 미래 모빌리티, 의료 및 헬스케어, 로봇, 교육, 디지털 트윈 등 다양한 분야에서 구축 및 활용되고 있으며, 이 중 미래 모빌리티 분야에서는 운전자의 집중도나 피로도 측정 기반 경고 알림 서비스, 자동차의 실내 환경을 운전자의 생체 신호나 자세, 동작을 인식해 자동으로 제안하는 개인 맞춤형 서비스들이 개발되고 있는 추세이다[4]. 또한 운전자 상태 모니터링은 2024년 유럽 신차 평가 프로그램(Euro-NCAP)을 시작으로 자동차 내 기능 장착이 의무화될 예정으로 향후 자동차 내에 운전자 상태 모니터링과 감정 인식 관련 기술 적용이 더욱 확대될 것으로 예상된다[5].

운전자 상태를 모니터링하기 위해서 기존에는 신체와 자동차가 직접적으로 연결되는 접촉식 센서 등을 통해 운전자의 상태를 파악하였지만, 최근 자동차 내부에 설치되어 있는 카메라, 초음파 및 적외선 센서들을 통해 운전자의 상태를 모니터링하고 분석하는 방향으로 전환되고 있다[6].

운전자의 감정 인식은 개별화된 서비스 외에도 안전과 직접적인 연관이 존재하기 때문에 교통사고의 발생률이 높아지는 문제에 관한 해결책으로도 운전자 감정 인식 방식이 주목받고 있다. 스스로에 대한 감정 인식은 본인의 행동에 대한 의사 결정에 중요하게 작용하기 때문이다[7]. 게다가 부정적인 감정 상태는 운전 태도에 영향을 끼치며 부정적인 자극은 긍정적인 자극보다 응답 시간을 늦추기 때문에 운전 능력을 감소시킨다고 한다[8-9]. 하지만 운전 중 분노와 같이 부정적인 감정 상태는 본인 스스로 잘 인지하지 못하기 때문에 사고 위험률이 더욱 높아진다. 요약하면, 감정 인식은 개별 서비스 외에도 사고 방지를 위해 필요한 기능이며 실시간으로 감정 상태를 감지하여 이에 대한 대처가 필요한 상황이다.

따라서 본 논문에서는 감정 인식에 일반적으로 사용되지만 수집 용이성이 낮은 EEG(Electroencephalography) 데이터를 사용한 기존 연구들과는 달리 운전자의 개인정보 및 심리 데이터와 운전 중 행동 데이터만 사용하여 운전자의 7가지 감정 상태(분노, 공포, 혐오, 슬픔, 놀람, 행복, 중립)를 감지하는 연구를 진행하였다.

II. Related Works

1. Driver emotion classification

본 논문의 가장 큰 차별점은 기존 논문들과는 달리 수집 용이성이 평이한 데이터를 사용했다는 점과 실험자의 나이와 운전 경력이 다양하게 존재한다는 점, 감정 상태를 7가지로 세부적으로 분류했다는 점이다.

운전자의 감정 분류에 관한 기존 연구에서는 EEG 신호 등의 생체 신호 데이터를 주로 이용하여 분류가 진행되었다. 최신 연구 논문인 T. A. Gamage 외[10]은 20-25세의 건강한 10명의 참여자를 대상으로 부정적인 감정과 더불어 긍정적인 감정도 포함하여 슬픔, 분노, 두려움, 차분함의 4가지 감정 상태를 EEG 신호를 이용해 구분하였고, 기존 연구[11-12]도 유사하게 EEG 신호에 기인하여 운전자의 감정 상태를 분류하는 연구를 진행해왔다. 더 나아가 J. Ling 외[13] 연구에서는 자율 주행이 안정적으로 작동하는 데에만 초점을 맞추고 운전자의 감정에 초점을 맞추지 않는 현 상황을 개선하고자 운전자의 감정을 EEG 신호를 통해 분류하고 운전 선호도에 따라 자율 주행차량의 운전을 조정할 수 있도록 하는 프레임워크를 제안하였다.

본 논제를 해결하기 위해 장기간 동안 연구가 진행되어 왔다는 점을 A. Tawari 외[14] 연구 논문을 통해 알 수 있는데, 이에 따르면 기존에 자동차 내에 카메라 설치가 어려웠던 시기에는 음성 신호를 통해 감정 분류 연구가 진행되었고, 음성 신호의 경우 다국어 문제가 발생하기 때문에 음성의 높낮이, 강도, 외부 환경의 상황 정보 등에 초점을 맞춰 분류를 진행하였지만 이는 성별 분리가 선행 연구로 진행되어야 한다는 한계점이 존재하였다.

이후 기술의 발전에 따라 카메라를 이용해 Mariya Tauqeer 외[15]의 연구에서는 산만 운전자의 행동 상태 데이터와 얼굴 인식 데이터를 이용하여 분노, 스트레스, 두려움과 같은 감정 상태를 분류하는 연구를 진행하였으나 행동 상태 분류에 대해서는 좋은 결과를 얻었지만, 얼굴 감정 인식에서는 다소 낮은 성능을 보였다. 또한 S. A. Khan[16]의 연구에서도 카메라를 이용하여 얼굴 표정을 인식하여 운전자의 감정을 인식하고 본 연구와 동일하게 7가지로 감정을 분류하였으나 카메라를 이용한 감정 인식은 날씨, 조도 등의 영향을 받는다는 점에서 제한이 있다. 예를 들면 야간 운전 시에는 인식의 어려움을 겪을 수 있다.

K. Nisa' Minhad 외[17]의 연구에서는 음성 녹음기, 센서 등과 같이 부피가 큰 기기를 사용하는 데이터 수집 방안은 한계가 있다는 점을 해결하기 위해 보다 간편하게 수집할 수 있는 피부 전도 반응을 사용하여 행복, 슬픔, 혐오, 두려움, 분노의 5가지 감정 상태를 구분하는 연구 방안을 실행하였다.

M. Lee 외[18]의 연구에 따르면 운전자의 감정 상태를 Arousal과 Valence를 축으로 사용하여 Russell의 circumplex 모델에 따라 분류하고 유도된 감정을 그룹화하였는데, 이에 착안하여 심리 데이터와 운전 중 행동 데이터를 사용하여 운전자의 감정을 세부적으로 분류하는 인공지능 연구 모델을 개발하고자 한다.

III. Data

1. Data description

데이터는 19-58세 사이에 최소 1년의 운전 경험이 있는 40명(남성 31명, 여성 9명)이 참가한 운전 실험에 대한 공개 데이터인 PPB-Emo를 이용하였으며[19], 현재 운전 작업에서 인간 감정의 유일한 공개 다중 모드 데이터 세트이다. 데이터 수집을 위해 409명의 설문조사 참가자에게 특정 감정(분노, 공포, 혐오, 슬픔, 놀람, 행복, 중립)이 유도되는 상황을 투표하였으며 참가자 40명을 대상으로 이 상황을 드라이빙 시뮬레이터 로딩과 동시에 비디오 영상으로 재생하여 감정을 유도한다. 영상 시청이 끝난 후 Driving 기어로 주행을 시작함과 동시에 데이터 수집을 시작한다. 수집된 데이터의 1회 주행마다 초반 30초 간 데이터가 공개되었다. 심리 데이터는 감정적인 운전을 마친 후 설문지를 통해 수집되었고, 생리학적 데이터는 EnobioNE(32-channel wireless EEG device)를 통해 운전 중 32개 채널의 EEG 데이터를 수집하였다. 행동 데이터는 운전 시뮬레이터(Realtime Technologies, Ann Arbor, USA)에서 수집되었다. 이 중 운전자의 심리 데이터, 행동 데이터, 개인정보 데이터만 사용하여 연구를 진행하였을 때와 비교를 위해 생리학적 데이터(EEG)도 사용하였다. 각 범주별 데이터 설명은 Table 1과 같다.

Table 1. Description of data category

심리 데이터에서 SAM(Self-Assessment Manikin)은 인간의 감정을 측정하는 비언어적 그림 평가 도구로 3차원(Valence, Arousal, Dominance)의 수준을 평가한다. 이는 총 1-9점 사이의 값을 가지며, 1점에 가까울수록 “전혀 그렇지 않다.”를 의미하며 9점에 가까울수록 “매우 그렇다.”를 의미한다. DES(Differential Emotion Scale)는 슬픔, 분노, 경멸, 두려움, 수치심, 흥미, 기쁨, 놀람, 혐오, 죄의식의 10가지 기본 개인의 감정을 평가하기 위한 척도이다. 이 또한 총 1-9점 사이의 값을 가지며, 1점에 가까울수록 “전혀 그렇지 않다.”를 의미하며 9점에 가까울수록 “매우 그렇다.”를 의미한다. EPQ(Eysenck Personality Questionnaire)는 성격을 다차원으로 측정하기 위한 검사로 P는 사회단절/사회화, E는 외향성/내향성, N은 신경증/안정성, L은 허위성/도덕적 등 인간의 성격적 특성을 판단한다.

Table 2는 각 감정 상태별 참가자 및 데이터 수이다. 총 40명의 참가자 중에서 목표했던 감정으로 유도되지 못한 상황을 제외하고 AD(Angry Driving)는 32명, SAD(Sad Driving)는 37명, FD(Fear Driving)는 36명, DD(Disgust Driving)는 24명, SD(Surprise Driving)는 34명, HD(Happy Driving)는 36명, ND(Neutral Driving)는 36명의 데이터가 포함되어 총 235개의 데이터를 사용하였다. 각 데이터는 50-60Hz 간격으로 30초간 수집되었기 때문에 감정 상태별 빈도는 AD는 34,037개, SAD는 33,722개, FD는 36,043개, DD는 23,598개, SD는 33,805개, HD는 37,565개, ND는 33,237개가 있으며 총 232,007개이다.

Table 2. Emotion label frequency

2. Feature importance

성능을 높일 수 있는 변수의 조합을 찾아내기 위해 Feature importance를 이용한다. Fig. 1은 데이터 범주에 따른 변수 중요도를 추출한 결과이다. 종합적으로 변수 중요도가 높은 변수는 ‘valence’, ‘arousal’, ‘dominance’, ‘intensity’로 심리 데이터임을 알 수 있다.

Fig. 1. Feature importance

IV. The Proposed Scheme

1. Approach

운전을 하다 보면 분노에 휩싸이거나 나른함 때문에 집중력 감소가 일어날 수 있지만 운전자 스스로 인지하기 어렵고 이로 인해 사고 위험이 높아지기 때문에 감정 인식은 교통사고 방지를 위해 꼭 필요한 기능이다. 따라서 본 연구 방안에서는 운전자의 심리 및 개인정보 데이터, 운전 중 행동 데이터, EEG 데이터를 활용하여 운전자의 감정을 분류하여 운전자가 자신의 감정을 인지할 수 있도록 한다.

최종적인 목표로는 운전자의 EEG 데이터를 제외하고 수집하기 비교적 쉬운 행동, 심리 및 개인정보 데이터만으로도 운전자가 자신의 감정을 인지할 수 있도록 분류 모델을 구축하는 것이다.

2. Process

Fig. 2는 전체 연구 프레임워크이다. 운전자의 심리 및 생체 신호 데이터와 행동 데이터 수집, 데이터 전처리, 변수 선택, 모델 훈련 및 성능 평가 순서로 진행된다.

Fig. 2. Research framework

2.1 Data preprocessing

데이터의 결측치는 직전 값으로 대체하는 방법을 선택하여 진행하였다. 그 예시는 Fig. 3과 같이 직전 값인 30810884.0으로 다음 값을 대체하는 방법이다.

Fig. 3. Imputation of missing value

2.2 Feature selection

비교 모델은 기존 연구에 주로 사용되는 EEG 데이터와 함께 심리 및 개인정보 데이터, 행동 데이터 모두 사용하여 분류하는 것으로 연구는 비교 모델(심리+개인정보+행동+EEG+잠재변수 데이터)과 제안 모델(심리+개인정보+행동+잠재변수 데이터) 두 가지로 진행되었다.

제안 모델과 비교 모델에서 사용된 변수 선택 방법인 Autoencoder를 이용해 잠재 변수(Z)를 추출하는 방안의 프레임워크는 Fig. 4와 같다. Encoding 과정에서 압축된 변수를 추출하는 방안이다.

Fig. 4. Extracting latent vector framework

이를 통해 추출된 잠재 변수는 추후 분류 모델 적용 시, 기존 데이터와 함께 독립 변수로 사용된다.

비교 모델에서 선택된 변수 목록은 Table 3과 같다. 기존 변수 55개와 잠재 변수 5개로 구성되었다.

Table 3. Comparison model feature list

제안 모델에서 선택된 변수 목록은 Table 4와 같다. 기존 변수 23개와 잠재 변수 2개로 구성되었다.

Table 4. Model feature list

3. Algorithm

3.1 Random Forest

RF(Random Forest) 알고리즘은 의사 결정 트리 기반의 앙상블 머신러닝 모델로, 각각의 의사 결정 트리는 특정 변수에 대한 질문을 기반으로 데이터를 분류하는 방법이다. 그러나 의사 결정 트리는 과적합(overfitting) 될 가능성이 존재하기 때문에, RF는 전체 변수 중 무작위로 일부 변수만 선택하고 이를 반복하여 여러 개의 의사 결정 트리를 생성한다. 최종 분류의 예측값은 생성된 의사 결정 트리들의 예측 결과 중 가장 많이 나온 값으로 선정한다.

3.2 AdaBoost

AdaBoost(Adaptive Boosting) 알고리즘은 분류 기반 머신러닝 모델로, 약한 학습기로 불리는 예측 성능이 낮은 모델들을 다량 구축하고 이를 조합하여 더 나은 성능을 발휘하는 하나의 강한 분류기로 합성하는 알고리즘이다. 이 알고리즘은 약한 분류기의 실수를 이용하여 가중치를 반복적으로 수정하고 결합함으로써, 예측 성능을 향상시킬 수 있다. 학습 데이터에 대한 과적합 현상이 적게 발생하며, 예측 성능이 저하되지 않는다는 장점을 가지고 있어 여러 개의 모델을 결합해 강력한 예측 모델을 만들고자 할 때 유용하게 사용되는 알고리즘이다.

3.3 GradientBoost

GradientBoost(Gradient Boosting) 알고리즘은 Ada-Boost와 유사한 앙상블 방식의 모델이지만, AdaBoost와는 달리 가중치 업데이트로 경사 하강법을 이용한다. 샘플의 가중치를 수정하는 대신 이전에 만든 예측기가 만든 잔여 오차를 줄이는 방향으로 모델을 학습하며 이를 통해 예측 성능의 지속적인 개선이 가능한 알고리즘이다.

3.4 CatBoost

CatBoost(Categorical Boosting) 알고리즘은 범주형 변수를 다루는 머신러닝 모델로, 범주형 변수의 조합으로 새로운 변수 조합을 생성하는 Categorical Feature Combination을 사용하여 예측 성능을 향상시킨다. 이는 범주형 변수를 포함하는 데이터에서 우수한 성능을 가지며, Target Leakage 문제를 효과적으로 해결하여 과적합 문제를 방지하는 알고리즘이다.

3.5 XGBoost

XGBoost(Extreme Gradient Boosting) 알고리즘은 GradientBoost 알고리즘을 병렬 학습이 가능하도록 구현한 모델이다. Boosting 앙상블 모델로 순차적으로 모델을 학습시켜 오답에 대해 집중하여 후순위 모델을 학습하는 알고리즘으로 이전 모델에서 발생한 오류를 다음 모델에서 보완하면서 예측 성능을 향상시킨다.

4. Result

각 모델의 결과는 운전자(40명)를 기준으로 5겹 교차 검증을 반복한 결과이다. 평가 항목에는 손실률, 정확도, 정밀도, 재현율 그리고 F1 Score 등이 있는데 본 연구의 목적인 운전 중 7가지의 감정 분류는 라벨이 많아 정확도와 F1 Score를 통해 성능을 평가하며 본 연구에서는 머신러닝 모델을 사용하여 세부적으로 다양한 변수를 변화시켜 최대 정확도 및 F1 Score를 찾고자 한다.

정확도는 데이터 불균형이 존재하지 않을 시, 분류 성능 평가 중 가장 직관적으로 모델의 성능을 평가할 수 있는 방안이며, F1 score는 정밀도와 재현율의 조화평균으로 주로 분류 클래스 간의 데이터가 불균형이 존재할 때 사용되고 값이 높을수록 좋은 모델이다.

먼저, Table 5는 잠재 변수를 제외한 EEG 데이터 포함 기존 변수 55개만 사용한 비교 모델의 결과이다. CatBoost 모델을 사용하였을 때 정확도는 76%, F1 Score는 73%이다.

Table 5. (EEG+Psychological+Behavioral) Result

두 번째로, Table 6은 잠재 변수 5개와 EEG 데이터 포함 기존 변수 55개를 사용한 비교 모델의 결과이다. CatBoost 모델을 사용하였을 때 정확도는 77%, F1 Score는 74%이다.

Table 6. (EEG+Psychological+Behavioral+Z) Result

Table 7은 EEG 데이터를 포함하였을 때 가장 좋은 성능을 보여주었던 CatBoost의 Confusion Matrix이다. 기존 EEG 데이터 및 운전자의 심리, 개인정보, 행동 데이터와 잠재 변수를 사용한 비교 모델에는 DD(혐오) 예측을 혼동하는 것을 알 수 있다.

Table 7. Comparison model confusion matrix

세 번째로, Table 8은 EEG 데이터 제외 기존 변수 23개를 사용한 제안 모델의 결과이다. GradientBoost 모델을 사용하였을 때 정확도는 80%, F1 Score는 79%이다.

Table 8. (Psychological+Behavioral) Result

마지막으로, Table 9는 잠재 변수 2개와 EEG 데이터 제외 기존 변수 23개를 사용한 제안 모델의 결과이다. GradientBoost 모델을 사용하였을 때 정확도는 81%, F1 Score는 80%로 전체 모델 중 가장 좋은 성능을 가져 최종 모델로 선정하였다.

Table 9. (Psychological+Behavioral+Z) Result

Table 10은 EEG 데이터를 제외하였을 때 가장 좋은 성능을 보여주었던 GradientBoost의 Confusion Matrix이다. 동일한 Fold의 결과이지만, EEG 데이터를 제외한 운전자의 개인정보 및 심리, 행동 데이터와 잠재 변수만 사용하였을 때에는 DD(혐오) 예측의 성능이 향상하였고 전반적으로도 개선된 양상을 보인다. 또한 모든 결과에서 잠재 변수를 추가하여 예측할 시 기존 변수만 사용했을 때 보다 예측 성능이 높아진 것을 확인하였다.

Table 10. Model confusion matrix

V. Conclusions

EEG와 감정은 연관이 있다는 기존 연구들에 따라 EEG 데이터를 사용하였을 때 다른 감정들은 좋은 예측 결과가 나타나지만, DD(혐오) 예측에 어려움을 갖기 때문에 전체적인 분류 정확도가 낮아진다.

변수 중요도에 따르면 운전자의 감정은 운전자의 심리 상태에 영향을 높게 받는 경향이 있었고, 본 연구 방안에서는 EEG 데이터를 사용하지 않고도 개인정보 및 심리, 행동 데이터만으로도 운전자의 감정을 분류할 수 있다는 점에서 다른 연구들과는 차별성을 가진다. 또한 잠재 변수를 추가하여 예측하였을 때 성능이 향상되는 것도 확인하였고 이 점도 흥미로운 결과로 활용할 수 있을 것이다.

앞으로의 연구 방안으로는 국내에서 실제 데이터를 수집하고 시계열 데이터와 범주형 데이터를 이용해 다중 입력 모델을 개발하여 실제로 활용될 수 있는 실시간 감정 인식 모델을 구축할 예정이며, 기존 RNN(Recurrent Neural Network) 모델의 장기 의존성 문제를 해결하여 정확도 개선에 도움을 줄 수 있는 GRU(Gated Recurrent Unit) 모델과 attention 메커니즘을 적용할 계획이다. 추후 본 연구 결과가 운전자의 감정 분류를 넘어서 교통사고를 사전에 예방할 수 있는 시스템으로 활용될 수 있을 것으로 기대된다.