Acknowledgement
This work was supported in part by the "Regional Innovation Strategy (RIS)" through the National Research Foundation of Korea(NRF) funded by the Ministry of Education(MOE) (2021RIS-001 (1345341783))
Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)
- 2022.11a
- /
- Pages.559-561
- /
- 2022
- /
- 2005-0011(pISSN)
- /
- 2671-7298(eISSN)
DOI QR Code
Face Emotion Recognition using ResNet with Identity-CBAM
Identity-CBAM ResNet 기반 얼굴 감정 식별 모듈
- Oh, Gyutea (Dept. of Computer Engineering, Korea National University of Transportation) ;
- Kim, Inki (Dept. of IT.Energy Convergence, Korea National University of Transportation) ;
- Kim, Beomjun (Dept. of IT.Energy Convergence, Korea National University of Transportation) ;
- Gwak, Jeonghwan (Dept. of Software, Korea National University of Transportation)
- Published : 2022.11.21
Abstract
인공지능 시대에 들어서면서 개인 맞춤형 환경을 제공하기 위하여 사람의 감정을 인식하고 교감하는 기술이 많이 발전되고 있다. 사람의 감정을 인식하는 방법으로는 얼굴, 음성, 신체 동작, 생체 신호 등이 있지만 이 중 가장 직관적이면서도 쉽게 접할 수 있는 것은 표정이다. 따라서, 본 논문에서는 정확도 높은 얼굴 감정 식별을 위해서 Convolution Block Attention Module(CBAM)의 각 Gate와 Residual Block, Skip Connection을 이용한 Identity- CBAM Module을 제안한다. CBAM의 각 Gate와 Residual Block을 이용하여 각각의 표정에 대한 핵심 특징 정보들을 강조하여 Context 한 모델로 변화시켜주는 효과를 가지게 하였으며 Skip-Connection을 이용하여 기울기 소실 및 폭발에 강인하게 해주는 모듈을 제안한다. AI-HUB의 한국인 감정 인식을 위한 복합 영상 데이터 세트를 이용하여 총 6개의 클래스로 구분하였으며, F1-Score, Accuracy 기준으로 Identity-CBAM 모듈을 적용하였을 때 Vanilla ResNet50, ResNet101 대비 F1-Score 0.4~2.7%, Accuracy 0.18~2.03%의 성능 향상을 달성하였다. 또한, Guided Backpropagation과 Guided GradCam을 통해 시각화하였을 때 중요 특징점들을 더 세밀하게 표현하는 것을 확인하였다. 결과적으로 이미지 내 표정 분류 Task에서 Vanilla ResNet50, ResNet101을 사용하는 것보다 Identity-CBAM Module을 함께 사용하는 것이 더 적합함을 입증하였다.
Keywords