Korean Facial Expression Emotion Recognition based on Image Meta Information

이미지 메타 정보 기반 한국인 표정 감정 인식

Due to the recent pandemic and the development of ICT technology, the use of non-face-to-face and unmanned systems is expanding, and it is very important to understand emotions in communication in non-face-to-face situations. As emotion recognition methods for various facial expressions are required to understand emotions, artificial intelligence-based research is being conducted to improve facial expression emotion recognition in image data. However, existing research on facial expression emotion recognition requires high computing power and a lot of learning time because it utilizes a large amount of data to improve accuracy. To improve these limitations, this paper proposes a method of recognizing facial expressions using age and gender, which are image meta information, as a method of recognizing facial expressions with even a small amount of data. For facial expression emotion recognition, a face was detected using the Yolo Face model from the original image data, and age and gender were classified through the VGG model based on image meta information, and then seven emotions were recognized using the EfficientNet model. The accuracy of the proposed data classification learning model was higher as a result of comparing the meta-information-based data classification model with the model trained with all data.

최근 팬데믹의 영향과 ICT 기술의 발전으로 인해 비대면·무인 시스템의 활용이 확대되고 있으며, 비대면 상황에서 의사소통은 감정을 이해하는 것이 매우 중요하다. 감정을 이해하기 위해서는 다양한 표정에 대한 감정 인식 방법이 필요함에 따라 이미지 데이터에서 표정 감정 인식 개선을 위한 인공지능 기반 연구가 진행되고 있다. 하지만 기존의 표정 감정 인식 연구는 정확도 향상을 위해 대량의 데이터를 활용하기 때문에 높은 컴퓨팅 파워와 많은 학습 시간이 필요하다. 본 논문에서는 이러한 한계점을 개선하기 위해 소량 데이터로도 표정 감정 인식이 가능한 방법으로 이미지 메타 정보인 연령과 성별을 활용한 표정 감정 인식 방법을 제안한다. 표정 감정 인식을 위해 원본 이미지 데이터에서 Yolo Face 모델을 활용하여 얼굴을 검출하였으며, 이미지 메타 정보를 기반으로 VGG 모델을 통해 연령과 성별을 분류한 다음 EfficientNet 모델을 활용하여 7가지 감정을 인식하였다. 메타 정보 기반 데이터 분류 모델과 전체 데이터로 학습한 모델을 비교한 결과 제안하는 데이터 분류 학습 모델의 정확도가 더 높았음을 확인하였다.