Emotional Expression Technique using Facial Recognition in User Review

사용자 리뷰에서 표정 인식을 이용한 감정 표현 기법

Abstract

Today, the online market has grown rapidly due to the development of digital platforms and the pandemic situation. Therefore, unlike the existing offline market, the distinctiveness of the online market has prompted users to check online reviews. It has been established that reviews play a significant part in influencing the user's purchase intention through precedents of several studies. However, the current review writing method makes it difficult for other users to understand the writer's emotions by expressing them through elements like tone and words. If the writer also wanted to emphasize something, it was very cumbersome to thicken the parts or change the colors to reflect their emotions. Therefore, in this paper, we propose a technique to check the user's emotions through facial expression recognition using a camera, to automatically set colors for each emotion using research on existing emotions and colors, and give colors based on the user's intention.

오늘날 디지털 플랫폼의 발달과 팬데믹 상황에 더불어 온라인 시장은 급속도로 성장하였다. 이로 인해 기존의 오프라인 시장과 다르게 온라인 시장에서의 특수성으로 인해 사용자들은 온라인 리뷰를 확인하게 되었고, 여러 연구들의 선례를 통해 리뷰가 사용자의 구매 의도를 정하는 데 중요한 역할을 하는 것을 확인할 수 있었다. 하지만 기존의 리뷰작성 방식에서는 작성자의 감정이 글의 어투나 단어와 같은 요소들을 통해 표현됨으로써 다른 사용자가 작성자의 감정을 쉽게 파악하기 어려웠으며 작성자가 감정을 표현하기 위해 강조하고 싶은 부분이 있다면 작성자가 일일이 강조하고 싶은 부분의 굵기를 굵게 하거나 감정에 따라 색상을 바꾸는 등 여러 번거로운 작업의 수고가 필요하였다. 따라서, 본 논문에서는 기존의 이러한 점을 보완하기 위해 카메라를 이용하여 표정 인식을 통해 사용자의 감정을 확인하고 기존의 감정과 색상에 관한 연구를 활용하여 각 감정에 맞는 색상을 자동으로 설정하고 사용자의 의도에 따라 사용자 리뷰에서 색상을 부여하는 기법을 제안하고자 한다.

Ⅰ. 서론

오늘날 디지털 플랫폼의 발달과 팬데믹 상황에 더불어 온라인 시장은 급속도로 성장하는 추세이다. 최근 조사 결과에 따르면 모바일 사용자 기준 온라인 쇼핑몰의 전체 사용자 수는 점차 증가하여 2021년 기준으로 3500만명을 돌파하였다^[1].

이러한 성장과 함께 많은 사용자는 온라인 쇼핑몰에서 구매를 결정하게 되며 인터넷을 통해 수많은 사용자가 작성한 제품에 대한 경험이 담긴 온라인 리뷰를 이용하게 되었다. 이는 기존의 오프라인 시장과는 다르게 온라인 시장에서는 점원을 마주하고 상담하거나 제품을 만지고 시범적 사용을 하는 것과 같은 정보탐색활동이 불가능하고, 또한 자신이 제품을 구매하는 데에 확신을 얻기 위해 사용자는 온라인 리뷰에 의존하여 해당 제품에 대한 정보를 얻고 추천을 받아 구매 여부를 결정하게 되는 데 이때 리뷰에 작성한 사용자의 감정이 명확하게 표현된다면 구매 여부를 결정하는데 도움이 된다는 기존의 연구 결과가 있었다^[2-7].

하지만 기존의 리뷰 작성 방식에서는 작성자의 감정이 글의 어투나 단어와 같은 요소들을 통해 표현됨으로써 다른 사용자가 작성자의 감정을 쉽게 파악하기 어려웠으며 작성자가 감정을 표현하기 위해 강조하고 싶은 부분이 있다면 작성자가 일일이 강조하고 싶은 부분의 굵기를 굵게 하거나 감정에 따라 색상을 바꾸는 등 여러 번거로운 작업의 수고가 필요하였다. 따라서, 본 논문에서는 기존의 이러한 점을 보완하기 위해 카메라를 이용하여 표정 인식을 통해 사용자의 감정을 확인하고 기존의 감정과 색상에 관한 연구를 활용하여 각 감정에 맞는 색상을 자동으로 설정하고 사용자의 의도에 따라 사용자 리뷰에서 색상을 부여하는 기법을 제안하고자 한다.

본 논문의 구성은 2장에서 기존의 감정과 색상에 관한 연구와 표정 인식 기반의 색상 변환에 관한 연구를 소개한다. 3장에서는 본 논문에서 제안하는 표정 인식을 이용한 감정 표현 기법의 전체적인 프로세스를 서술하고 4장에서는 본 기법을 적용하고 결과를 정리하였다. 마지막으로 5장에서는 결론과 향후 연구에 대하여 서술한다.

Ⅱ. 관련 연구

1. 감정과 색상

감정을 색상으로 나타낸 기존의 연구에서는 Pluchik의 정서 동그라미와 모세스 해리스의 해리스1을 기반으로 감정 모델을 작성하였다. Pluchik의 정서 동그라미를 이용하여 동그라미의 바깥쪽에서 중심을 향하는 쪽을 정서의 강도로 정의하고 모세스 해리스의 해리스1 색상환을 이용하여 동그라미 바깥쪽에서 중심을 향하는 쪽을 채도로 정의했다. 해당 방법을 사용하여 완성된 모델에서는 색채 심리학자인 Eva Heller의 연구를 기반으로 각 감정에 따라 사람들이 많이 떠오르는 색상으로 분노는 빨강, 두려움은 녹색, 기쁨은 주황, 슬픔을 파랑과 같이 색상을 지정했고 감정의 강도는 각 감정에 따른 색상의 채도에 매칭하여 해당 연구에서는 그림 1과 같은 감정 모델을 완성하였다^[8].

그림 1. 기존 연구의 감정 모델^[8]

Fig. 1. emotional model of existing research^[8]

2. 표정 인식 기반의 색상 변환

기존의 표정 인식 기반의 색상 변환 연구에서는 색채 감정의 특징을 활용하여 인공지능과 미디어 아트를 융합하고 딥러닝을 이용해 감정을 실시간으로 인식하고 인식된 감정에 따른 정제된 영상의 색채를 변환한 표정 인식 기반 색채 변환 기술을 구현하였다. 해당 연구는 Python을 기반으로 OpenCV^[9]를 이용한 표정 인식 알고리즘 구현을 통해 영상의 색상을 변환하였다. 표정 인식 알고리즘 구현에는 Keras 라이브러리^[10]를 사용한 CNN(Convolutional Neural Network)모델을 활용하여 얼굴, 눈, 미소 등에 대해 사전에 학습된 분류기(Classifier)를 xml file로 받아 주어진 이미지에서 얼굴을 검출하고, 이미지 별로 Angry, Disgusting, Fearful, Happy, Sad, Surprising, Neutral 총 7가지의 카테고리로 분류하여 기쁜 감정과 슬픈 감정을 기준으로 색상은 난색, 한색계열로 분류하고 OpenCV에서 제공하는 ColorMap 함수를 사용하여 원본 이미지에 인식된 표정에 따른 적합한 색상을 부여하였다^[11].

Ⅲ. 표정 인식을 이용한 감정 표현 기법

우선 사용자가 사용자 리뷰 페이지에 접속하고 로그인을 시도할 때 카메라와 얼굴 인식 프로그램을 통해 얼굴 인식 로그인을 진행하고 인식된 사용자의 얼굴이 학습되어 DB에 저장되어 있던 사용자일 경우 해당 사용자의 정보와 일치되는 계정으로 로그인된다.

로그인된 후 사용자 리뷰 페이지에서는 사용자의 리뷰를 작성할 수 있는 화면이 나오게 되고 사용자가 리뷰를 작성하기 시작하면 표정 인식 프로그램과 카메라를 통해 표정 인식을 진행하게 되는데 이때 사용자가 글을 작성하는 도중 마침표와 같은 문장의 끝을 나타내는 기호를 작성하였을 때 인식된 사용자의 표정을 텍스트로 변환하고 작성한 글을 DB에 저장한다.

표 1은 DB에 저장되는 사용자 리뷰의 예시로 “평소 해당 앱을 잘 이용하는 사용자입니다. 이번 업데이트 이후로 앱이 계속해서 꺼지는 문제가 생겼습니다. 근데 리뷰를 달아도 계속해서 매크로 답변만 오는데 언제쯤 고칠겁니까?”라는 리뷰를 DB에 저장할 때 각각 감정 상태, 하나의 리뷰에서 마침표와 같은 문장의 끝을 나타내는 기호를 입력한 부분을 나타낸다.

표 1. DB에 저장되는 표정과 리뷰 형식

Table 1. Face emotion and review format stored in DB

마지막으로 사용자가 리뷰 작성을 마치고 출력 버튼을 클릭하였을 때 DB에 저장되어 있던 글과 감정을 확인하게 되는데 이때 확인된 감정에 따라서 입력된 텍스트의 색상을 변환하고 리뷰 출력 창에 변환된 글을 출력한다.

그림 2는 본 논문에서 구현한 전체적인 시스템 구조를 보여준다.

그림 2. 시스템 구조도

Fig. 2. System architecture

표 2는 관련 연구에서 설명한 감정과 색상에 관한 연구 결과를 바탕으로 일부 색상을 지정한 것을 나타낸다.

표 2. 표정에 따른 색상 변환 값

Table 2. Color conversion value by face emotion

본 논문에서 제안하는 시스템의 전체적인 실행 프로세스는 크게 3가지로 분류되는데 얼굴 인식을 통해 사용자 인증을 하여 로그인을 하거나 일반적인 로그인을 하는 프로세스인 사용자 인증 프로세스(User authentication process), 사용자 리뷰 페이지 접근 시 지정된 데이터 세트를 통해 사용자 표정 인식과 인식된 표정을 DB에 저장하는 프로세스인 표정 인식 프로세스(Face emotion recognize process), 실시간으로 인식된 표정을 미리 지정된 색상을 기반으로 텍스트에 적용할 색상을 처리하는 프로세스인 텍스트 색상 처리 프로세스(Text color processing process)로 구분된다.

사용자 인증 프로세스에서는 얼굴 인식 프로그램에서 사용자의 이미지를 수집하고 OpenCV를 사용하여 영상 데이터를 훈련한다. 이후 훈련이 끝난 영상 데이터를 yml 형식의 파일로 저장한 후 저장된 파일을 바탕으로 영상 입력 시 얼굴 인식을 수행하게 되고 인식된 사용자의 얼굴이 학습되어 DB에 저장되어 있던 사용자일 경우 해당 사용자의 정보와 일치되는 계정으로 로그인된다.

표정 인식 프로세스에서는 사용자가 사용자 리뷰 페이지에 접근하고 리뷰를 작성할 때의 표정 인식을 실행하는 프로세스로 카메라에서 사용자의 이미지를 받아 프레임별로 나누고 해당 이미지에서 Haar Cascades를 통해 얼굴을 검출하고 검출된 얼굴에서 표정 인식 데이터 세트인 kaggle의 FER 2013 데이터 세트^[12]를 통하여 현재 이미지에서 가장 많은 비율을 차지하고 있는 감정으로 해당 표정의 감정을 분류하고 사용자가 마침표와 같은 기호를 작성할 때까지 감정의 횟수를 파악하고 사용자의 감정 중 가장 많이 파악된 감정을 DB에 저장한다.

텍스트 색상 처리 프로세스에서는 사용자가 작성하고 있는 텍스트를 실시간으로 확인을 하고 텍스트 내부에 마침표와 같은 기호를 작성하였을 때 해당 텍스트 내용을 나누어 DB에 저장한다. 이후 표정 인식 프로세스에서 인식된 현재 감정과 텍스트를 DB에서 가져오고 해당 텍스트가 가지고 있는 감정에 따라 어떤 색상을 지정할지 결정한다.

사용자가 리뷰의 작성을 마칠 때까지 해당 프로세스 절차를 반복하고 이후 사용자가 출력 버튼을 누르면 색상까지 전부 처리된 글을 출력하게 된다.

그림 3은 본 논문에서 제안하는 시스템의 UI(User Interface)를 보여준다. Camera에서 인식된 사용자의 표정이 Emotion Label에 들어가며 현재 표정을 출력한다. Input Text는 사용자가 리뷰를 작성하는 공간으로 작성한 리뷰는 시스템 내부에서 처리되어 감정에 따른 색상을 부여받게 된다.

그림 3. 시스템 사용자 인터페이스

Fig. 3. System User Interface(UI)

앞서 그림 3의 UI를 통해서 사용자가 리뷰의 작성을 마치고 출력을 누르면 그림 4와 같이 색상까지 전부 처리된 사용자 리뷰가 출력되게 된다.

그림 4. 리뷰 출력 결과

Fig. 4. Review Output Result

Ⅳ. 실험 및 결과

20대 대학생 5명을 대상으로 기존 사용자 리뷰와 본 논문에서 사용한 방식의 설문조사 결과는 그림 5와 같다.

그림 5. 설문조사 결과

Fig. 5. Survey result

설문조사는 기존 방식에 대한 문제점 2개와 본 논문에서 제안하는 방식을 사용했을 때에 관한 결과 2개로 총 4개의 지문을 사용하여 시행하였다.

먼저 사용자 리뷰에서 작성자의 감정을 파악하기가 쉽지 않았다고 응답한 인원은 3명으로 나타났다. 해당 인원들은 기존 사용자 리뷰에서 사용자의 감정을 알기 위해서는 리뷰를 정확하게 읽어야 했고 사용자마다 해당 리뷰의 감정이 다르게 받아질 수 있다는 의견을 표했다.

사용자 리뷰에서 작성 기능을 이용하여 감정을 표현하기가 번거로웠다고 응답한 인원은 4명으로 기존 사용자 리뷰에서 강조를 하기 위한 기능이 없거나 강조하기 위해서는 번거롭다는 의견을 표했다.

다음으로 제안된 방법을 통해 작성자의 감정을 파악하기가 용이했다고 응답한 인원은 4명으로 사용자 리뷰에 직접 색상을 통해 나타나 핵심적인 감정을 파악하기 쉽다고 응답하였고 그렇지 않다는 응답을 한 인원은 색상이 어떤 감정을 나타내는지 사전에 알려주지 않으면 파악하기 어렵다는 의견을 표했다.

마지막으로 본 논문에서 제안된 방법을 통해 감정을 표현하기 쉬웠다고 응답한 인원은 3명으로 카메라를 사용하여 리뷰에 감정 표현하는 것이 기존 방법과 비교하면 편리했다고 응답하였고 그렇지 않다는 응답을 한 인원은 사용자 리뷰를 작성할 때 표정을 짓지 않으면 리뷰에 감정을 표현할 수 없다는 의견을 표했다.

Ⅴ. 결론 및 향후 과제

본 논문은 표정 인식 기반 사용자 리뷰 감정 표현 기법을 제안하였다. 카메라를 통해 제품에 대한 리뷰 작성시 사용자의 표정을 인식하여 작성된 리뷰에 감정 모델을 기반으로 사용자의 표정에 따른 색상을 부여하였다.

본 논문에서 제안한 기법으로 직접 리뷰로 작성하고 설문한 결과 이 논문의 기법을 사용하였을 때 카메라를 활용하여 표정 인식 진행 후 자동으로 리뷰에 색상을 부여함으로써 기존의 일일이 수정해야 하는 번거로움은 줄었다는 것을 확인할 수 있었고 리뷰가 출력되었을 때 나타나는 사용자의 감정 표현이나 감정 표현된 부분이 잘보이는지에 대한 설문을 통해 대부분은 제대로 감정이 표현되고 감정 표현된 부분이 잘 보인다고 응답하였다.

추후 과제로는 표정 인식 알고리즘의 표정 인식에 대한 정확도를 높인 후 표정 인식과 자연어 처리를 통해 강조에 대한 부분을 세부적으로 더 개선할 예정이다.