DOI QR코드

DOI QR Code

Non-verbal Emotional Expressions for Social Presence of Chatbot Interface

챗봇의 사회적 현존감을 위한 비언어적 감정 표현 방식

  • Received : 2020.12.02
  • Accepted : 2021.01.12
  • Published : 2021.01.28

Abstract

The users of a chatbot messenger can be better engaged in the conversation if they feel intimacy with the chatbot. This can be achieved by the chatbot's effective expressions of human emotions to chatbot users. Thus motivated, this study aims to identify the appropriate emotional expressions of a chatbot that make people feel the social presence of the chatbot. In the background research, we obtained that facial expression is the most effective way of emotions and movement is important for relationship emersion. In a survey, we prepared moving text, moving gestures, and still emoticon that represent five emotions such as happiness, sadness, surprise, fear, and anger. Then, we asked the best way for them to feel social presence with a chatbot in each emotion. We found that, for an arousal and pleasant emotion such as 'happiness', people prefer moving gesture and text most while for unpleasant emotions such as 'sadness' and 'anger', people prefer emoticons. Lastly, for the neutral emotions such as 'surprise' and 'fear', people tend to select moving text that delivers clear meaning. We expect that this results of the study are useful for developing emotional chatbots that enable more effective conversations with users.

챗봇과 친밀한 관계를 느끼고 대화에 몰입감을 높이기 위해 인간의 감정을 정확히 인지하고 그에 적합한 감정적 반응을 표현하는 인공지능 연구가 활발히 진행되고 있다. 따라서 본 연구에서는 챗봇이 감정을 표현할 때 사람같이 느끼게 하는 사회적 현존감을 높이는 비언어적 표현 방식에 대해서 밝히고자 한다. 본 연구는 우선 배경연구를 진행하여 표정이 가장 감정을 잘 드러내는 비언어적 표현이며 움직임은 관계몰입에 중요하다는 것을 파악하였다. 이를 바탕으로 감정에 따라 사회적 현존감이 느껴지는 표현 방식을 밝히기 위해 5가지 기본 감정인, 기쁨, 슬픔, 놀람, 두려움, 화남을 동적 텍스트, 동적 제스처, 정적 표정 이모티콘으로 자극물을 준비하여 설문조사를 통해 가장 사회적 현존감이 느껴지는 표현 방식을 각 감정별로 택하도록 하였다. 설문 결과 기쁨과 같은 긍정적이고 각성 상태가 높은 감정에서는 동적인 표현이, 슬픔과 화남과 같은 부정적인 감정에서는 정적 표정 이모티콘이, 놀람, 두려움과 같은 중립적 감정의 경우 의미를 확실히 알 수 있는 동적 텍스트가 주로 선택되었다. 본 연구 결과는 챗봇 개발 시 감정을 표현하는 방식을 정할 때 중요한 참고자료가 될 것으로 기대한다.

Keywords

I. 서론

1. 연구 배경 및 목적

2019년 국제전기전자공학회에서 발표된 내용에 따르면 IBM은 대화 속에 웃음의 종류와 그 의미를 파악하는 데 주력하여 12가지의 웃음 패턴을 발견했다고 한다[1]. 웃음 속에도 진실한 행복, 슬픔, 활기찬 웃음, 빈정거림 4가지로 구분된다는 것이다. 이와 같이 인공지능이 인간의 감정을 정확히 읽는 연구가 많이 진행됨에 따라 감정을 해석하고 단순히 반응하는 것 뿐 아니라 감정 자체를 드러내는 것이 대화의 즐거움과 몰입감을 높이는데 매우 중요해지고 있다[2].

저스틴 카셀(Justine Cassell) 카네기멜론대학교 컴퓨터 공학부 교수는 “사람들은 대화를 할 때 자신의 의사와 정보를 전달하는 동시에 상대방과의 관계를 만들어 나간다”며 “상호작용이 잘 이루어질 때 업무 효율성이 높아지며 행복감도 느낀다”고 설명했다[3]. 이어 그는 “AI가 사람이 구사하는 대화 전략을 인지할 때, 비로소 AI가 우리의 협력자로서 역할을 하게 될 것”이라고 덧붙였다[3]. 또한 그는 연구에서 사람의 표정으로 심리 상태를 추론할 수 있는 60가지 포인트를 밝혔다[3]. 이와 같이 인공지능은 점차적으로 사람의 감정을 잘 읽고 해석하여 적절하게 반응할 수 있게 되었다[4]. 따라서 인공지능이 협업 시 실수를 하거나, 애완동물 역할을 하는 로봇을 쓰다듬거나 하였을 때 반응 하는 것에 대해 어린이 같은 순진한 사용자들은 실제적인 감정 표현으로 느낀다고 한다[5]. 이와 같이 챗봇을 사람으로 인지하는 경우들이 많기 때문에 여러 연구에서 로봇이 감정을 표현하는 것은 사람과 좀 더 친밀한 관계를 만들고 지적인 기계로 인정받는데 가장 중요한 요소로 언급 되고 있다[6]. 특히, 컴퓨터를 매개로 하는 대화 환경인 CMC(computer- mediated communication)에서 사회적 현존감은 매우 중요한데 여기서 사회적 현존감이란 서로를 실제적인 인간으로 지각하고 두 사람 사이의 상호작용을 관계로 지각하는 정도를 의미한다[7].

챗봇과의 대화에서 사회적 현존감을 높이기 위해 시각화된 반응들이 디지털 공간에서 다소 부정적으로 나타날 수 있다는 것을 밝힌 선행연구도 있다. 체크노브스키(Ciechnowski, 2018)외 3명의 연구에서는 텍스트 기반의 챗봇이 복잡한 움직임이 있는 아바타 이미지 챗봇에 비해 언캐니 효과를 덜 느끼게 되어 적은 심리 생리학적 반응을 불러일으킨다고 밝혔다[8]. 언캐니밸리는 로봇이나 인간이 아닌 것들에 대해 느끼는 불쾌한 감정을 말한다[9]. 이 연구는 실제 사용 환경에서 뇌파를 통해 밝힌 차이이기 때문에 결과에 있어서 객관성을 가지고 있지만 이미지가 전혀 없는 텍스트 버전과 움직임을 가진 여성의 아바타 이미지를 비교한 것이기 때문에 이미지 표현방식, 움직임과 같은 다양한 변수들이 미치는 영향을 심도 깊게 연구해볼 필요가 있다.

위의 연구에서 챗봇 표현 요소로서 다루었던 움직임은 메신저에서 주로 사용하는 이모티콘의 표현에 있어서 심리 사회적 반응에 가장 영향력이 높은 표현요소라고 전혜진(2019)은 주장하며 움직임이 맥락정보와 결합되면 시너지 효과가 발생한다고 밝혔다[10].

따라서 위의 연구에서 챗봇의 표현 요소로 다루었던‘텍스트’, ‘이미지의 구체성’, ‘움직임의 추상성’이 사회적 현존감을 느끼는데 미치는 영향을 본 연구에서 밝혀보고자 한다. 연구에서는 프로필 이미지와 같이 대표성을 띠는 이미지가 아닌 대화를 하는 상황에서 감정 표현을 할 때 챗봇에 대해서 사회적 현존감을 느끼게 만드는 표현 방식을 밝히는 것을 목표로 한다.

2. 연구방법 및 의의

먼저 배경연구에서 사회적 현존감에 대해서 정의하고 인공지능의 시각적 표현, 비언어적 감정 표현과 감정의 제스처 표현에 대해서 고찰한다. 이를 바탕으로 감정을 표현하는 추상화된 제스처 애니메이션을 제작하여 설문의 자극물로 사용한다. 설문조사에서는 동적 텍스트, 동적 제스처, 정적 표정 이모티콘으로 3가지 유형을 제시하여 감정에 따라 사회적 현존감이 느껴지는 표현을 답하도록 한다. 또한 선택한 이유에 대해서 주관식 답변을 받아 각 감정별로 현존감이 느껴지는 표현 방식과 그 이유에 대해서 분석한다. 본 연구의 결과는 인공지능 챗봇의 현존감을 위한 디자인 가이드를 만드는데 유용하게 활용될 것으로 기대된다.

II. 배경 연구

1. 사회적 현존감(social presence)의 정의

현존감(presence)은 ‘그곳에 있다’고 느끼는 것으로 매체를 보이지 않는 존재로 인식하는 것이다. 매개된 환경에서 이용자들이 매개되지 않은 듯한 지각적 환상으로 정의된다[11]. 사회적 현존감은 매개된 상호작용에서 다른 사람과 함께 있다는 느낌 이라고 정의한다. 이 개념이 쇼트 등(short et al.)에 의해 1976년에 처음 소개 되었을 때는 상대방의 존재를 지각하는데 상대방의 존재 유무에 초점을 맞추었다. 그들은 이러한 현존감 정도는 면대면 접촉, 비디오와 오디오, 문자 순으로 나타난다고 밝혔다. 또한 사회적 현존감에 영향을 주는 요소는 얼굴표정, 시선의 방향, 의상 그리고 비언어적 음성 요소에 대한 정보를 담을 수 있는 용량이다[12]. 예를 들어 문자는 비언어적 단서나 상대방에 대한 정보를 전달 받는데 제약이 있기 때문에 정보처리 용량이 적다고 볼 수 있다. 히터(Heeter, 1992)는 사회적 현존감을 가상세계에서 “다른 존재들이 미디어 이용자에게 존재하는 것처럼 그리고 반응하는 것처럼 보이는 범위”로 정의한다[13]. 본 연구에서도 챗봇을 가상적으로 함께 있다고 느끼게 해주는데 가장 적합한 표현 방법을 밝히고자 한다.

황하성(2007)은 사회적 현존감을 측정하는 도구가 크게 두 가지 방향으로 나뉜다고 밝혔다. 하나는 매체에 대한 평가를 기준으로 하는 측정 도구이고 다른 하나는 매개된 상호작용에서 상대방을 어떻게 느끼고 지각하는지 상대방과의 심리적 연결성을 측정하는 것이다[14]. 그는 사회적 현존감은 매체의 특질이라기보다는 매체를 사용한 사용자들의 심리적 경험으로 봐야 한다[15]고 밝혔다.

따라서 본 연구에서는 챗봇의 환경에서 실제로 대화하는 듯한 기분을 유도하면서 시각화된 챗봇의 감정 표현을 보여줌으로서 사용자들이 심리적으로 어떠한 표현이 상대방과 함께 있다고 느끼는지 질문하고자 한다.

2. 인공지능 챗봇의 표현

인간은 대화에 있어서 언어적 표현 뿐 아니라 제스처와 표정을 사용하는 경향이 있으며 현재의 기술은 이러한 자연스러운 대화 시스템 개발이 가능하다[16]. 향후 기술이 상용화되어 로봇이 더 많은 감정을 전달한다면 사람들은 감정을 요구하는 직업에 대해서 봇소싱을 하는 것을 편안하게 생각한다[17]. 이러한 이유로 인공지능의 감정 표현에 대한 연구가 지속적으로 이루어지고 있지만 주로 언어적 인터랙션에 관한 연구이며 비언어적 표현에 대한 연구는 미비하다[18]. 김진옥(2012)은 가상인간의 감정 표현을 위해 얼굴 표정과 자세모달을 통해 비언어적 행동의 영향력에 대한 연구를 하였다[19]. 펠드만외 2인 (Feldman, et. al 2017)의 연구에서는 3차원 가상 아바타 시스템에 인간적인 대화를 만들기 위해서 제스처 행동으로 정서적 신호를 만들고 스피치 인풋으로부터 의미적 정보를 전달하도록 제작하였다[16].

또한 서론에서 언급했던 체크노브스키(Ciechnowski, et. al 2018)외 3명은 [표 1]에서 보듯이 복잡한 애니메이션을 가진, 인간과 유사한 이미지의 아바타 챗봇 보다 단순한 텍스트 챗봇이 대화 했을 때 언캐니밸리와 같이 부정적 효과를 덜 경험하게 되어 좀 더 사람으로 인지한다고 밝혔다[8].

표 1. 챗봇의 유형 비교

CCTHCV_2021_v21n1_1_t0001.png 이미지

반면에 강민정(2018)에 따르면 챗봇의 프로필 이미지로서 [그림 1]에서 보듯이 비어있는 기본 이미지 보다 완벽한 인간의 모습을 가진 사진 이미지에 대한 선호도가 월등히 높은 것을 알 수 있다[20].

CCTHCV_2021_v21n1_1_f0001.png 이미지

그림 1. 챗봇 프로필 이미지 선호도 차이(강민정 2018)

모리 마사히로의 언캐니밸리(uncanny valley) 이론에 따르면 [그림 2]에서 보듯이 로봇이 사람의 모습과 유사해질수록 호감도가 높아지다가 어느 정도 도달하면 거부감이 나타나고 다시 인간과 구별하기 어려울 정도로 흡사하면 다시 호감도가 증가한다[21]. 따라서, 앞서 언급한 선행연구의 경우에는 인간과 유사하지만 완벽하게 인간을 재현한 것이 아니기 때문에 부정적 반응이 나타났음을 유추할 수 있고, 두 번째 선행 연구에서는 완전한 사람의 사진 이미지를 사용했기 때문에 호감도가 높아졌음을 알 수 있다.

CCTHCV_2021_v21n1_1_f0002.png 이미지

그림 2. 언캐니밸리 이론

체크노브스키외 3명의 연구 경우 텍스트 버전에 대한 호감도가 높았던 것을 보면, 미셀혼(Misselhorn)이 언급한 상상적 인식의 영역 때문인 것을 유추해 볼 수 있다. 그는 언캐니밸리 현상은 인간과 매우 유사한 로봇에 대해서 상상적 인식(imaginative perception)이 실패하기 때문이라고 한다[22]. 즉, 우리의 뇌는 사람과 유사한 이미지를 보고 사람으로 인식하려 시도하지만 결국 생명이 없는 죽은 상태로 인식하면서 불쾌감을 느끼게 된다는 것이다.

본 연구에서는 사람의 얼굴을 제외한 추상적 형태의 동적 제스처를 통해 감정을 시각화하고 사람의 표정만정적으로 표현한 이모티콘과 비교해서 감정에 따라 나타나는 표현 방식의 차이를 밝혀보고자 한다. 또한 가장 기본이 되는 텍스트 표현에 감정을 전달할 수 있도록 움직임을 추가하고자 한다.

3. 감정의 비언어적 표현

인간의 감정은 기본 감정과 주변 감정으로 나뉘는데 폴 에크먼(Paul Ekman, 2003, 58)은 인간의 기본 감정을 놀람, 두려움, 혐오, 분노, 행복 슬픔의 6가지로 구분하였다[23]. 이 여섯 가지는 얼굴 표정으로 감정을 나타내거나 판단할 수 있는 감정이라고 할 수 있다[24].

사람들은 이러한 감정을 소통하기 위해서 얼굴과 몸의 표현, 목소리 톤과 같은 비언어적 방법을 이용하여 소통한다[25]. 특히, CMC (computer mediated communication)에서 문자를 통해 감정을 표현하는 경우 대면을 통한 소통보다 사회적 맥락적 단서가 결여되어 있기 때문에 차갑고 과제 지향적으로 느껴지므로 이모티콘이 적극적으로 활용된다. 따라서, 챗봇과 소통을 하는 경우에도 친밀함과 관계 형성에 있어서 이모티콘은 중요한 역할을 할 것이라고 예측할 수 있다. 선행연구에 따르면 비언어적 표현 중에서 얼굴표정이 가장 중요하며[26] 보다 구체적인 감정 상태를 표현하는 요소는 움직임과 맥락정보가 있다. 두가지 요소가 결합했을 때 시너지 효과가 나타나서 공감과 관계 몰입이 더욱 강하게 나타난다고 한다[10].

본 연구에서는 챗봇의 감정적 반응을 시각적으로 표현하기 위해 에크먼이 분류한 6가지 감정 중에서 혐오를 제외하고 총 5가지 감정에 대한 표현 방식을 고찰해 보았다. 혐오 감정의 경우 챗봇이 사용자에게 불쾌한 느낌을 표현하는 것이기에 잘 사용되지 않을 것이라 간주하여 제외시켰다.

감정의 비언어적 표현의 패턴을 파악하기 위해서 러셀(J.russell)의 감정 원형모델을 고찰했다[27]. 러셀은[그림 3]와 같이 가로축은 긍정과 부정, 세로축은 각성 정도로 구분하여 감정 원형모델을 제안하였다. 본 연구에서 다루고자 하는 화나는 감정과 행복의 감정은 유사한 각성 상태를 가진다. 놀람은 높은 각성 상태로 긍정도 부정도 아닌 감정이다. 슬픔은 부정적이고 낮은 각성 상태이며 두려움은 다소 부정적이며 높은 각성상태이다. 본 연구는 이러한 감정의 에너지와 긍정과 부정의 특징이 사회적 현존감을 느끼게 만드는 표현과 상관관계가 있는지 살펴보고자 한다.

CCTHCV_2021_v21n1_1_f0003.png 이미지

그림 3. 러셀의 감정원형모델​​​​​​​

4. 감정의 제스처 표현

본 연구에서 움직임이 주는 현존감을 감정별로 파악 하기 위해 감정의 제스처 표현을 고찰하고자 한다. 라반(Rudolf Laban)은 인간의 동작은 마음을 표현하는 상징이며 기분이나 감정을 반영한 움직임은 표현적 동작이라고 말한다고 한다[28]. 또한, 동작은 신체가 공간 속에서 표현되는 것으로 시간의 길이에 의해 만들어지는 리듬의 두 요소가 신체 부분에 의해 표현된다. 동작의 4가지 구성요소인 시간, 힘, 무게, 공간, 흐름 등은 함께 작용하며 점차로 고도화되고 복잡한 동작 형태가 이루어진다[29]. 감정의 유형은 움직임의 특성 중 시간(속도)와 관련되며, 움직임의 개방성 및 부드러움과도 관련이 있다.

감정의 제스처 표현에 대한 연구에 있어서 김진옥(2011)[29]과 강철두(2016)의 연구는 많은 유사성을 가진다[표 2]. 강철두는 라반의 움직임 이론에서 형태적 요소와 질적 요소(에포트-동기)로 구분하여 분석하였다[30]. 또한 본 연구는 영화 ‘인사이드 아웃’에서 다룬 각 감정에 대한 색상을 자극물 제작에 참고하였다. 따라서 본 연구에서는 제스처 자체에 집중할 수 있도록 형태는 추상적으로 표현하고 움직임의 속도와 방향성 두 가지 측면을 고려하여 설문을 위한 동적인 제스처 자극물을 제작할 것이다.

표 2. 감정의 제스처 표현​​​​​​​

CCTHCV_2021_v21n1_1_t0002.png 이미지

III. 사례연구

본 장에서는 사람의 표정을 이용하지 않고 움직임만을 통해 소통을 하는 대표 사례로 구글의 dot애니메이션을 분석하여 움직임과 의미와의 관계를 분석해보고자 한다. 우선 구글 어시스턴트 챗봇 애니메이션은 브랜드 아이덴티티를 반영한 추상화된 이미지를 가지고 움직임을 통해 의미를 전달하는 대표 사례로 볼 수 있다. 표3에서 보듯이 애니메이션은 구글의 지능을 나타내며 듣기, 생각하기, 답장하기, 이해하기, 확인하기로 구성되어 있다[31]. ‘듣기’ 제스처는 천천히 물결의 움직임을 그리는데 이는 마치 사람이 호흡하는 것을 형상화한 것으로 보인다. ‘답장하기’ 경우에는 사운드 시각 화와 같이 목소리 피치의 변화를 형상화하여 위아래의 길이 변화 애니메이션을 그린다. ‘생각하기’는 사각형을 그리던 도트가 원형을 그리면서 회전을 하는 형상이다. 우리가 ‘두뇌 회전’이라는 말을 하듯이 생각을 할 때 모터가 돌아가는 것을 형상화한 것과 같다. ‘이해하지 못함’ 경우에는 도트가 좌우로 움직이는데 부정을 할 때고개를 좌우로 움직이는 형상과 닮았다. ‘확인하기’는 짧고 단호하게 도트들이 위에서 중력 방향으로 빠르게 떨어지면서 도장을 찍듯이 또는 움직이지 못하도록 고정을 시키는 듯한 느낌을 준다.

[표 3]은 각각의 움직임의 모델이 되는 대상을 유추한 것이다. AI의 반응과 사람의 반응을 모두 시각화하여 보여줘야 하기 때문에 애니메이션이 반영한 주체가 누구인지도 같이 정리하였다. AI가 반응을 할 때는 사람이 하는 제스처의 속도와 방향성을 반영하여 단순화 시킨 것을 알 수 있다.

표 3. 구글 어시스턴트 도트 애니메이션​​​​​​​

CCTHCV_2021_v21n1_1_t0003.png 이미지

IV. 설문조사

1. 설문계획

사회적 현존감이 느껴지는 챗봇의 감정 표현 방식을 밝히기 위해 폴 에크먼이 밝힌 6가지 기본 감정 중 혐오감을 제외하고 5가지 감정을 선택하여 동적 텍스트, 동적 제스처는 자극물을 제작하였고 정적 이모티콘으로 페이스북 이모티콘을 채택하였다. 이미 전 세계에서 다수의 사용자들이 사용하고 있기 때문에, 각 이모티콘이 나타내는 감정에 대해 검증이 되어 소통의 오류가 없을 것이라고 간주하였다.

동적 제스처는 배경연구에서 밝힌 감정에 따른 제스처 표현 방식[표 1]과 심리학자 로버트 플루치크의 감정 바퀴(Robert Plutchik's wheel of emotions)의 감정별 칼라를 참고하여 제작된 영화 ‘인사이드아웃’의 캐릭터 칼라를 반영하여 5가지 동적 감정 제스처를 제작하였다[표 4][32].

표 4. 상황에 따른 감정변화 이모티콘​​​​​​​

CCTHCV_2021_v21n1_1_t0004.png 이미지

그 후 각각의 동적 제스처 표현이 의도한 대로 느껴지는 20-40대 9명에게 카카오톡 메신저로 5가지 자극물을 보여주고 떠오르는 감정을 주관식으로 답하도록 하였다[표 5]. 조사 결과 9명 중 두 명(23%) 정도 다른 감정을 답하였고, 평균 77%이상 의도한 대로 감정을 맞추었기에 감정을 대표하는 동적 제스처 자극물로 채택하였다.

표 5. 동적 제스처 검증​​​​​​​

또 다른 실험자극물로 선행연구에서 사용자들이 움직이는 아바타 보다 텍스트를 선호하였던 결과를 반영하여 정적인 텍스트가 아닌 감정을 담은 동적 텍스트를 5가지 감정을 반영하여 제작하였다[표 6]. 이에 따라 감정을 표현하는 텍스트는 기쁨은 ‘반가워요~!!’를 통통 튀듯이, 슬픔은 ‘너무 슬퍼’ 글자가 흐르듯, 놀람은 ‘허걱, 뭐라구요?!’글자가 중력 방향으로 툭 떨어지듯, 두려움은 ‘코로나 걸릴까 무서워요.’ 글자가 삐뚤어진 상태로 부들부들 떨듯, 화남은 ‘너무, 화나요!’ 큰 소리치듯 큰 글자가 탁탁 짧은 호흡으로 써지도록 표현하였다. 놀람의 텍스트의 ‘허걱’은 인터넷 채팅에서 놀랄 때쓰는 감탄사로[33] 반문을 추가하여 놀람을 표현했다.

표 6. 감정을 반영한 동적 텍스트​​​​​​​

CCTHCV_2021_v21n1_1_t0006.png 이미지

따라서 첫 번째 표현 방식은 동적 텍스트로, 두 번째 표현 방식은 텍스트 없이 동적이며 추상적인 제스처로, 세 번째 표현 방식은 정적인 표정 이모티콘으로 정했다. 이러한 3가지 감정표현 방식으로 5가지 감정, 기쁨, 슬픔, 놀람, 두려움, 화남을 표현할 때 챗봇의 현존감이 가장 잘 느껴지는 방식을 파악하기 위해 설문조사를 하였다.

설문조사는 [그림 4]와 같이 챗봇 환경과 유사하게 메신저 인터페이스를 사용하여 각각의 시각화된 이미지를 접하도록 하였다. 설문지 시작 부분에서 사회적 현존감에 대해서 설명 문구를 넣어주었고 개인정보를 제외하고 각 감정에 대한 표현을 선택할 수 있는 총 5문항을 기쁨, 슬픔, 놀람, 두려움, 화남의 순서대로 작성 하였다. 각 문항마다 사회적 현존감에 대한 설명을 반복적으로 넣어 답을 하기 전에 표현의 선호도가 아닌‘가상의 공간에 상대방과 함께 있는 경험’을 느낄 수 있는 표현을 답하도록 리마인드 해주었다. 3가지 표현 방식은 한 화면에 동시에 보여주어 비교가 용이하게 하였다.

CCTHCV_2021_v21n1_1_f0004.png 이미지

그림 4. 메신저창을 이용한 설문​​​​​​​

설문 대상자는 남녀 129명이고 성비 나이에 따른 비율은 다음 [표 7]과 같다. 전공은 인문사회 20명, 자연계 30명, 예체능 79명이며 100% 응답한 사람은 101명이다.

표 7. 설문 참가자​​​​​​​

2. 설문결과

1) 기쁨

설문결과 [그림 5]에서 보듯이 기쁨을 나타내는 표현에 있어서는 현존감이 느껴지는 것은 동적 텍스트가 41.13%, 동적 제스처 33.87%, 정적인 이모티콘 25.00% 로 나타났다. 카이제곱 검정을 수행한 결과 P 값이 0.09로 세 항목의 선호도의 차이가 통계적으로 유의하지 않아 기쁨을 표현하는 방식에서는 세 방식 비슷 하게 선택한 것으로 나타났다.

그림 5. 기쁨 표현​​​​​​​

공통된 주관식 답변 분석 결과 동적 텍스트를 선택한 이유는 빠른 인지, 대화하는 느낌, 의미전달의 구체성, 생동감인 것으로 정리되었다. 동적 제스처를 선택한 이유는 현재성, 감정의 극대화, 생동감, 연상되는 존재감, 친근감 이었다. 또한, 이모티콘을 선택한 이유는 표정, 친숙함, 감정전달, 친근함인 것으로 나타났다.

2) 슬픔

챗봇이 ‘슬픔’을 표현할 때 가장 현존감이 느껴지는 표현에 대한 답변으로 [그림 6]에서 보듯이 정적 이모티콘이 43.90%, 동적 텍스트는 30.08%, 동적 제스처는 26.02%로 응답하였다. 카이제곱 검정 결과 p 값은 0.03(P<0.05)으로, 세 항목의 응답율 차이가 통계적으로 유의미한 것으로 나타났다.

CCTHCV_2021_v21n1_1_f0006.png 이미지

그림 6. 슬픔 표현

주관식 답변 분석 결과 정적 이모티콘을 선택한 이유는 친숙함, 직관적, 감정전달의 효율성인 것으로 나타났다. 또한 동적 텍스트의 선택 이유는 ‘대화하는 느낌’, ‘전달력’인 것으로 정리되었다. 마지막으로 동적 제스처를 선택한 이유는 ‘연상되는 이미지’, ‘글보다는 감정적인 반응에 적합’인 것으로 나타났다.

3) 놀람

현존감이 느껴지는 놀람의 표현에 대한 설문 결과[그림 7]에서 보듯이 이모티콘은 41.18%, 동적 텍스트는 37.82%, 추상적 애니메이션은 21.01%로 나타났다. 이러한 비율의 차이에 대하여 카이제곱 검정을 수행한 결과 p값으로 0.02(p<0.05)을 얻어, 세 항목의 응답비율에 통계적으로 유의미한 차이가 나타났다. 정적 이모티콘을 선택한 이유로 ‘표정으로 충분히 소통’, 동적 텍스트를 선택한 이유로 ‘실제 사람이 타이핑하는것 같이 느껴짐’, ‘의미전달이 구체적’, 동적 제스처는 ‘모션의 속도’, ‘실제 제스처와 유사성’, ‘감정전달의 효과’라고 답 하였다.

그림 7. 놀람 표현​​​​​​​

4) 두려움

챗봇이 두려운 감정을 표현할 때 현존감이 느껴지는 적절한 표현으로 [그림 8]에서 보듯이 설문 참여자들의 57.89%는 동적 텍스트, 26.32%는 동적 제스처, 15.79%는 정적 이모티콘을 선택하였다. 카이제곱 검정 결과 7.38E-08 (p<0.05)로 세 항목의 차이가 통계적으로 유의미한 것으로 나타났다. 주관식 답변으로 동적 텍스트를 선택한 이유로 타이포그래피의 감정 표현과 의미의 구체성으로 요약되었다. 동적 제스처를 선택한 이유로 ‘색상과 움직임의 조합’, ‘대화하는 느낌‘으로 답 하였다. 정적 이모티콘을 선택한 이유로 ‘익숙함’, ‘감정을 담은 색상’, ‘직관적’이라고 답하였다.

그림 8. 두려움​​​​​​​

5) 화남

화나는 감정을 표현할 때 적절한 방법에 대하여 질문 하였다. [그림 9]에서 보듯이 가장 많은 선택을 받은 것은 정적 이모티콘으로 57.52%, 다음으로 동적 텍스트 25.66%, 동적 제스처는 16.81%로 응답하였다. 카이제곱 검정 결과 p 값이 1.783e-07(p<0.05)로 나타나 세 항목의 선호 비율에 통계적으로 유의미하게 차이가 있는 것으로 나타났다. 동적 텍스트를 선택한 이유로 ‘화가 난 정도를 파악’, ‘화가 나면 이모티콘은 사용하지 않기 때문’이라고 응답하였다. 정적인 이모티콘을 선택한 이유로 ‘화난 감정은 언어로 표현이 부적절’, ‘칼라와 표정에서 감정이 직관적으로 드러남’, ‘이모티콘이 친숙함’으로 요약되었다.

그림 9. 화남 표현​​​​​​​

3. 종합 분석

5가지 감정에 대한 세 가지 다른 표현에 대한 사회적 현존감 인지 차이를 카이제곱 검정한 결과 기쁨 감정에서만 p값이 0.09로 통계적으로 유의하지 않았다. 따라서, 다른 감정과 다르게 기쁨에 대해서는 동적 제스처가 상대적으로 다른 표현들과 유사한 수준으로 선택된 것으로 나타났다. 기쁨을 제외한 다른 감정들에서는 현존감을 느끼는 표현방식들의 선호도 응답 %의 차이가 유의수준 95%에서 모두 통계적으로 유의한(p<=0.05) 결과를 얻었다.

5가지 감정에 따라 선호하는 표현 방식의 분포에 차이가 발생하는가를 종합적으로 검증하기 위해 카이제곱 검정을 수행하였다. 검정 결과 동적 텍스트, 동적 제스처, 정적 이모티콘의 현존감 표현 방법별 각 감정에 대한 선호도의 차이가 통계적으로 유의미하게 나타났다 (p=2.75E-10)[표 8].

표 8. 감정에 따른 현존감 선호수단 차이​​​​​​​

CCTHCV_2021_v21n1_1_t0008.png 이미지

각 감정별로 가장 높게 선택된 표현들을 보면 [그림 10]에서 보듯이 기쁜 감정에 있어서는 정적인 표정보다는 동적 텍스트와 제스처가 가장 많이 선택되었다. 동적인 표현이 얼굴의 표정 보다 앞서는 이유를 살펴보면 기쁜 감정은 [표 1]에서 보듯이 위로 도약하는 동작이 특징이기 때문에 동적으로 표현했을 때 더 적절하다고 유추할 수 있다. 반면에 슬픈 감정은 부정적 감정으로서 각성 상태가 낮기 때문에 정적인 이모티콘이 주로 선택되었음을 유추할 수 있다. 화나는 감정은 기쁨과 비슷한 정도의 각성 상태로 부정적인 감정인데 이모티콘을 선택한 참여자들의 주관식 답변을 분석해보면 화난경우 말로 표현하기 보다는 표정으로 감정을 전달하는 것이 적절하다는 것을 알 수 있다. 반면에 화가 나면 이모티콘을 사용하지 않는다는 답변도 있었지만 챗봇이 인간에게 실제로 화를 많이 내도록 설정하지는 않을 것이기 때문에 화난 감정을 귀엽게 표현한 이모티콘을 많이 선택된 것으로 보인다.

CCTHCV_2021_v21n1_1_f0010.png 이미지

그림 10. 감정에 따라 선호되는 표현 방법​​​​​​​

중립적 감정인 두려움과 놀람은 시각화 했을 때 의미가 분명하지 않다는 의견이 많았다. 두려움의 경우 동적 텍스트에서 감정전달뿐 아니라 두려움의 이유까지 포함하고 있기 때문에 많이 선호되었다. 놀람의 감정에서는 정적 이모티콘 만큼 동적 텍스트도 많이 선택되었다. 따라서 긍정과 부정이 확실하지 않은 감정은 나머지 3가지 확실한 감정들에 비해 표정보다는 텍스트를 통한 의도파악이 좀 더 중요시 되었다고 유추할 수 있다. 또한 주관식 답변에서는 두려움과 화남의 경우에 색상이 판단의 기준이 된다고 언급한 경우가 많았다.

배경연구에 따르면 얼굴 표정이 사회적 현존감과 감정을 나타내는 데에 가장 적합한 소통 방식이라고 알려져 있지만 설문 결과를 종합해보면 [표 9]와 같이 감정에 따른 표현의 차이를 알 수 있다. 긍정적이고 높은 각성 상태의 감정에서는 동적인 표현, 중립적인 감정에서는 동적 텍스트, 부정적인 감정에서는 표정 이모티콘이 주로 선택되었다.

표 9. 감정의 유형에 따른 감정표현 방식​​​​​​​

CCTHCV_2021_v21n1_1_t0009.png 이미지

[표 10]은 감정 표현 방식별 현존감이 느껴지는 이유에 대한 공통된 특징을 파악하기 위해 주관식 답변을 분석한 것이다. 선행연구에서 감정의 가장 효과적인 방식이 얼굴 표정으로 알려져 있지만 본 연구 결과에서 감정에 따라 현존감이 느껴지는 표현이 다른 것을 파악할 수 있었다.

표 10. 현존감이 느껴지는 감정 표현 별 특징​​​​​​​

CCTHCV_2021_v21n1_1_t0010.png 이미지

V. 결론

본 연구는 챗봇의 감정표현에 있어서 현존감이 느껴 지는 방식을 감정별로 살펴보았다. 문헌연구에서 얼굴 표정이 감정을 가장 잘 나타내는 비언어적 표현이며 동적인 표현은 챗봇과의 소통에서 중요한 역할을 한다는 것을 파악하였고. 또한 각 감정을 나타내는 제스처의 특징을 고찰하였다. 사례연구에서는 구글 어시스턴트의 챗봇 애니메이션을 분석하였고 소통을 위해 사람의 제스처, 소리의 파장, 기계의 움직임을 시각화한 것을 알 수 있었다. 문헌연구에서 파악한 감정별 제스처를 바탕으로 동적 텍스트와 동적 제스처 자극물을 제작하였다. 설문조사를 위해 기쁨, 슬픔, 놀람, 두려움, 화남의 기본 감정을 동적 텍스트, 동적 제스처, 정적 이모티콘으로 표현된 자극물을 준비하여 설문조사를 하였다. 기쁨의 경우 통계적으로 유의한 선호를 발견할 수 없었으나 슬픔과 화남은 정적 이모티콘, 놀람은 정적 이모티콘과 동적 텍스트, 두려움은 동적 텍스트가 가장 많이 선택되었고, 선호도의 차이가 통계적으로 유의했다. 따라서 긍정의 감정에서는 움직임이 대화에서 현존감을 느낄 수 있고 슬픔과 화남과 같은 부정적인 감정에서는 정적 이모티콘이 직관적으로 감정을 느낄 수 있으며 놀람과 두려움의 중립적인 감정에서는 텍스트를 통한 의도파악이 중요시되는 것을 유추할 수 있었다.

본 연구는 추후에 챗봇을 시각화 할 때 현존감이 느껴지는 대화를 이끌기 위한 감정 표현 가이드로서 중요한 참고 자료가 될것이라 기대한다.

본 연구의 한계점으로 5가지 감정 표현의 자극물의 퀄리티 조절이 미흡했기에 표현방식 자체 보다 디자인 퀄리티가 판단에 영향을 주었음을 들 수 있다. 또한, 페이스북 아이콘에 이미 친숙한 사용자가 많아서 판단에 영향을 주었을 수 있다. 따라서, 향후에 좀 더 다양한 샘플을 제작하여 테스트 한다면 객관적인 데이터를 확보할 수 있어 신뢰도 높은 연구가 될 것으로 기대한다.

* 본 논문은 2019학년도 홍익대학교 학술연구진흥비에 의하여 지원되었음.​​​​​​​

References

  1. https://m.etnews.com/20200728000119, 2020. 12.31.
  2. C. L. Sidner, C. Lee, C. Kidd, N. Lesh, and C. Rich, "Explorations in engagement for humans and robots," arXiv preprint, cs/0507056, 2005. https://doi.org/10.1016/j.artint.2005.03.005
  3. https://www.sedaily.com/NewsView/1OM801XAKX?OutLink=recombest_GD, 2020.12.31.
  4. K. Dautenhahn, "Socially intelligent robots: Dimensions of human-robot interaction," Philosophical transactions of the royal society B: Biological sciences, Vol.362, No.1480, pp.697-704, 2007. https://doi.org/10.1098/rstb.2006.2004
  5. P. H. Kahn, T. Kanda, H. Ishiguro, N. G. Freier, R. L. Severson, B. T. Gill, J. H. Ruckert, and S. Shen, "'Robovie, you'll have to go into the closet now': Children's social and moral relationships with a humanoid robot," Dev. Psychol., Vol.48, No.2, pp.303-314, 2012(3). https://doi.org/10.1037/a0027033
  6. D. Evans, Emotion, Oxford University Press, New York, 2001.
  7. A. Wood and M. Smith, Online Communication: Linking technology, identity, and culture, Routledge, 2005.
  8. L. Ciechanowski, A. Przegalinska, M. Magnuski, and P. Gloor, "In the shades of the uncanny valley: An experimental study of human-chatbot interaction," Future Generation Computer Systems, Vol.92, pp.539-548, 2019. https://doi.org/10.1016/j.future.2018.01.055
  9. M. B. Mathur and D. B. Reichling, "Navigating a social world with robot partners: A quantitative cartography of the Uncanny Valley," Cognition, Vol.146, pp.22-32, 2016. https://doi.org/10.1016/j.cognition.2015.09.008
  10. 전혜진, 이모티콘의 비언어표현 유형에 따른 공감과 관계몰입, 홍익대학교 대학원, 박사학위논문, 2019.
  11. M. Lombard and T. Ditton, "At the Heart of it all: The concept of presence," Journal of Computer-Mediated Communication, Vol.3, No.2, JCM321, 1997.
  12. J. A. Short, E. Williams, and B. Christie, The social psychology of telecommunications, London: John Wiley & Sons, Ltd., 1976.
  13. C. Heeter, "Being there: The subjective experience of presence," Presence: Teleoperators and Virtual Environments, Vol.1, No.2, pp.262-271, 1992. https://doi.org/10.1162/pres.1992.1.2.262
  14. H. S. Hwang and M. Lombard, "Understanding instant messaging: Gratifications and social presence," In 9th Annual PRESENCE Conference, Cleveland, OH., 2006.
  15. 황하성, "사회적 현존감 (Social Presence) 측정도구 개발에 관한 탐색적 연구: 인스턴트 메신저의 이용 사례를 중심으로," 언론과학연구, Vol.7, No,2, pp.529-561, 2007.
  16. S. Feldman, O. N. Yalcin, and S. DiPaola, "Engagement with artificial intelligence through natural interaction models," Electronic Visualisation and the Arts (EVA 2017), pp.296-303, 2017.
  17. A. Waytz and M. I. Norton, "Botsourcing and outsourcing: Robot, British, Chinese, and German workers are for thinking-not feeling-jobs," Emotion, Vol.14, No.2, p.434, 2014. https://doi.org/10.1037/a0036054
  18. 현윤아, 반영환, 유훈식, "인공지능 디바이스의 조명 효과에 대한 사용자의 감정 평가 분석," 감성과학, 제22권, 제3호, pp.35-46, 2019. https://doi.org/10.14695/KJSOS.2018.22.3.35
  19. 김진옥, "가상 인간의 감정 표현 인식을 위한 비언어적 다중모달 영향 분석," 인터넷정보학회지, 제13권, 제5호, pp.9-19, 2012.
  20. 강민정, "사용 목적에 따른 챗봇의 프로필 이미지 연구," 한국콘텐츠학회논문지, 제18권, 제12호, pp.118-129, 2018. https://doi.org/10.5392/jkca.2018.18.12.118
  21. M. B. Mathur and D. B. Reichling, "Navigating a social world with robot partners: A quantitative cartography of the Uncanny Valley," Cognition, Vol.146, pp.22-32, 2016. https://doi.org/10.1016/j.cognition.2015.09.008
  22. C. Misselhorn, "Empathy with inanimate objects and the uncanny valley," Minds and Machines, Vol.19, No.3, p.345, 2009. https://doi.org/10.1007/s11023-009-9158-2
  23. P. Ekman and W. V. Friesen, Unmasking the face: A guide to recognizing emotions from facial clues, ISHK/Malor Books, 2003.
  24. P. Eckman and W. V. Friesen, Facial Action CodingSystem: Investigator's Guide, Consulting Psychologists Press, 1978.
  25. R. Hortensius, F. Hekele, and E. S. Cross, "The perception of emotion in artificial agents," IEEE Transactions on Cognitive and Developmental Systems 19, Vol.10, No.4, pp.852-864, 2018. https://doi.org/10.1109/TCDS.2018.2826921
  26. 이희승, 김도형, 정명진, "로봇의 감정과 성격: 얼굴 표정의 인지에서 표현까지," 로봇공학회지, 제3권, 제4호, pp.36-49, 2006.
  27. J. Russell, "Two pancultural dimensions of emotion words," Journal of Personality and Social Psychology, Vol.45, p.1285, 1983. https://doi.org/10.1037/0022-3514.45.6.1281
  28. http://www.sangdam.kr/encyclopedia/cc/cctheory/cctheory32.html, 2020.12.31.
  29. 김진옥, "감정 자세 인식을 위한 자세특징과 감정예측 모델," 한국인터넷정보학회 논문지, Vol.12, No.6, pp.83-94, 2011.
  30. 강철두, 비언어적 커뮤니케이션의 감정 표현 연구에크먼과 라반의 이론에 근거한 영화 장르를 중심으로, 대구대학교, 박사학위논문, 2016.
  31. https://design.google/library/evolving-google-identity/, 2020.12.31.
  32. https://www.forbes.com/sites/jvchamary/2015/08/30/inside-out-science/?sh=2adc34905184, 2021.01.02.
  33. https://ko.dict.naver.com/#/userEntry/koko/2d03f6bc4c818f409e4a0e8ef723660e, 2020.12.31.