DOI QR코드

DOI QR Code

Exploring the Applicability of Voice-based Psychological Counseling Agent

음성 기반 심리상담 에이전트의 활용 가능성 탐색 연구

  • 김지근 (연세대학교 심리과학이노베이션 연구소) ;
  • 양현정 (연세대학교 학부대학) ;
  • 이지원 (연세대학교 심리학과)
  • Received : 2021.06.08
  • Accepted : 2021.06.24
  • Published : 2021.07.28

Abstract

This study was conducted to explore important factors to consider when designing voice-based psychological counseling agents amid the increasing use of conversational agents in counseling and psychotherapy. 48 participants selected their preferred agent's voice among four types (young women and men, middle-aged women and men) and had a conversation with a psychological counseling agent. They also evaluated the reasons for voice selection, mood changes, perception of the agent's characteristics, and counseling outcomes. As a results, the agent's voice type selected according to the user's gender was not statistically significant. However, the qualitative analysis showed 'comfort' of the voice was an important factor. Next, the user's mood improved significantly after the conversation with the agent, which confirmed the intervention effect. Finally, it was found that expertness and attractiveness perceptions toward the agent contributed to the counseling outcomes. The implications of the study and suggestions for future research were discussed.

본 연구에서는 상담 및 심리치료 분야에서 대화형 에이전트의 활용이 증가하는 가운데, 음성 기반 심리상담 에이전트 설계 시 중요하게 고려해야 하는 요인을 탐색하기 위해 실험 연구를 진행하였다. 이를 위해 실제 심리상담 맥락에서 음성 기반 대화형 에이전트를 구현하여, 20~30대 성인 남녀 48명을 대상으로 상담 대화를 진행하였다. 연구 참여자는 4가지 유형의 에이전트 목소리(청년여성, 청년남성, 중년여성, 중년남성) 중 선호하는 목소리를 선택한 후 대화하였으며, 목소리 선택에 대한 이유, 기분 변화, 에이전트의 특성에 대한 지각, 상담 성과 등을 평가하였다. 연구 결과, 사용자 성별에 따른 에이전트의 목소리 유형 선택은 통계적으로 유의하지 않았다. 그러나 목소리 선택 이유로 '편안함'이 가장 많이 언급됨으로써, 심리상담 에이전트에게 요구되는 목소리 특성이 탐색되었다. 다음으로, 사용자는 에이전트와의 대화 후, 기분이 유의미하게 개선되는 것으로 나타남으로써 심리상담 에이전트의 개입 효과를 확인하였다. 마지막으로, 사용자가 심리상담 에이전트에게 지각하는 특성 중, 전문성과 호감이 상담 성과를 긍정적으로 평가하는데 중요한 요소임이 확인되었다. 본 연구 결과를 바탕으로 심리상담 에이전트의 활용 가능성과 추후 연구에 대한 제언을 제시하였다.

Keywords

I. 서론

인공지능 기술의 발달은 사용자가 입력하는 자연어를 처리하고, 그에 상응하는 답변을 생성하는 자동화된 컴퓨터 시스템인 대화형 에이전트(Conversational Agents)에 관한 높은 관심을 불러일으켰다[1]. 특히 상담 및 심리치료 분야에서는 이러한 인터페이스를 활용한 비대면 서비스가 치료에 대한 진입장벽을 낮추고 높은 접근성과 비용 효과를 창출한다는 측면에서 치료 장면에 대화형 에이전트를 적용하고자 하는 시도들이 매우 적극적으로 이루어져 왔다[2-4]. 동시에 대화형 에이전트를 활용한 치료적 개입 효과를 검증하는 연구도 활발히 이루어져 왔는데, 대화형 에이전트는 사람의 치료적 대화 스타일을 모방할 수 있어 사용자와의 사회적 관계를 형성하는데 효과적임이 밝혀진 바 있다[2]. 나아가 상담 및 심리치료 장면에서 대화형 에이전트의 적용은 사용자의 스트레스, 우울증, 심리적 안녕감 등의 개입에도 효과가 있음이 확인되었다[3][5][6]. 이처럼 여러 선행연구를 통해 상담 및 심리치료 분야에서 대화형에이전트의 긍정적 활용 효과가 확인되어 왔지만, 여전히 사용자의 개별 선택이나 사용 경험을 다루는 연구는 상대적으로 부족한 실정이다[7]. 이에 본 연구에서는 사용자의 관점에서 심리상담 에이전트 특성에 대한 선호와 지각, 사용 경험에 대한 평가를 확인함으로써, 대화형 에이전트를 설계함에 있어 중요하게 고려해야 하는 특성에 대한 단서를 탐색해보고자 한다.

특히 본 연구에서는 음성 기반의 대화형 에이전트의 활용 가능성에 초점을 맞추고 있다. 비록 메신저 등의 채널을 활용하는 텍스트 기반 에이전트는 현재에도 많은 심리상담 에이전트에서 적용되고 있지만, 일부 연구자는 텍스트만을 사용한 개입은 공감과 라포 형성에 제한을 가져온다고 주장하기도 하였다[8]. 이와 비교하여 음성 기반의 에이전트는 더 다양한 장점들이 있다. 가령 텍스트보다 음성을 사용하는 대화는 사용자가 사람 대 사람의 대화와 같은 유사성을 더욱 크게 느낄 수 있으므로 에이전트에 대한 몰입이 자연스럽게 증가할 뿐만 아니라[9], 글씨를 읽고 쓰는 능력이 부족하거나, 시각 및 운동 능력 등에 장애가 있는 사람들도 접근 하기용이 하다[10][11]. 특히, 지난 몇 년간 일상에서 활용하는 음성 인식 장치(예: 애플의 Siri, 삼성의 Bixby, 마이크로소프트사의 Cortana, 구글의 Assistant 등)가 크게 늘면서, 상담 및 심리치료 분야에서도 음성 기반의 대화형 에이전트 활용에 관한 관심이 더욱 증가하고 있는 바[12], 본 연구에서는 실제 심리상담 맥락에서 음성기반 대화형 에이전트의 활용 가능성을 탐색해보고자 한다.

먼저, 본 연구에서는 심리상담 에이전트를 성별과 연령에 따라 청년여성, 청년남성, 중년여성, 중년남성을 대표하는 4가지 목소리로 구현하여, 사용자가 어떤 특성의 목소리를 심리상담 에이전트로 더 많이 선택하는지 확인해보고자 한다. 나아가 목소리 선택에 대한 사용자의 질적 평가 내용을 분석하여, 에이전트의 어떤 특성이 긍정적으로 지각되는지 구체적으로 확인해보고자 한다. 대화형 에이전트의 특성에 대한 선호를 탐색하는 선행연구에서는 사용자들이 젊은 연령의 캐릭터나 사용자 자신과 비슷한 연령대의 캐릭터를 선호하는 것으로 나타났다[13-15]. 성별에 대한 선호도 결과는 좀 더 복잡한데, 남성[16]과 여성[13] 캐릭터에 대한 선호가 모두 나타났지만, 자신의 성별과 동일한 성별의 에이전트를 선호하거나[17][18], 에이전트가 수행하는 과업에 대한 고정관념과 일치하는 성별의 캐릭터를 선호하는 것으로 나타나기도 했다[19][20]. 이처럼 사용자의 연령과 성별에 따라 선호하는 대화형 에이전트의 특성을 밝히는 연구는 활발히 이루어지고 있지만, 심리상담 에이전트를 대상으로 이를 탐색한 연구는 찾아보기 어렵다. 비록 강민정(2018)의 연구에서 심리상담을 목적으로 대화형 에이전트를 사용한다고 가정할 때, 사용자는 주로 여성을 선호했고, 또래이거나 다소 연상을 선호하는 것으로 나타났으나, 이는 실제 에이전트의 활용 장면이 아닌 인터뷰와 설문을 통해 확인된 결과이다 [21]. 특히 심리상담 분야에서는 상담자의 외적 특성 인성별과 연령이 상담 성과에 영향을 미칠 수 있음이 확인되어 온 바[22-23], 사용자가 심리상담 대화를 나누고 싶은 에이전트의 외적 특성을 밝히는 것은 효과적인 서비스 설계에 기여할 수 있을 것이다.

다음으로, 심리상담 에이전트의 다양한 성과를 탐색해보고자 한다. 먼저, 심리적 성과(Psychological Outcomes)로 심리상담 에이전트와 대화한 후에 사용자에게서 유의한 기분 개선이 나타났는지 검증함으로써, 심리상담 에이전트의 개입 효과를 확인하고자 한다. 본 연구에서 적용된 심리상담 대화는 사용자가 경험하고 있는 부정적 정서경험과 대처반응을 탐색하고, 이완하기 개입을 통해 부정적 정서를 개선할 수 있도록 구성되어 있다. 따라서 사용자의 기분이 심리상담 에이전트와 대화한 후에 긍정적인 방향으로 유의하게 향상된다면, 이는 심리상담 에이전트의 활용 가능성을 보여주는 지표가 될 수 있다.

이어서 사용자 경험 성과(User Experience Outcome) 로 사용자가 평가한 상담 시간에 대한 즉시적 성과(상담 회기평가)와 상담 대화에 대한 전반적인 성과(유익함 및 만족도)를 탐색하고자 한다. 상담회기평가는 상담 성과를 측정할 때 가장 높은 빈도로 활용되는 지표로 [24], 내담자가 상담시간에 대해 느꼈던 깊이, 순조로움과 상담 직후에 느끼는 긍정적 정서와 각성도의 수준으로 측정된다[25]. 더불어 심리상담 에이전트와의 대화에 대한 유익함과 만족도 평가는 전반적인 상담 성과를 측정하는데 용이한 방법으로, 이는 대화형 에이전트에 대한 사용자 경험 성과에서도 유사하게 활용되고 있는 개념이다[2][26][27].

나아가 본 연구에서는 사용자가 지각하는 심리상담에이전트의 특성이 사용자 경험 성과에 미치는 영향력을 탐색해보고자 한다. 심리상담 장면에서는 상담자 요인, 즉 상담자가 지닌 특성이 상담 성과에 영향을 미치는 중요한 요인으로 연구되어 왔는데[28], 특히 상담자가 가진 특성 그 자체보다, 내담자가 상담자를 어떻게 지각하는지가 상담 성과에 중요하다고 보고하고 있다 [29][30]. 상담자 특성에 대한 내담자의 지각이란 내담자가 상담자에 대해 어떻게 생각하고 느끼는가를 의미하는 것으로, Strong(1968)은 내담자가 지각하는 상담자의 중요한 특성을 호감도, 전문성, 신뢰도로 구별하였다[31]. 호감도는 상담자에 대한 긍정적인 감정으로, 상담자를 우호적이고 온화하게 느끼고 좋아하고 마음을 갖는 것이다. 전문성은 상담자가 내담자의 문제를 효과적으로 다룰 수 있는 능력이 있다고 믿는 것이며, 신뢰도는 상담자가 진실하고 정직하며, 믿을만하다고 여기는 것이다.

이는 대화형 에이전트에게도 동일하게 적용될 수 있다. 선행연구에서는 대화형 에이전트를 활용한 심리치료의 맥락에서 적절한 치료적 기법에 앞서 사용자가 에이전트에게 느끼는 유대감과 신뢰감이 중요하다고 강조하였으며[32], 특히 건강을 관리해주는 에이전트에게 사용자가 느끼는 전문성과 신뢰도는 치료적 관계를 형성하는데 매우 중요한 요소임이 확인되었다[33]. 즉, 본연구에서 구현된 심리상담 에이전트에 대해서도 사용자가 에이전트의 특성을 어떻게 지각하는지가 상담 성과에 중요할 수 있으므로, 이들의 관계를 탐색함으로써 심리상담의 맥락에서 에이전트가 갖추어야 할 중요한 특성에 대해서 탐색해보고자 한다.

상담 및 심리치료 분야에서 대화형 에이전트에 대한 기존 연구들은 대부분 개입의 효과성 검증 연구에 집중되었고, 이를 통해 정신건강 개입에 있어 대화형 에이전트의 활용 가능성이 확인되어 왔다[34]. 그러나 본 연구에서는 심리상담 에이전트의 개입 효과, 즉 사용자의 기분 개선에 도움이 되는지를 확인하는 것에서 나아가, 사용자의 관점에서 심리상담 에이전트가 지닌 특성에 대한 선호를 확인하고, 심리상담 에이전트에 대한 지각과 상담 성과 간의 관계 검증을 통해 심리상담 에이전트의 활용 가능성을 보다 구체적으로 탐색해보고자 한다. 이러한 연구 결과는 음성 기반 심리상담 에이전트의 설계에 기여할 수 있는 유용한 자료를 제공할 수 있을 것이다. 본 연구에서 설정한 연구문제는 다음과 같다. 첫째, 심리상담 에이전트의 4가지 목소리 유형(청년 여성, 청년남성, 중년여성, 중년남성)에 대한 사용자의 선호도는 어떠하며, 그 이유는 무엇인가? 둘째, 심리상담 에이전트와의 대화 후 사용자의 기분 변화는 어떠한가? 셋째, 심리상담 에이전트의 특성에 대한 사용자의 지각이 상담 성과에 미치는 영향은 어떠한가?

II. 연구방법

1. 연구 대상

본 연구는 음성으로 구현되는 심리상담 에이전트와 심리적 어려움에 관하여 대화할 수 있는 20~30세 성인남녀를 대상으로 하였다. 본 연구에서 활용된 심리상담에이전트는 일반 성인이 경험할 수 있는 일상적인 수준의 우울과 불안에 개입하기 위해 개발되었으므로, 연구참여자 선정을 위해 연구 참여 신청자를 대상으로 그들이 경험하는 심리적 어려움이 일상적인 수준인지 판단하기 위하여 PHQ-9(Patient Health Questionnaire-9) 과 GAD-7(Generalized Anxiety Disorder Scale-7) 을 사전 검사로 실시하였다. PHQ-9과 GAD-7은 각각 우울장애 및 범불안장애를 선별하는 자기보고식 검사로서, 우울 및 불안 수준의 심각도를 측정하기에 타당한 도구로 밝혀진 바 있다[35]. 총 104명의 신청자 중, PHQ-9 및 GAD-7에서 우울 및 불안이 전혀 없는 것으로 나타난 26명은 연구 대상에서 제외되었으며, PHQ-9과 GAD-7 중 하나의 검사에서라도 상당한 수준의 우울 및 불안, 자살위험이 있는 것으로 보고된 19 명은 정확한 검사와 치료적 개입을 받을 수 있는 기관을 소개하고 연구 대상에서는 제외하였다. 남은 59명 중 최종적으로 연구 참여를 결정한 총 48명을 대상으로 연구가 진행되었고, 이들의 성별 분포는 남성과 여성이 각각 23명(47.9%), 25명(52.1%)이었으며, 평균연령은 26.7세(SD=2.53)인 것으로 나타났다. 연구 참여자들의 남녀별 연령분포는 [표 1]에 제시한 바와 같다. 연구 대상을 모집하기 전, 연구자들이 속한 학교 내 생명윤리위원회로부터 사전 심의 및 승인을 받았다 (7001988-202002-HR-787-04). 연구 참여자 모집과 실험의 모든 진행 절차는 생명윤리위원회의 규정을 준수하여 이루어졌다. 신청 후 실험에 참여한 전원에게 연구에 대한 사전 설명을 제공하고 서면 동의를 구하였으며, 실험을 마친 후 소정의 사례를 지급하였다.

표 1. 연구 참여자들의 성별 연령 분포 (N=48)

CCTHCV_2021_v21n7_144_t0001.png 이미지

2. 측정도구

2.1. 기분 온도계

심리상담 에이전트 사용 전후 사용자의 기분 변화를 측정하기 위하여 기분 온도계를 사용하였다. 기분 온도계는 측정 당시의 기분을 0점(매우 나쁨)~10점(매우 좋음) 사이에 평정하도록 되어 있다.

2.2. 심리상담 에이전트 특성

연구 참여자들이 에이전트를 상담자로서 어떻게 지각하고 평가하는지 측정하기 위하여 오경희(1986)가 번안한 상담자 평정 척도 축소판(Counselor Rating Form—Short: CRF-S)을 활용하였다[36]. Barak과 LaCrosse(1975)이 개발한 CRF는 본래 총 36문항으로 구성되었으나[29], Corrigan과 Schmidt(1983)이 이를 12개 문항으로 축소하였다[37]. 상담자에 대한 ‘호감’ 및 ‘전문성’, 상담자의 ‘신뢰성’이라는 3가지 하위요인으로 구성되어 있고, 7점 리커트식 척도에 평정한다. 총점 및 하위요인의 점수가 높을수록 상담자 및 상담자의 특성 하위요인에 대하여 긍정적으로 지각하는 것을 의미한다. 본 연구에서 상담자 특성 총점의 Cronbach’s alpha 계수는 .83으로 나타났으며, 하위요인은 호감 .68, 전문성 .78, 신뢰성 .76으로 보고되었다.

2.3. 전반적 상담 성과

상담 챗봇의 상담 성과에 대한 평가를 위하여 정남운 (1998)이 제작하여 사용한 상담 성과 질문지 중 객관식 2문항을 발췌하여 사용하였다[38]. 연구 참여자들은 심리상담 에이전트와의 대화가 사용자의 문제를 해결하는데 얼마나 도움이 되었다고 생각하는지, 심리상담 에이전트와의 대화에 어느 정도 만족하는지에 대해 7점리커트식 척도에 평정하였으며, 점수가 높을수록 도움 정도와 만족도가 높은 것을 의미한다. 전반적 상담 성과의 Cronbach’s alpha 계수는 .63으로 나타났다.

2.4. 상담회기평가

상담시간에 대한 즉시적 성과를 평가하기 위하여 상담회기 평가 질문지(Session Evaluation Questionnaire: SEQ)를 사용하였다. SEQ는 상담 대화가 참여자에게 끼친 즉시적 영향을 측정하는 도구로 Stiles(1989) 가개발하였으며[39], 국내에서는 이상희와 김계현(1993) 이 번안하고 타당화하였다[40]. 문항은 상담시간 자체를 평가하는 ‘깊이’, ‘순조로움’ 2개 요인(12문항)과 상담 후 사용자의 정서 상태를 평가하는 ‘긍정적정서’, ‘각성’ 2개 요인(12문항), 총 4개의 하위요인으로 구성되어 있다. 본 연구에서 4개 하위요인의 신뢰도는 깊이 .74, 순조로움 .81, 각성 .86 , 긍정적 정서 .78로 보고되었다.

3. 연구 절차

3.1. 상담 시나리오 구성

본 연구에서 활용할 심리상담 에이전트의 상담 시나리오를 구성하기 위하여 선행연구에서 개발한 상담 대화에[41] 개입전략을 추가 구성하는 예비연구(pilot study)를 수행하였다. 연구자들은 ‘즐거운 활동 계획하기’, ‘이완하기’, ‘생각 분리하기’의 3가지 개입전략에 대하여 각각의 시나리오를 개발하고 참여자가 원하는 활동을 선택할 수 있도록 한 후, 참여자의 경험을 탐색하였다. 예비연구를 통해 수집한 자료를 상담전문가 3인이 분석한 결과, 사용자들이 심리상담 에이전트의 음성을 듣고 쉽게 이해할 수 있으며, 소통하기에 용이한 활동으로 ‘이완하기’가 가장 적합한 것으로 평가되었다. 이에 3가지 개입 전략 중 ‘이완하기’를 본 연구에 활용할 개입전략으로 선정하였고, 최종 상담 시나리오를 완성하였다.

3.2. 심리상담 에이전트의 유형별 목소리 선택

심리상담 에이전트의 목소리를 구현하기 위하여 목소리 변환 시스템인 ‘타입캐스트’(https://typecast.ai/) 를 활용하였다. ‘타입캐스트’는 성우 음성을 음원으로 활용하여 텍스트를 음성으로 변환하는 서비스를 제공하며, 연령대와 성별이 다른 다양한 음성을 보유하고 있다.

본 연구에서는 타입캐스트에서 제공하는 청년과 중년 카테고리에 있는 남성과 여성 목소리 중 상담전문가 3인의 검토 과정을 거쳐 심리상담에 적합한 4개의 목소리 유형을 선정하였다. 4개의 목소리는 각각 청년 여성(타입캐스트 인물명: 지영), 청년남성(인물명: 경완), 중년여성(인물명: 선영), 중년남성(인물명: 정섭)이었다. 이후 상담 및 임상심리학 전공 석사과정생 5명을 대상으로 해당 목소리를 들려준 후 연령과 성별을 유추하게 한 결과, 목소리만으로도 청년 또는 중년, 남성 또는 여성으로 명확히 지각됨이 확인되었다. 추가로 상담 대화에 적절한 목소리 구현을 위하여, 타입캐스트에서 기본으로 설정된 발화 속도와 스타일, 문장 간 끊어 읽기 간격 등을 조정하였다.

3.3. 실험절차

본 연구의 실험절차는 사전설문, 본실험, 사후설문의 3단계로 구성되었다.

첫 번째 단계에서 연구 참여자들은 스마트폰을 활용하여 사전설문에 응답하였다. 사전설문에서는 인구통계학적 질문과 본 연구에서 활용되는 매체인 스마트폰과 인공지능 스피커에 대한 사용 기간 등을 확인하였다. 두 번째 단계인 본 실험에서는 연구 참여자가 서로 다른 4개 유형의 목소리로 예시문장(“안녕하세요? 저는 심리상담 에이전트 ‘상담이’입니다.”)을 들은 후, 자신과 대화할 에이전트의 목소리를 선택하고, 해당 목소리로 이후 상담이 진행되었다. 에이전트의 반응은 연구 보조원이 대기실에서 송출 명령을 입력하는 Wizard-of-Oz 시뮬레이션 기법을 활용하였으며, [그림 1]과 같이 상용 인공지능 스피커를 사용하였다.

마지막 3단계에서 연구 참여자들은 에이전트와의 상담을 종료한 후, 사후설문에 응답하였다. 사후설문은 스마트폰으로 진행되었으며 사용자의 기분변화, 심리상담에이전트 평가, 상담성과 평가 등으로 구성되었다.

CCTHCV_2021_v21n7_144_f0001.png 이미지

그림 1. 실험용 인공지능 스피커: 네이버 클로바, KT AI Makers

4. 자료 분석

본 연구는 다음과 같은 절차로 자료를 분석하였으며 통계 분석은 모두 SPSS 25.0 통계 패키지 프로그램을 활용하였다. 우선, 연구 참여자들의 성별과 목소리 선택유형의 관련성을 살펴보기 위하여 Fisher’s exact 검정을 사용하여 교차분석을 실시하였다. 교차분석에서 X2 검정이 아닌 Fisher’s exact 검정을 사용한 것은 자료의 정확성을 높이기 위한 것으로 기대빈도가 5개 미만인 셀이 전체의 20% 이상인 것으로 보고되었기 때문이다. 이어 연구 참여자들이 각각 선택한 목소리 유형(청년 여성, 청년남성, 중년여성, 중년남성)에 대하여 해당 목소리를 선택한 이유의 서술 내용을 유사한 내용들로묶어 범주화하고 빈도를 살펴보았다.

다음으로 심리상담 에이전트를 사용한 후 연구 참여자들의 기분 변화에 유의한 차이가 있는지 살펴보기 위하여 Kruskal-Wallis H 검정과 Wilcoxon signed-rank 검정을 실시하였다. 목소리 유형별로 연구 참여자들의 사례 수가 충분하지 않아 정규분포와 등분산성을 가정하기 어렵다고 판단하여 비모수 검정 방법을 활용하였다. Kruskal-Wallis H 검정을 통하여 목소리 선택 유형 별로 보고되는 기분 변화의 동질성 여부를 확인한 후, Wilcoxon signed-rank 검정을 실시하여 연구 참여자 전체의 사전-사후 기분온도계의 차이가 유의 한지 확인하였다. 마지막으로 위계적 회귀분석(hierarchical regression analysis)을 실시하여 연구 참여자가 지각하는 심리상담 에이전트의 특성이 상담성과에 미치는 영향을 살펴보았다. 분석 사전 절차로서 예측변인의 다 중공선 성을 확인하기 위하여 분석 모형에서의 공차 한계와 분산팽창계수(VIF)를 확인하였다. 이어 범주 변수인 목소리 유형을 통제하기 위하여 더미변수(기준변수: 청년여성)로 변환하여 분석 1단계에 투입하였다. 분석 2단계에서는 사용자가 지각한 심리상담 에이전트의 특성으로 3개의 변인(‘호감’, ‘전문성’, ‘신뢰성’)을 투입하였다. 상담성과를 측정하는 종속변인은 전반적 상담 성과를 측정하는 변인과 상담시간의 즉시적 효과를 측정하는 변인으로 구성되었다.

III. 연구결과

1. 성별에 따른 심리상담 에이전트의 목소리 유형 선택의 차이

본 연구의 참여자들이 선택한 목소리 유형이 성별에 따라 차이가 나타나는지 살펴보기 위하여 교차분석을 실시하였다. 분석 결과, 기대빈도가 5개 미만인 셀이 전체의 25.0%로 확인되어, Fisher’s exact 검정을 사용하였고, 성별에 따른 목소리 선택은 차이가 없는 것으로 나타났다(p=.323, ns). 교차분석 결과는 [표 2]에 제시하였다.

표 2. 성별에 따른 심리상담 에이전트 목소리 유형 선택(N=48)

CCTHCV_2021_v21n7_144_t0002.png 이미지

2. 심리상담 에이전트의 목소리 유형별 선택 이유

48명의 연구 참가자들은 4개의 에이전트 목소리 유형 중 특정 1개를 선택한 후, 그 이유를 자유롭게 기술하도록 요청받았다. 목소리를 선택한 이유로 가장 많이 언급된 것은 ‘편안함’(“가장 편안하다고 느껴졌습니다.”) 으로, 48명의 참가자 중 17명(35.4%)이 기술하였으며, 모든 목소리 유형에서 고르게 나타났다. 이 외에도 ‘안정감’(6명), ‘차분함’(5명), ‘익숙함’(5명) 등이 자주 언급되었다. 심리상담 에이전트의 목소리 유형별 선택 이유는 [표 3]에 제시하였다.

표 3. 목소리 유형별 선택 이유 (N=48)

CCTHCV_2021_v21n7_144_t0003.png 이미지

주. 선택이유의 상세내용 중, ( ) 안 숫자는 해당 내용을 언급한 횟수임.

3. 심리상담 에이전트와의 상담 후 사용자의 기분 변화

심리상담 에이전트와 상담 후, 사용자들이 통계적으로 유의미한 기분 변화(사전-사후 기분온도계 변화)를 보이는지 확인하기 위하여 Kruskal-Wallis H 검정과 Wilcoxon signed-rank 검정을 실시하였다. 우선, 4개의 목소리 유형 집단별로 나타나는 기분 변화의 동질성을 확인하기 위하여 Kruskal-Wallis H 검정을 진행하였다. 그 결과, 기분 변화 점수에 있어서 목소리 유형 간에 통계적으로 유의미한 차이가 나타나지 않았다 (H=1.470, ns). 이에 목소리 유형을 구분하지 않고 전체 참가자 48명을 대상으로 사전-사후 기분온도계의 차이가 유의미한지를 확인하고자 Wilcoxon signed-rank 검정을 실시하였다. 분석 결과, 사용자들의 사후 기분온도계 점수가 통계적으로 유의미하게 상승한 것으로 나타났다(Z=-5.260, p<.001). 따라서 심리상담 에이전트와의 상담을 통해 사용자들의 기분이 유의미하게 좋아졌음을 확인하였다. Wilcoxon signed-rank 검정 결과는 [표 4]에 제시하였다.

표 4. 심리상담 에이전트와의 상담 후 사용자의 사전-사후 기분 변화 (N=48)

CCTHCV_2021_v21n7_144_t0004.png 이미지

***p<.001

4. 심리상담 에이전트 특성에 대한 사용자의 지각이 상담성과에 미치는 영향

4.1. 주요변인들의 상관분석 결과

회귀분석에 앞서, 주요변인들 간의 관계를 파악하기 위하여 상관분석을 실시하였다. 분석 결과, 상담 회기평가의 ‘각성’ 변인을 제외한 대부분의 변인들이 서로 정적인 상관을 보이는 것으로 나타났다. 상담회기평가의 ‘각성’은 상담자 특성 중 ‘호감’(r=-.38, p<.01), 전반적 상담 만족도(r=-.34, p<.05), 상담회기평가의 ‘순조로움’(r=-.40, p<.01) 및 ‘긍정적 정서’(r=-.44, p<.01)와부적으로 유의미한 상관을 나타냈다. 변인들의 기술통계 및 상관분석 결과는 [표 5]에 제시하였다.

표 5. 주요변인 기술통계 및 상관관계 (N=48)

CCTHCV_2021_v21n7_144_t0005.png 이미지

* p<.05, **p<.01

4.2. 위계적 회귀분석 결과

목소리 유형을 통제한 후, 사용자가 지각한 심리상담에이전트의 특성이 상담성과에 미치는 영향을 살펴보기 위하여 위계적 회귀분석을 실시하였다. 예측변인은 1단계에서 목소리 유형을 더미변수(기준변수: 청년 여성)로 처리하여 투입하였고, 2단계에서는 3개의 상담자 특성 변인인 ‘호감’, ‘전문성’, ‘신뢰성’을 투입하였다. 종속 변인은 전반적 상담성과를 측정하는 변인으로서 ‘도움받은 정도’와 ‘전반적 만족도’를 살펴보았고, 상담회기의 즉시적 효과를 측정하는 변인으로서 상담시간 자체에 대한 평가(‘깊이’, ‘순조로움’)와 상담 직후 사용자의 정서에 대한 평가(‘긍정적 정서’, ‘각성’)를 살펴보았다. 분석에 앞서, 예측변인들 간의 다중공선성을 진단한 결과, 모든 모형에서 공차한계는 0.1 이상이었으며, 분산팽창계수(VIF)는 10보다 작은 1.24~2.19의 값으로 나타나 다중공선성의 문제가 없음을 확인하였다.

전반적 상담성과 변인으로서 ‘도움받은 정도’ 및 ‘전반적 만족도’에 대한 위계적 회귀분석 결과는 [표 6] 에제시하였다. ‘도움받은 정도’와 ‘전반적 만족도’ 모두, 모형 1에서는 목소리 유형이 해당 종속변인을 통계적으로 유의미하게 예측하지 않는 것으로 나타났다. 모형 2 에서 3개의 상담자 특성을 투입한 결과, ‘도움받은 정도’ 및 ‘전반적 만족도’에서 모형의 설명력은 각각 25.3%, 39.9% 증가하였고, 상담자 특성 중, ‘전문성’ 이해당 종속변인을 통계적으로 유의미하게 예측하는 것으로 나타났다(‘도움받은 정도’: β=.53, p<.01, ‘전반적 만족도’: β=.47, p<.01).

상담회기의 즉시적 효과를 확인하기 위한 변인으로서 상담시간 자체에 대한 평가(‘깊이’, ‘순조로움’)를 종속 변인으로 설정한 회귀분석 결과는 [표 7]에 제시하였다. 목소리 유형을 통제한 후, 모형 2에서 상담자 특성을 예측변인으로 투입했을 때, ‘깊이’와 ‘순조로움’에 대하여 모형의 설명력이 각각 54.0%, 23.8%로 증가하였다. 상담자 특성 중, ‘전문성’은 상담시간의 ‘깊이’를 유의미하게 예측하였고(β=.67, p<.001), ‘호감’은 상담 시간의 ‘순조로움’을 유의미하게 예측하였다(β=.38, p<.05).

표 6. 에이전트 특성에 대한 사용자의 지각이 전반적 상담 성과에 미치는 영향 (N=48)

CCTHCV_2021_v21n7_144_t0006.png 이미지

**p<.01, ***p<.001 reference group: 청년여성

표 7. 에이전트 특성에 대한 사용자의 지각이 상담시간 자체에 대한 평가에 미치는 영향 (N=48)

CCTHCV_2021_v21n7_144_t0007.png 이미지

* p<.05, **p<.01, ***p<.001 reference group: 청년여성

상담회기의 즉시적 효과 중, 상담 직후 사용자의 정서 평가(‘긍정적 정서’, ‘각성’)를 종속변인으로 하는 회귀분석 결과는 [표 8]에 제시하였다. 모형 1에서 통제변수로 목소리 유형을 투입하고, 모형 2에서 3개의 상담자 특성을 투입한 결과, ‘긍정적 정서’ 및 ‘각성’에 대한모형의 설명력은 40.9%, 17.1% 증가하였다. 상담자 특성 중, ‘전문성’은 상담 직후 사용자의 ‘긍정적 정서’에 유의미한 영향을 미치는 것으로 나타났다(β=.42, p<.01). 한편, ‘호감’의 상담자 특성은 사용자의 ‘각성’ 정서를 부적으로 유의미하게 예측하는 것으로 나타나 (β=-.45, p<.01), 상담자에게 호감을 느낄수록 상담 직후에 사용자 스스로 자신의 정서가 덜 각성되었다고 지각함을 확인하였다.

표 8. 에이전트 특성에 대한 사용자의 지각이 상담 직후 사용자의 정서 평가에 미치는 영향 (N=48)

CCTHCV_2021_v21n7_144_t0008.png 이미지

p<.05, **p<.01, ***p<.001 reference group: 청년여성

IV. 결론 및 제언

본 연구는 음성 기반 심리상담 에이전트의 특성에 대한 선호와 지각, 상담성과에 대한 사용자의 평가를 살펴봄으로써 상담 에이전트의 활용 가능성을 탐색하는데 목적이 있다. 이를 위하여 연구 참여자들이 선호하는 심리상담 에이전트의 성별 및 연령을 확인하였고, 실제 상담 후의 기분변화 정도, 상담자로서 에이전트의 특성에 대한 사용자의 지각이 상담성과에 미치는 영향을 분석하였다. 주요 결과를 정리하면 다음과 같다.

첫째, 사용자의 성별에 따라 선택하는 목소리의 유형은 통계적으로 유의미한 차이가 나타나지 않았으며, 사용자들은 주로 편안하게 들리기 때문에 해당 목소리를 선택했다고 보고하였다. 본 연구의 참여자들은 20~30 세의 청년층으로, 연령대는 비교적 유사하였으며, 남녀가 고른 분포로 나타났다. 이에 사용자의 성별이 에이전트의 성별이나 연령대 선택에 영향을 미치는지 살펴보았으나, 통계적 유의성을 확인하지 못하였다. 이는 연령이나 성별과 같은 사용자의 개인적 특성에 따라 선호하는 에이전트의 특성이 달라질 수 있다고 제안한 일부 선행연구와는 다른 결과이다[13-15][17][18][33]. 목소리 선택 이유에 대한 서술형 응답 결과를 함께 고려할 때, 본 연구의 참여자들은 자신의 개인적 특성에 대한고려보다는 에이전트의 목소리에서 느껴지는 편안한 분위기에 더 주목한 것으로 보인다. 실제로 4개의 목소리 유형별 선택 이유에서 가장 많이 언급된 것은 모두 ‘편안함’이었으며, 이와 유사한 ‘안정감’, ‘차분함’, ‘익숙함’ 등이 자주 언급되었다. 이러한 목소리의 특성은 라포를 형성하고, 상담 관계를 촉진하는 데 도움이 된다. 따라서 연구 참여자들은 상담자로서의 역할을 수행하기에 가장 적절한 목소리를 탐색했던 것으로 사료된다. 선행 연구에서도 사용자들이 에이전트를 선택할 때, 해당 에이전트가 수행할 과업에 대한 고려를 하는 것으로 나타났는데[19-21], 본 연구의 참여자들도 자신과 에이전트 간 상호작용의 주목적이 심리상담이라는 점을 주요하게 생각한 것으로 보인다.

둘째, 심리상담 에이전트와의 상담 후, 사용자들의 실제 기분 변화를 살펴본 결과, 통계적으로 유의미한 기분 개선이 나타났다. 이미 해외에서 진행된 많은 연구는 에이전트를 활용한 정신건강 서비스가 사용자들에게 긍정적 효과가 있음을 보고하였다[2-6]. 본 연구에서 나타난 사용자들의 기분 개선 결과도 이러한 선행연구와 일치하는 것으로서, 에이전트와의 상담이 실제적 효과가 있음을 확인하였다.

셋째, 에이전트의 특성에 대한 지각이 상담성과에 미치는 영향을 살펴본 결과, 상담자로서의 전문성을 높게 지각할수록 전반적 상담성과가 좋고, 상담시간을 깊이 있고 가치 있다고 평가하였으며, 상담 직후 긍정적 정서를 더 많이 경험하는 것으로 나타났다. 또한 에이전트에게 호감을 느낄수록 상담시간이 편안하고 순조롭게 진행되었다고 평가하고, 상담 직후 각성의 정도가 낮은 것으로 밝혀졌다. 반면, 에이전트에 대한 신뢰 정도는 전반적인 상담성과나 즉시적 상담회기평가에 영향을 미치지 않는 것으로 나타났다. 종합하면, 사용자가 심리상담 에이전트에 대해 지각하는 전문성과 호감이 상담의 성과를 긍정적으로 평가하는 데 중요한 요소임이 확인되었다. 일부 연구에서는 사용자가 에이전트에게 느끼는 유대감이나 신뢰감, 전문성이 모두 중요한 요소로 언급되었는데[32][33], 본 연구에서는 신뢰성이 유의미한 특성으로 나타나지 않았다. 이와 관련하여, 심리상담 에이전트와의 상호작용에 대한 선행연구들을보면, 내담자들은 상담 에이전트가 기계이기 때문에 거짓말하지 않을 것이며, 자기개방이 더 수월하다고 생각하기 때문에, 개인적인 정보를 공개하기에 더 효과적인 것으로 나타난 바 있다[41][42]. 이러한 맥락에서 본 연구 결과를 해석하면, 사용자들은 이미 비밀보장의 측면에서 상담 에이전트가 신뢰할만하다고 생각하기 때문에, 상대적으로 전문적 능력이나 호감을 더 중요한 특성으로 인식했을 가능성이 있다.

위와 같은 주요 결과를 바탕으로 본 연구의 의의 및 시사점을 제시하면 다음과 같다.

첫째, 음성 기반 심리상담 에이전트의 개입 효과를 확인하여, 활용 가능성을 탐색한 국내 사례로서 의미 있다고 하겠다. 본 연구에서는 가벼운 우울이나 불안을 호소하는 사용자들을 대상으로 음성으로 구현되는 대화 에이전트가 상담자 역할을 수행하였고, 1회기의 상담을 진행하여 기분 개선의 효과를 거두었다. 현재 대화형 에이전트는 문자 입력을 통해 대화하는 텍스트 기반 에이전트에서 목소리를 활용한 음성 기반 에이전트와 의인화된 아바타를 사용하는 체화된 대화형 에이전트(Embodied Conversational Agent)로 발전하고 있다. 목소리나 아바타를 활용하는 에이전트 모두 사용자와의 상호작용은 음성을 통하여 이루어지기 때문에, 음성 기반 에이전트의 개입효과를 확인하는 작업은 매우 중요하다. 본 연구결과는 이러한 확인 작업의 사례 및 근거자료로써 활용 가치가 있을 것이다.

둘째, 사용자의 입장에서 상담성과에 영향을 미치는 에이전트의 특성을 구체화하였다. 상담 대화는 일상생활의 대화와 달리, 사용자의 심리건강 문제를 해결하기 위해 진행되는 특수한 대화이다. 따라서 사용자의 관점에서 자신과 상호작용하는 에이전트가 상담자로서 어떻게 지각되는지, 그러한 내용이 실제 상담성과와 어떤 관계를 갖는지 확인할 필요가 있다. 본 연구에서는 에이전트에 대해 상담자로서의 신뢰성보다는 전문성과 호감을 느끼는 것이 상담성과를 높이는 데 더 많이 기여하는 것으로 나타났다. 특히, 사용자가 상담에 대해 전반적으로 만족하고 도움을 받았다고 평가하는 데에는 무엇보다도 에이전트의 전문적 능력에 대한 믿음이 중요하였다. 또한 에이전트에게 호감을 느낄수록 상담이 편안하고 불필요한 각성과 긴장이 줄어든다고 보고하였는데, 이는 라포 형성과 치료 동맹에 중요한 단서가 될 수 있다. 따라서 이와 같은 연구결과는 향후 심리상담 에이전트 설계 시, 중요한 기초자료로 참고하는데 유용할 것이다.

셋째, 심리상담을 수행하는 음성 기반 에이전트의 목소리 선호에 대한 개괄적인 내용을 탐색하였다. 선행연구들은 음성을 기반으로 하는 에이전트의 경우, 목소리 특성을 매우 중요한 요소로 제안해왔다. 이에 에이전트 목소리의 성별이나 연령 등과 같은 변인에 관심이 높았다. 국내 연구에서는 사용자와 비슷한 연령이거나 연상에 대한 선호가 나타나기도 했고[21], 국외 연구에서는 젊거나 비슷한 연령대에 대한 선호가 확인되기도 했다 [33]. 성별 관련해서는 사용자의 성별과 동일한 성별에 대한 선호나[17][18] 여성에 대한 선호[13][21], 남성에 대한 선호[16] 등 복잡한 결과들이 제시되고 있다. 그러나 본 연구에서는 특정 성별이나 연령에 대한 선호가 없었고, 목소리의 유형이 상담의 성과에 영향을 미치지도 않는 것으로 나타났다. 즉, 심리상담이라는 목적을 가진 음성 기반 에이전트의 경우에는 성별이나 연령과 같은 목소리의 외적 특성보다는 ‘펀안함’과 ‘전문성’, ‘호감’ 등과 같은 목소리에 대한 종합적인 인상이 더 중요한 변인으로 확인되었다. 이러한 결과는 심리상담에 최적화된 에이전트의 목소리를 구현하는 데 참고자료가 될 것이다.

끝으로 본 연구의 한계 및 후속 연구를 위한 제언을 하면 다음과 같다.

첫째, 본 연구 참여자들은 상담자로서 에이전트의 목소리를 선택할 때, 편안함을 가장 중요한 이유로 꼽았다. 또한 에이전트를 전문적이고 호감 있다고 느낄 수록 상담 성과도 높은 것으로 나타났다. 그러나 연구에서 수집한 자료만으로는 에이전트 음성의 어떤 요소가 사용자에게 편안한 목소리로 들리는 데 기여하는지, 전문적이고 호감 있는 상담자로서 지각하는 데 영향을 미치는 요인은 무엇인지 등에 대한 분석을 하기에는 한계가 있었다. 따라서 추후 연구에서는 음성을 구성하는 요소나 에이전트에 대한 인상을 구성하는 요소들을 세분화하여 구분하고, 각각의 개별적인 영향력을 파악할 필요가 있을 것이다.

둘째, 본 연구는 코로나-19 팬데믹으로 인하여 연구참여자를 모집하는 데 상당한 제약이 있었고, 충분한 사례 수를 확보하는 데 어려움이 따랐다. 이에 추후 연구에서는 더 많은 연구대상자를 모집할 수 있는 실험환경을 만들어, 본 연구결과를 일반화하기 위한 재검토과정이 보완되어야 할 것으로 사료된다. 또한 사용자의 성별이나 연령과 같은 인구사회학적 변인에 따라 선호하는 에이전트의 특성이 달라진다는 선행연구를 고려할 때, 다양한 연령층을 대상으로 하는 연구가 추가되어야 할 것으로 보인다.

끝으로 본 연구에서는 기분의 변화나 상담의 성과, 에이전트의 특성을 모두 자기보고식 방법에 의하여 측정하였다. 자기보고식 측정은 연구 참여자의 주관적 지각의 내용을 살펴본다는 면에서 의미가 있다. 그러나 다양한 자료의 획득을 위해서는 자기보고식 측정 외에도 개입의 효과나 상담 성과에 대한 전문가 평정 등과 같은 방법이 추가될 필요가 있을 것이다.

References

  1. J. Kim, S. Y. Park, and L. Robert, "Conversational Agents for Health and Wellbeing: Review and Future Agendas," In Proceedings of the 22nd ACM conference on computer supported cooperative work and social computing, 2019.
  2. K. K. Fitzpatrick, A. Darcy, and M. Vierhile, "Delivering cognitive behavior therapy to young adults with symptoms of depression and anxiety using a fully automated conversational agent (Woebot): a randomized controlled trial," JMIR Mental Health, Vol.4, No.2, pp.1-17, 2017.
  3. K. H. Ly, A. M. Ly, and G. Andersson, "A fully automated conversational agent for promoting mental well-being: A pilot RCT using mixed methods," Internet Interventions, Vol.10, pp.39-46, 2017. https://doi.org/10.1016/j.invent.2017.10.002
  4. R. Fulmer, A. Joerin, B. Gentile, L. Lakerink, and M. Rauws, "Using psychological artificial intelligence (Tess) to relieve symptoms of depression and anxiety: Randomized controlled trial," JMIR Mental Health, Vol.5, No.4, e64, 2018. https://doi.org/10.2196/mental.9782
  5. T. Bird, W. Mansell, J. Wright, H. Gaffney, and S. Tai, "Manage your life online: A web-based randomized controlled trial evaluating the effectiveness of a problem-solving intervention in a student sample," Behavioural and Cognitive Psychotherapy, Vol.46, No.5, pp.570-582, 2018. https://doi.org/10.1017/s1352465817000820
  6. P. M. Gardiner, K. D. McCue, L. M. Negash, T. Cheng, L. F. White, L. Yinusa-Nyahkoon, B. W. Jack, and T. W. Bickmore, "Engaging women with an embodied conversational agent to deliver mindfulness and lifestyle recommendations: A feasibility randomized control trial," Patient Education and Counseling, Vol.100, No.9, pp.1720-1729, 2017. https://doi.org/10.1016/j.pec.2017.04.015
  7. A. V. Prakash and S. Das, "Intelligent Conversational Agents in Mental Healthcare Services: A Thematic Analysis of User Perceptions," Pacific Asia Journal of the Association for Information Systems, Vol.12, No.2, Article 1, 2020.
  8. R. Amini, Learning data-driven models of non-verbal behaviors for building rapport using an intelligent virtual agent (Doctoral dissertation), Florida International University, 2015.
  9. J. Fink, "Anthropomorphism and human likeness in the design of robots and human-robot interaction," Social Robotics, pp.199-208, 2012.
  10. M. Barata, A. G. Salman, I. Faahakhododo, and B. Kanigoro, "Android based voice assistant for blind people," Library Hi Tech News, Vol.35, No.6, pp.9-11, 2018.
  11. F. Masina, V. Orso, P. Pluchino, G. Dainese, S. Volpato, C. Nelini, M. Daniela, S. Anna, and G. Luciano, "Investigating the accessibility of voice assistants with impaired users: mixed methods study," Journal of Medical Internet Research, Vol.22, No.9, e18431, 2020. https://doi.org/10.2196/18431
  12. C. Berube, T. Schachner, R. Keller, E. Fleisch, F. Wangenheim, F. Barata, and T. Kowatsch, "Voice-based conversational agents for the prevention and management of chronic and mental health conditions: Systematic literature review," Journal of Medical Internet Research, Vol.23, No.3, e25933, 2021. https://doi.org/10.2196/25933
  13. B. Alsharbi and D. Richards, "Using virtual reality technology to improve reality for young people with chronic health conditions," In Proceedings of the 9th international conference on computer and automation engineering, pp.11-15, 2017.
  14. Y. H. Lee, M. Xiao, and R. H. Wells, "The effects of avatars' age on older adults' self-disclosure and trust," Cyberpsychology, Behavior, and Social Networking, Vol.21, No.3, pp.173-178, 2018. https://doi.org/10.1089/cyber.2017.0451
  15. R. B. Rosenberg-Kima, A. L. Baylor, E. A. Plant, and C. E. Doerr, "Interface agents as social models for female students: The effects of agent visual presence and appearance on female students' attitudes and beliefs," Computers in Human Behavior, Vol.24, No.6, pp.2741-2756, 2008. https://doi.org/10.1016/j.chb.2008.03.017
  16. Y. Kim, A. L. Baylor, and G. Reed, "The impact of image and voice of pedagogical agents," In E-learn 2003 world conference on e-learning in corporate, government, healthcare, and higher education, pp.2237-2240, 2003.
  17. J. N. Bailenson, J. Blascovich, and R. E. Guadagno, "Self-representations in immersive virtual environments," Journal of Applied Social Psychology, Vol.38, No.11, pp.2673-2690, 2008. https://doi.org/10.1111/j.1559-1816.2008.00409.x
  18. R. Guadagno, J. Blascovich, J. Bailenson, and C. McCall, "Virtual humans and persuasion: The effects of agency and behavioral realism," Media Psychology, Vol.10, pp.1-22, 2007.
  19. J. Forlizzi, J. Zimmerman, V. Mancuso, and S. Kwak, "How interface agents affect interaction between humans and computers," In Proceedings of the 2007 Conference on Designing Pleasurable Products and Interfaces, pp.209-221, 2007.
  20. J. Zimmerman, E. Ayoob, J. Forlizzi, and M. McQuaid, "Putting a face on embodied interface agents," In Designing pleasurable products and interfaces conference proceedings, pp.233-248, 2005.
  21. 강민정, "사용목적에 따라 선호하는 챗봇의 성격에 관한 연구," 한국콘텐츠학회논문지, 제18권, 제5호, pp.319-329, 2018. https://doi.org/10.5392/JKCA.2018.18.05.319
  22. 김영근, "치료적 요인으로서의 상담자 요인에 대한 내담자의 인식 차원," 한국심리학회지: 상담 및 심리치료, 제25권, 제2호, pp.203-226, 2013.
  23. 홍경란, 대학생이 선호하는 상담자 유형에 관한 연구: 상담자의 성과 전문성을 중심으로, 동아대학교, 석사학위논문. 1992.
  24. 왕은자, 유정이, 김선경, "국내 개인상담 성과의 측정 및 평가에 대한 분석: 학술지 <상담학연구>와 <한국심리학회지: 상담 및 심리치료>를 중심으로," 상담학연구, 제19권, 제5호, pp.1-23, 2018. https://doi.org/10.15703/KJC.19.5.201810.1
  25. W. B. Stiles and J. S. Snow, "Counseling session impact as viewed by novice counselors and their clients," Journal of Counseling Psychology, Vol.31, No.1, pp.3-12, 1984. https://doi.org/10.1037//0022-0167.31.1.3
  26. T. W. Bickmore, K. Puskar, E. A. Schlenk, L, M. Pfeifer, and S. M. Sereika, "Maintaining reality: relational agents for antipsychotic medication adherence," Interacting with Computers, Vol.22, No.4, pp.276-288, 2010. https://doi.org/10.1016/j.intcom.2010.02.001
  27. P. Philip, J. Micoulaud-Franchi, P. Sagaspe, E. De Sevin, J. Olive, S. Bioulac, and A. Sauteraud, "Virtual human as a new diagnostic tool, a proof of concept study in the field of major depressive disorders," Scientific Reports, Vol.7, No.1, pp.1-7, 2017. https://doi.org/10.1038/s41598-016-0028-x
  28. H. Ahn and B. E. Wampold, "Where oh where are the specific ingredients? A meta-analysis of compoment studies in counseling and psychotherapy," Journal of Counseling Psychology, Vol.48, No.3, pp.251-257, 2001. https://doi.org/10.1037/0022-0167.48.3.251
  29. A. Barak and M. B. LaCrosse, "Multidimensional perception of counselor behavior," Journal of Counseling Psychology, Vol.22, No.6, pp.471-476, 1975. https://doi.org/10.1037//0022-0167.22.6.471
  30. J. A. Carter, "Impression of counselor as a function of counselor physical attractiveness," Journal of Counseling Psychology, Vol.25, No.1, pp.28-34, 1978. https://doi.org/10.1037/0022-0167.25.1.28
  31. S. R. Strong, "Counseling: An interpersonal influence process," Journal of Counseling Psychology, Vol.15, No.3, pp.215-224, 1968. https://doi.org/10.1037/h0020229
  32. D. D. Luxton, "Artificial intelligence in psychological practice: Current and future applications and implications," Professional Psychology: Research and Practice, Vol.45, No.5, pp.332-339, 2014. https://doi.org/10.1037/a0034559
  33. S. Stal, M. Tabak, H. Akker, T. Beinema, and H. Hermens, "Who do you prefer? The effect of age, gender and role on users' first impressions of embodied conversational agents in eHealth," International Journal of Human-Computer Interaction, Vol.36, No.9, pp.881-892, 2020. https://doi.org/10.1080/10447318.2019.1699744
  34. E. Bendig, B. Erb, L. Schulze-Thuesing, and H. Baumeister, "Next generation: Chatbots in clinical psychology and psychotherapy to foster mental health-A scoping review," Verhaltenstherapie, Vol.29, No.4, pp.266-280, 2019. https://doi.org/10.1159/000499492
  35. 안제용, 서은란, 임경희, 신재현, 김정범, "한국어판 우울증 선별도구(Patient Health Questionnaire-9, PHQ-9) 의 표준화 연구," 생물치료정신의학, 제19권, 제1호, pp.47-56, 2013.
  36. 오경희, 초기 상담에서 상담자의 반응의도 전달이 내담자의 의도지각 및 상담의 효율성 평가에 미치는 영향, 서울대학교, 석사학위논문, 1986.
  37. J. D. Corrigan and L. D. Schmidt, "Development and validation of revisions in the Counselor Rating Form," Journal of Counseling Psychology, Vol.30, No.1, pp.64-75, 1983. https://doi.org/10.1037/0022-0167.30.1.64
  38. 정남운, 상담과정에서의 대인관계적 상보성과 상담성과, 서울대학교, 박사학위논문, 1998.
  39. W. B. Stiles, Use of the session evaluation questionnaire, Manuscript, Miami University, 1989.
  40. 이상희, 김계현, "상담회기 평가질문지의 타당화 연구," 한국심리학회지: 상담 및 심리치료, 제5권, 제1호, pp.30-47, 1993.
  41. 이지원, 양현정, 김지근, "상담 챗봇 구현을 위한 시나리오 개발 및 유용성 검증," 한국콘텐츠학회논문지, 제19권, 제4호, pp.12-29, 2019. https://doi.org/10.5392/JKCA.2019.19.04.012
  42. G. M. Lucas, J. Gratch, A. King, and L. P. Morency, "It's only a computer: Virtual humans increase willingness to disclose," Computers in Human Behavior, Vol.37, pp.94-100, 2014. https://doi.org/10.1016/j.chb.2014.04.043