1. Introduction
지능화된 AI 기술이 탑재된 로봇과 머신러닝 등이 서비스기업에서 업무수행의 용이성과 효율성 그리고 고객만족을 위해 도입되고 있다. 특히 코로나 19로 인한 방역지침의 일환으로 사회적 거리 두기(social distancing) 등 사람들과의 접촉을 제한하는 정책과 분위기는 기술 및 장치의 개입에 의해 서비스가 제공되는 방식 선호를 더욱 부채질하고 있다. 이러한 방식은 고객입장에서는 위생과 안전이라는 측면에서, 서비스제공자에게는 효율성과 비용절감 가능성 그리고 서비스를 표준화할 수 있다는 점 등으로 인해 모두에게 장점이 될 수 있다(Kwon, 2020).
최근 도입되고 있는 챗봇서비스는 셀프서비스 촉진의 일환으로 채택되기 시작되었다(Kumar & Balaramachandran, 2018). 챗봇(Chatbot)은 Chatterobot의 약자이며, 누구하고나 언어로 대화할 수 있는 컴퓨터 프로그램이다(Min et al., 2017). 인공지능 챗봇(AI Chatbot)은 머신러닝, 자연어 처리, 자동화된 규칙에 의해 컴퓨터와 대화하는 것처럼 느끼는 프로그램이라고 할 수 있다. 챗봇과 같은 서비스 로봇은 낮은 수준의 서비스를 수행해 낼 수 있을 뿐 아니라 서비스업무 종사자와 협업으로 높은 수준의 서비스 제공은 물론 서비스업무가 원활히 이루어지도록 하는데 일조할 수 있으며(Witz & Lovelock, 2016), AI 및 Deep Thought, 머신러닝 등으로 높은 수준의 전문적 서비스제공도 가능하게 되고 있다. 즉, 사람이 제공하던 서비스의 상당부분을 대행해 낼 수 있는 수준에 이르고 있다.
아직은 섣부른 감이 있지만 최근 대부분의 국가와 산업 특히 서비스산업을 어렵게 만든 코로나 19가 관리 가능한 수준으로 접어들고 있다. 그러나 이러한 질병에 기한 재난에 가까운 상황은 언제라도 다시 나타날 수 있으며, 특히 코로나 19에 대처하고자 했던 일련의 조치들로 인한 후유증은 앞으로도 장기간에 걸쳐 영향을 미칠 것으로 예상되고 있다.
서비스기업들에게 가장 크게 영향을 미친 조치 중의 하나는 사회적 거리 두기(social distancing)이다(John & Thakur, 2021). 사회적 거리 두기는 서비스 제공자와 고객 간에는 물론 고객들 사이에서도 적용되며 사람간의 접촉을 꺼리게 만드는 상황으로 이어지고 있다. 고객에게 직접적으로 서비스를 제공해야 하는 식당이나 항공운송업 등에게는 매우 어려운 과제로 남게 된다. 그것은 사회적 거리 두기와 같은 제약이 식당이나 항공운송업 등과 같은 서비스기업에게 핵심서비스 제공 기회를 심각하게 제한할 수 있기 때문이다.
많은 학자들은 코로나 19로 인하여 촉발되었던 일련의 조치들 그리고 그러한 조치들로 인한 상황들에 익숙해진 소비자들의 요구, 태도, 성향, 의사결정 등은 상당 기간 지속될 것이라 보고 있다(John & Thakur, 2021). 이러한 상황에서 서비스기업이 하여야 할 일, 할 수 있는 일은 경쟁력 강화를 위한 노력이며, 원가절감, 서비스경쟁력 강화가 대표적 과제가 될 것이다. 이미 언급한 바와 같이 원가절감 방법의 하나가 챗봇서비스 채택 및 운영이며 이러한 노력은 핵심서비스 평가에도 긍정적으로 작용할 수 있을 것이라 예상할 수 있다(Kim, 2017).
코로나 19 이후 비대면이 일상화되면서 대부분의 산업들에서 챗봇서비스가 도입되고 활성화 추세를 보이고 있으나(Chatbot Report, 2019), 상당수의 고객들은 복잡한 상담을 위해서는 상담사와의 상담을 선호하거나 상담사가 더 친절하고 인간적이라는 견해를 나타내고 있다(Park, 2020). 이에 따라 챗봇서비스 방식 점검 등 활성화 방안에 대한 점검이 필요하다는 의견이 제시되고 있다. 챗봇서비스는 기술을 동반한 서비스혁신이라고 할 수 있고, 이러한 혁신적 서비스 변화를 받아들이는 데에는 개인마다 차이가 있게 마련이다. 이러한 차이를 낳는 요인들에는 여러 가지가 있겠으나 대표적인 것이 혁신저항 및 지각된 혁신성, 조절초점(regulatory focus), 해석수준(construal level) 등 고객특성에 따른 성향(tendency) 차이이다. 따라서 챗봇서비스와 같은 혁신적 서비스가 제공되더라도 이를 수용할지 여부에 개인의 특성이 영향을 미칠지 여부를 확인하는 것이 필요하다.
챗봇서비스 관련 연구 역시 상당 부분 수행되어 왔다. 기본적으로 챗봇서비스 역시 기술을 기반으로 한 서비스라는 점에서 기술수용 관련 가장 설명력이 높다고 알려진 기술수용모델을 적용한 연구들이 있고(Kim & Kim, 2019; Min, et al., 2017), 사용자 경험 기반 영향요인 연구(Lee & Kim, 2017), 챗봇의 품질, 인지능력 혹은 설계 등 기술적 접근 연구 그리고 금융업 등 산업별 연구 등이 수행되어 왔으나, 챗봇서비스를 이용하고자 하는 의도와 회피하고자 하는 동기, 그리고 각각의 경우에 대한 영향요인들에 대한 체계적 분석, 개인특성 관련 요인들의 포괄적 분석 그리고 이러한 부가적/보충적 서비스가 핵심서비스에 미치는 영향에 대한 검증 관련 연구는 부족한 편이다.
본 연구에서는 서비스기업의 챗봇서비스에 대한 고객의 수용의도에 대해 분석해 보고자 한다. 분석에는 이용의도에 대한 주요한 영향요인인 챗봇서비스 가치에 대한 인식이 반영될 수 있도록 하는 가치기반수용모델을 적용하고자 하며, 여기에 개별 고객의 특성요인 중 성향차이 그리고 사회적 영향 여부를 분석해 보고자 하는 동시에, 챗봇서비스가 부가적/보충적 서비스로서 서비스기업의 핵심서비스에 대한 고객의 평가에 영향을 미치는지 여부에 대해서 살펴보고자 한다.
2. Theological Background
2.1. 서두
본 연구는 챗봇서비스 수용의도에 대한 분석이다. 챗봇서비스의 가치인식을 중심으로 접근해 보고자 하며, 챗봇서비스와 같은 혁신적 서비스에 대한 수용여부에는 개인특성이 크게 작용하기 마련일 터이므로 개인의 혁신성, 혁신저항, 조절초점, 해석수준이 반영된 분석을 수행하고자 한다. 다음은 각 개념에 대한 설명이다.
2.2. 챗봇
2.2.1. 챗봇의 정의
챗봇은 사람과 대화(chat)하는 로봇을 말한다. 챗봇은 크게 사람과 간단한 대화를 할 수 있는 말 그대로의 챗봇과 AI기반 챗봇으로 구분할 수 있다. AI챗봇은 이전의 온라인 상 등장하였던 아바타와 다르며 정보기능 차원에서 SST와도 다르다(Chen, et al., 2022). AI챗봇은 의인화된 개체이지만 정보축적 능력, 계산능력, 학습능력에서는 인간을 능가한다. 물론 감성적 측면에서는 인간적인 면에서 미흡하다고 할 수 있다(Gray et al., 2007). 우선 챗봇을 종류별로 구분해 보자면 다음 표 1과 같이 정리해 볼 수 있다.
Table 1: Types of Chatbot
Note: Lee & Kim (2017).
챗봇의 활용을 단계별로 정리해 보자면, 우선 단순 응대분야에서의 활용을 들 수 있으며, 이 경우 도입이 수월하고 지속적인 기술 발전 가능, 학습 데이터 축적을 통한 서비스확대 가능성이 열려있다(Suh & Yoon, 2019). 다음 단계는 전자상거래 영역에서 활용으로 고객이 원하는 제품 추천, 최저가 제품 및 최적제품을 찾아주는 큐레이터 기능을 위주로 하는 경우이다. 세 번째는 엔터테인먼트 기능 위주의 활용을 목적으로 하는 단계이다. 인간의 감성적 측면이 반영되도록 노력하며 사용자의 관심이나 취향을 파악하여 적절한 이용 및 만족도 제고를 위한 프로그램 탑재를 한 경우이다.
위와 같은 챗봇은 다양한 분야에서 채택되고 활용되고 있으며 그 활용에 대한 정리를 하자면 다음 표 2와 같다.
Table 2: 5 Applications of Chatbot
Note: Kim et al., 2017.
본 연구의 대상은 서비스기업의 부가적 서비스기능을 담당할 수 있는 챗봇에 대한 것이며 AI기반 챗봇을 가리킨다.
2.2.2. 국내 챗봇 서비스 운영 사례
챗봇을 개발하기 위해 사람의 언어를 이해할 수 있는 자연어 처리(NLP)기술과 사용자가 필요로 하는 정보를 찾아주는 텍스트 마이닝(text mining)기술, 그리고 사람의 감정이나 사진 그리고 언어 등을 이해할 수 있는 인지(cognitive)기술 등 다양한 것이 필요하다. 현재 세계적인 IT기업들인 마이크로소프트(MS), 구글, IBM 등 에서 이와 관련된 기술서비스를 제공하고 있으며, 국내기업들도 이와 관련된 기술 개발에 많은 투자를 기울이고 있다.
서비스기업들 역시 챗봇서비스에 힘을 기울이고 있으니, 항공운송업의 경우 단순한 운항정보 등 정보제공 기능위주에서 고객과의 일상적인 대화가 가능하도록 하고 나아가 챗봇 상담서비스를 제공하고 있다(Kim, 2020). 호텔업계와 외식업계에서도 역시 로봇을 포함한 챗봇서비스를 활발하게 활용하고 있다. 또한 의류 패션업계에서는 고객에게 맞는 맞춤형 패션을 챗봇서비스를 통해 권유하고 있으며(Lee, et al., 2022), 의료분야에서도 챗봇서비스를 통한 전문서비스를 제공하고 있다(Chu et al., 2021).
금융권의 경우 2019년 기준 챗봇서비스를 제공하는 국내 금융사는 26개사이며 이중 18개 회사는 인공지능, 8개 회사는 시나리오 기반의 챗봇을 운영 중에 있다(Park, 2020). 금융챗봇 서비스는 계좌잔액조회, 이체확인, 상담, 민원 접수, 업무안내 등의 단순한 기능은 물론 사용자의 금융소비 패턴 분석을 통한 맞춤형 금융상품 추천 등으로 진화하고 있다(Lee et al., 2021).
2.3. 서비스
2.3.1. 서비스 정의
서비스란 관련자에게 혜택이 되는 부가가치적 행동, 행위, 실행을 의미한다(Witz & Lovelock, 2016). 서비스는 또한 다음과 같은 4가지 범주로 나누어 볼 수 있다. 즉, 사람이 수행하는 서비스(people processing service), 소유물 관리/처리 서비스(possession processing service), 정신적 서비스(mental stimulus processing service), 그리고 정보 관련 서비스(information processing service)이다. 각각의 범주를 살펴보자면 다음과 같다.
Table 3: Category of service
Note: Wirtz & Lovelock, 2016.
이러한 구분의 실익은 로봇이나 챗봇 등 인조물이 관련 업무를 사람을 대신하여 대행할 수 있는지 여부를 구별하는데 있다(Catherine & Nguyen, 2021). 그러나 청소로봇의 등장, 로봇에 의한 수술 등 로봇, 챗봇 등 인조물이 대행하는 서비스 영역은 점차 넓어지고 있다는 것은 엄연한 사실이다.
또한, 서비스는 유·무형 및 서비스 대상이 사람인지 유형물인지에 따라 다음과 같이 구분해 볼 수 있다. 유형의 행위가 사람을 대상으로 하는 서비스는 항공운송, 식당내 식사, 관광, 마사지 및 건강관리 행위 등이며, 무형의 행위가 사람을 대상으로 하는 서비스는 교육, 정보서비스, 컨설팅, 법률서비스 등이다. 유형의 행위가 사물을 대상으로 하는 서비스는 배달, 정비수리, 운송 등이다. 무형의 행위가 사물을 대상으로 하는 행위는 은행업무, 보험, 정보보안 업무 등이다. 이러한 구분은 거리두기와 같은 제약이 가해졌을 때 타격을 입는 정도를 구분하는데 필요하다(John & Thakur, 2021).
유형의 행위가 사람을 대상으로 하는 서비스의 경우, 물리적 접촉이 가장 높은 경우 원격처리 기술 등의 개발로도 극복하기 어려운 문제에 봉착할 수밖에 없다.
2.3.2. 챗봇서비스
챗봇서비스는 밀레니엄 M세대와 Z세대 등 신세대가 선호하는 대표적인 서비스로봇으로 국내외 통신, 금융, 쇼핑, 물류 등 다양한 산업분야에서 도입되어 확산일로에 있다. 챗봇서비스를 활용함에 따라 실시간으로 맞춤형 정보 제공이 가능하게 되므로 대기 시간 없이 빠르고 정확한 상담이 진행될 수 있다. 이에 따라 빠르고 복잡하게 진행되는 고객 상담 프로세스가 원활하고 효율적으로 돌아갈 수 있음은 물론 상담사의 고객 응대에 수반되는 스트레스를 줄여줌으로써 상담사의 퇴직률을 감소시킬 수 있다. 전반적으로 업무효율성 증대 및 인건비 절약, 서비스표준화 그리고 고객서비스 품질 향상효과를 도모할 수 있다고 본다.
물론 국내 서비스기업들이 챗봇서비스를 도입하고 있기는 하지만 아직은 적극적으로 이를 내세우고 있지는 않은 상황이다. 고객의 수용여부, 시스템개발에 드는 비용문제, 내부고객의 반응 등 다양한 문제들이 도사리고 있기 때문으로 생각된다. 그러나 이미 언급한 바와 같이 코로나 19의 여파로 인한 거리두기, 비대면 접촉에 대한 익숙함, 경쟁력 강화의 필요성 등은 챗봇서비스와 같은 자동화, 비용절감, 전문성 제고 등을 추구하지 않을 수 없을 것이다.
호텔이나 항공사, 음식점 등 서비스기업의 챗봇서비스 도입은 핵심서비스가 아닌 부수적 서비스로 핵심서비스를 보완하고자 하는 것이다. 즉, 예약과 상담 등의 업무에 투입되는 것이며 핵심서비스인 숙박, 운송, 조리와는 거리가 있는 업무들이다(Lovelock, 1994). 핵심서비스에 대한 고객만족도 제고를 위해 필요한 부수적 업무들이 효율적이고 원활하게 작동되도록 하기 위한 것이다. 그러나 이러한 핵심적 서비스는 아니라 할지라도 서비스기업이 제공하는 각각의 서비스는 전반적으로 고객의 기업에 대한 지각된 가치, 만족도, 재이용의도에 유의미한 영향을 미치는 것으로 조사되고 있다(Lee & Jun, 2016).
2.3.3. 서비스가치
서비스가치란 서비스를 이용하기 위해 지불(투입)한 것 혹은 희생한 것 대비 얻게 되는 효용에 대한 전체적인 평가이다(Zeithaml, 1988). 일반적으로는 가격과 품질 간의 비교(Gale & Wood, 1994), 혜택과 비용의 상쇄관계(Blackwell, et al., 2001)로 표현된다. 이러한 경제적 측면을 위주로 하는 평가의 한계에 대해서 다차원적인 측면의 평가가 필요하다는 의견이 제시되었다(Sweeney & Soutar, 2001). Sweeney and Soutar(2001)은 서비스가치의 하위 요인으로 사회적, 정서적, 기능적 가치 1, 기능적 가치 2로 구분하였다. 기능적 가치 1은 가격대비 가치이고 기능적 가치 2는 가격대비 성과이다(Kim & Lee, 2018). 챗봇서비스의 경우, 고객 입장에서 투입된 비용은 없고 노력과 시간 투자가 대부분이다. 따라서 경제적 측면에서의 가치보다는 정서적 가치 그리고 투입 노력 대비 성과 가치가 챗봇서비스 가치의 중심가치가 될 것이다.
서비스가치는 해당 서비스를 수용함에 따라 기존 방식보다 더 나은 상대적 이점(relative advantage)이 있다고 인식하는 것을 말한다. 챗봇서비스를 활용한다면 기존에 투입해야 했던 노력에 비해 상대적으로 적은 노력을 투입해서 더 나은 성과를 거둘 수 있다는 상대적 이점을 인식한다는 것이다.
2.4. 혁신저항
소비자에게 혁신저항이란 혁신이 가져다 줄 변화에 대한 기대와 함께 불확실성이나 두려움 등의 부정적 예기정서로 인하여 혁신을 수용하지 않으려는 태도를 가리킨다(Bae, 2016). 정보통신기기와 관련한 혁신저항은 사용자가 수용과정에서 겪을 수 있는 자연스런 태도로 변화를 거부하거나 이전상태를 유지하고자 하는 의지라고 본다(Shin & Lee, 2016). 혁신저항은 혁신을 받아들이는 과정에서 나타날 수 있기도 하고, 혁신을 받아들인 이후 이용중단으로 나타날 수도 있다(Bae, 2016).
혁신저항의 예측변인으로는 혁신특성, 소비자특성 그리고 촉진조건의 3가지가 거론된다. 혁신특성은 혁신제품의 기술적 특성에 따라 나타나는 소비자의 인지적 반응으로 상대적 이점, 적합성, 복잡성, 혁신에 대한 기대, 인지된 위험을 포함한다. 소비자특성은 심리적 변인과 인구통계학적 변인이며, 심리적 변인으로는 지각, 동기부여, 가치지향성, 신념, 태도, 이미지, 혁신경험 등이다. 촉진조건은 혁신확산과정에서 관여하는 변인으로 파악되어 제외하는 것이 통상적이다.
혁신저항을 혁신성과 구분하여 보는 시각에서는 혁신저항의 원인으로 불편성과 불안감을 든다. 정보통신기기 사용 관련 사용방법의 어려움과 주기적 업데이트 등 불편함 그리고 정보유출 등 지각된 위험에서 오는 불안감에서 유래하는 요인들이다(Lee, 2017).
2.5. 혁신성
혁신을 채택하는 이유와 저항하는 이유는 다르다(Claudy et al., 2015). 또한 혁신성과 혁신저항은 서로 양단의 끝이 아니다(Lee, 2017). 따라서 개별 개념이 각각 의미가 있다. AI기반 챗봇서비스를 하나의 혁신이라고 볼 때 이를 수용하고자 하는 이유와 이에 대해 저항하고자 하는 이유는 다를 수 있다. 즉, 혁신저항과 혁신성을 모두 고려할 필요가 존재한다.
개인 혁신성(personal innovativeness)이란 다른 사람보다 새로운 지식 혹은 기술을 상대적으로 빨리 수용하는 정도를 가리키며, 모든 개인이 수준차이로 가지고 있는 개인적 특성이다(Hirschman, 1980; Rogers, 2003). 혁신성이 높은 사람은 타인의 조언이나 권유 또는 도움 없이 자발적으로 새로운 아이디어를 수용하고 이를 판단하는 독립적 의사결정을 하며, 지각된 불확실성 하에 자발적 위험감수로 혁신제품과 신기술을 타인보다 먼저 사용하고자 하는 특성을 보인다(Rogers, 2003; Shin, 2014). 정보통신기술 범주 내에서 개인 혁신성은 새로운 정보통신기술에 대해서 기꺼이 살피고 자발적으로 시험해 보고자 하는 경향이라고 정의할 수 있다(Agarwal & Prasad, 1998).
소비자로서 혁신성은 기업이 출시하는 신제품을 수용 및 지속적 이용 여부에 커다란 영향을 미치는 역할을 수행한다. 즉, 혁신성은 신제품 또는 새로운 기술 서비스 확산에 영향을 미치는 초기 수용자의 특성 가운데 대표적 변인이라 할 수 있다(Ryu & Ahn, 2019).
혁신성은 태생적 요인으로, 일관성 있는 개성과 같고 교육 수준, 직업, 주변환경 등과 큰 연관이 있다(Hirschman, 1980). 혁신성을 기술 혁신성과 정보 혁신성으로 구분하기도 한다. 기술혁신성은 ‘모바일 환경에서 다른 구성원보다 새로운 기술을 상대적으로 빨리 수용하는 개인의 정도’를 의미하고, 정보혁신성은 ‘모바일 환경에서 다른 구성원보다 새로운 지식이나 정보를 상대적으로 빨리 수용하는 개인의 정도’를 뜻한다고 볼 때(Kim, 2021), 본 연구의 목적을 고려할 때 정보혁신성이 의미를 갖는다.
Park and Kwan(2017)는 개인혁신성과 자기효능감이 서비스 이용의도에 유의한 간접효과가 있음을 증명하였다. Noh and Choi(2018)은 개인의 혁신성이 높을수록 인공지능 스피커의 수용에 긍정적 영향을 미친다는 사실을 증명하였다. Choi(2011)는 스마트폰 수용에 영향을 미치는 변수 중 하나인 개인 혁신성의 유의한 영향을 검증하였고, Kim and Cho(2007)는 개인 혁신성을 호텔정보시스템 수용 행동에 영향을 미치는 변수로 검증하였다. Kim and Kim(2019)은 AI 스피커 사용의도에 영향을 미치는 요인 중 하나로 개인혁신성을 강조하였다.
2.6. 조절초점
Higgins(1997)는 사람은 삶의 양식에 따라 달리 나타나는 조절초점에 주목하였다. 사람이 단순히 쾌락을 추구하고 고통을 회피하는 것이 아니라 나름대로의 전략으로 이를 조절한다고 보는 것이며 이 전략을 조절초점이라 하고, 예방초점과 향상초점으로 구분할 수 있다고 본다. 예방초점 성향의 사람은 안전과 의무를 중시하여 원하는 최종 결과에 부합하지 않을 것 같은 사안은 회피하고 경계하는 경향을 보이며 새로운 일에 대한 두려움이 있고 보수 편향(conservative bias)이 있다(Chernev, 2004). 반면 향상초점인 사람은 성장을 우선시하고 진보적인 면을 추구한다 따라서 원하는 최종 결과와 부합하는 사건에 대해 접근하는 진보적인 성향을 가지고 있으며 위험을 감수하고(risky bias) 도전을 즐긴다(Liberman & Zeanah, 1999).
새롭거나 혁신적인 제품이나 기능에 대해서도 예방초점인 사람들보다는 향상초점인 사람들의 태도와 만족도 이용의도가 더 높다(Herzenstein et al., 2004). 인공지능 챗봇의 경우 역시 예방초점인 사람보다 향상초점인 사람이 적극적으로 이용해 보고자 할 것이고 이용의도가 더 긍정적일 것이라고 예측할 수 있다.
2.7. 해석수준
해석수준이론(construal level theory)에서는 심리적 거리가 사람의 생각과 행동에 영향을 미친다고 본다. 심리적 거리란 본인과 다른 대상(object)이나 사건(event) 간의 거리를 가리키며, 사람은 준거점에 따라 멀거나 가깝다고 느낀다. 이러한 거리에 따라 심리적 거리가 가까운 대상인 경우 구체적 관점(하위수준)에서 해석하는 데 반해, 심리적으로 먼 대상(상위수준)은 보다 추상적인 관점에서 해석한다(Trope & Liberman, 2010). 심리적 거리는 시간적(temporal), 공간적(spatial), 사회적(social), 가정적(hypothetical) 이라는 4가지 차원으로 구성된다(Zhang & Wang, 2009). 고객이 챗봇서비스를 어떠한 심리적 거리를 두고 해석하는가 하는 것이 서비스 수용에 영향을 미칠 수 있을 것이라 예측할 수 있다.
3. Literature Review
챗봇에 관한 선행연구들은 대부분 챗봇의 품질 평가 및 이용 경험에 의한 사용자 평가 및 사용의도에 대한 연구가 주를 이루고 있으며(Suh & Yoon, 2019; Kim & Pak, 2021), 의인화와 인지능력 제고, 관련 알고리듬 정교화 등을 통한 사용편의성, 흥미성, 상호교류 증진을 위한 방안모색(Ryu et al., 2019; Chung, 2019; Ryu et al., 2020; Byun & Cho, 2020) 등의 연구들이 있다.
이 중 소비자 수용의도에 대한 연구들을 살펴보면, Lim(2021)은 소비자 관점에서 챗봇 사용 의도에 미치는 영향에 관해 연구를 통해 자기효능감이 용이성에 영향을 미치고, 시스템적 특성은 지각된 용이성과 유용성에, 지각된 용의성은 챗봇 사용의도에 그리고 지각된 유용성은 챗봇 사용의도에 유의한 영향을 미친다는 것을 검증했다. Kang(2018)은 챗봇과 디지털 키오스크를 중심으로 외식기업에서의 무인주문결제 시스템에 대한 소비자들의 수용의도에 대한 연구를 하였는데, 무인주문결제시스템의 사회적 영향, 노력기대, 인지적 위험, 성과기대, 촉진조건은 이용행동 및 수용의도에 유의한 정(+)의 영향을 미는 것으로 확인되었다.
산업별 연구 관련 Cho and Yun(2019)는 금융챗봇에서 품질요인이 사용의도에 미치는 연구에서 시스템 품질에서 편리성이 정보품질에서는 유용성과 이해성, 서비스품질에서는 신뢰성이 사용자 만족 및 사용의도에 정의 영향을 미치는 결과를 확인하였다. Lee & Park(2019) 역시 금융 서비스 관련 챗봇 사용의도에 영향을 미치는 요인 연구에서는 챗봇 캐릭터의 신뢰성, 애플리케이션 디자인, 사용 용이성, 대응성, 맞춤화, 관성, 보증성 그리고 이전 경험은 사용자 만족도, 소비자 신뢰와 사용의도에 유의한 영향을 미친다고 확인하였다.
대표적 서비스 기업인 항공사의 경우 고객안내 등에 챗봇기술을 이용하는 것에 대한 기술수용 요인의 인식 중 성과기대 및 쾌락동기는 긍정적인 영향을 주고 있다는 것을 확인하였고(Kim & Kim, 2018), 개인의 혁신성, 자기 효능감 그리고 유희성이 높을수록 수용의도에 긍정적 영향을 미치는 것을 검증하였다. 이외 연구에서도 개인 특성의 혁신성이 유의한 영향을 미치는 것으로 결과가 나온 것으로 확인되었다. Park(2020)의 연구에서는 ‘D 항공사 챗봇 서비스를 중심으로 서비스 이용자가 인식하는 서비스 가치와 서비스 수용태도에 어떠한 영향을 미치는지 검증한 결과 챗봇서비스 3가지 요인 유용성, 용이성, 유희성이 서비스 가치와 수용태도에 유의미한 영향을 미친다고 확인한 바 있다.
4. Research Methodology
4.1. 연구방법론
정보통신시스템(ICT) 관련 연구에는 2가지 주요 흐름이 있다(Wixom & Todd, 2005). 하나는 사용자 만족을 중심으로 하는 연구방식이고, 다른 하나는 기술수용에 중점을 두는 방식이다.
사용자 만족 중심의 접근은 시스템의 효과 평가를 주목적으로 한다(Kim & Park, 1997). 이럴 경우 시스템의 신뢰도, 정보정확성 등 속성에 대한 분석을 통하여 시스템 설계 등을 위한 유익한 자료를 생산하는 것이 가능하게 되나 일반인의 시스템 수용 관련 예측력은 상대적으로 낮다는 평가를 받는다. 한편, 기술수용에 중점을 두는 경우 신념과 태도에 사용의도를 연계하여 수용에 대한 높은 예측력을 보이나 설계 혹은 구현과 관련한 주요 정보 제공에 대하여는 제한적이라는 한계를 나타낸다. 즉, 두 가지 접근방법 모두 미흡한 측면을 포함하는 한계를 안고 있다고 할 수 있다. 챗봇 서비스의 경우, 기술/기기를 동반하는 서비스라는 점에서 기술수용의 이슈는 물론 고객의 서비스에 대한 만족자체 그리고 만족도 제고를 위하여 끊임없는 설계와 구현이 요구된다는 점을 감안하면 두 가지 접근법의 장점을 모두 반영한 접근방안이 필요하다는 것을 알 수 있다.
기술수용모델의 한계로 지적되는 점을 극복하기 위하여 인지적 측면을 반영한 것이 가치기반수용모델이다(Kim, 2020). 가치극대화 모델에서는 개인은 수혜와 희생 패러다임을 통해 가치를 인지하며 이를 극대화하고자 한다는 것이다. 이러한 가치가 서비스가치 혹은 상대적 이익이다.
본 연구에서는 속성내지 품질이 챗봇서비스 수용에 영향을 미치며, 또한 챗봇서비스의 속성내지 품질이 서비스가치의 매개를 통해 챗봇서비스 수용에 영향을 미친다고 예측한다. 또한 이 과정에 개인의 특성인 혁신저항, 혁신성, 조절초점, 해석수준 등 성향이 각각 조절효과를 갖는다고 추정한다. 더불어 서비스기업의 챗봇서비스는 부가적 서비스이나 이러한 서비스수준은 다시 핵심서비스에 영향을 미칠 것이라 추정한다.
4.2. 가설설정
서비스기업이 제공하는 챗봇서비스의 품질은 결과품질과 기능품질로 구분해 볼 필요가 있다. 결과품질은 챗봇서비스 이용 관련 용이하게 이용가능하며, 유용한 결과를 기대할 수 있을 때 갖게 되는 품질이다. 이에 비하여 기능품질은 이용과정상 느낄 수 있는 품질로서 흥미로움, 재미 그리고 상호작용성이다.
챗봇서비스는 단순한 고객응대 수준을 넘어서 고객이 원하는 정보, 고객에게 필요한 정보를 신속하고 정확하게 제공할 수 있을 뿐만 아니라 고객에게 상담서비스까지 제공한다. 따라서 용이성과 유용성의 결과품질은 챗봇서비스 제공 기업이 기본적으로 추구하고자 하는 품질이라고 볼 수 있다. 기술수용모델의 변수확장 움직임 이후 주요한 변수로 채택되기 시작한 것이 인지적 신념과 자기효능 관련 변수이다. Moon and Kim(2001)은 기술수용모델에 지각된 즐거움을 추가하여 이용의도에 유의한 변수임을 증명하고 있다. 이후 후속연구들에서도 즐거움, 흥미 등 관련 변수들이 유의한 결과를 보이고 있다(Hsu and Lin, 2008). 챗봇서비스 역시 하나의 기술기반 서비스로 보고 이용의도에 흥미(hedonic) 관련 변수가 유의미한 변수로 가정한다.
인터넷 혹은 가상 환경 등과 같은 인위적이고 기술적인 환경 하에서 경제ㆍ사회적 활동이 증가하면서 인간과 정보통신기기 에이전트 간의 사회적 실재감에 대한 관심이 제기되고 있다(Park & Lee, 2022). 사회적 실재감이란 물리적으로 다른 곳에 있어도 타인과 함께 사회적으로 존재한다고 느끼는 것을 의미한다(Sallnäs et al., 2000). 사람과 챗봇의 상호작용성이다. 챗봇서비스 특유의 상호작용 방식과 수단을 고려할 때 챗봇의 대화 인터페이스는 사람과 챗봇의 사회적 실재감을 유발하기에 충분하다(Araujo, 2018). 사회적 실재감은 사용자와 챗봇서비스 간의 의사소통을 촉진시키며 사용자의 지각된 유용성에 긍정적인 영향을 미치는 것으로 보고되고 있으며(Hassanein & Head, 2007), 간접적으로 만족도에도 긍정적인 영향을 미치는 것으로 볼 수 있다(Ogara et al., 2014). 이상의 논의에서 챗봇서비스 품질(속성)의 구성요소로 용이성과 유용성 그리고 흥미와 상호작용성으로 보고자 한다.
한편, 서비스가치란 서비스를 이용하기 위해 지불(투입)한 것 혹은 희생한 것 대비 얻게 되는 효용에 대한 전체적인 평가이다(Zeithaml, 1988). 일반적으로는 가격과 품질 간의 비교(Gale & Wood, 1994), 혜택과 비용의 상쇄관계(Blackwell, et al., 2001)로 표현된다. 이러한 경제적 측면을 위주로 하는 평가의 한계에 대해서 다차원적인 측면의 평가가 필요하다는 의견이 제시되었다(Sweeney & Soutar, 2001). Sweeney and Soutar(2001)은 서비스가치의 하위 요인으로 사회적, 정서적, 기능적 가치 1, 기능적 가치 2의 4가지로 구분하였다. 기능적 가치 1은 가격대비 가치이고 기능적 가치 2는 가격대비 성과이다(Kim & Lee, 2018). 챗봇서비스의 경우, 고객 입장에서 투입된 비용은 없고 노력과 시간이 대부분이다. 따라서 경제적 측면에서의 가치보다는 사회적 가치, 정서적 가치 그리고 투입 노력 대비 성과 가치가 챗봇 서비스 가치의 중심가치가 될 것이다.
상대적 이점이 지각된 유용성과 유사한 개념으로 파악하고자 하는 견해가 있으나(Bae, 2016), 유용성과 같은 서비스품질은 챗봇서비스와 같은 개별 서비스가 가져다 줄 수 있는 서비스에 대한 지각이고 서비스가치는 기존의 방식에 의한 서비스 보다 상대적으로 나은 가치를 가져다 줄 수 있다는 믿음이다.
선행연구에서 챗봇의 서비스가치로 인정되고 있는 변수로는 신뢰감, 전문성, 필요성(이상 Kim, 2022), 검색성(Lee & Kim, 2017), 접근성(Lee & Kim, 2017) 등이다. 본 연구에서는 이들 변수에 더하여 사회성과 감성을 추가하기로 한다. 사회성은 주변인들과 공감대 형성, 공통대화 소재 형성 등을 말한다. 감성은 감정적인 교감을 가리킨다. 이들 변수들은 개인의 지각된 인지와 자기효능감에 영향을 미칠 수 있는 변수들이기 때문에 포함시킨다.
이상의 논의를 바탕으로 다음과 같은 가설을 설정한다.
가설 1. 서비스기업의 챗봇서비스는 지각된 서비스가치에 긍정적 영향을 미칠 것이다.
가설 1-1. 서비스기업의 챗봇서비스의 결과품질은 지각된 서비스가치에 긍정적 영향을 미칠 것이다.
가설 1-2. 서비스기업의 챗봇서비스의 기능품질은 지각된 서비스가치에 긍정적 영향을 미칠 것이다.
가설 2. 챗봇서비스에 대한 지각된 서비스가치는 서비스수용 태도에 긍정적 영향을 미칠 것이다.
가설 1, 1-1, 1-2, 2는 챗봇서비스가 서비스수용 태도에 영향을 미치는 과정에서 서비스가치의 매개효과를 검증해 보고자 하는 것이다.
서비스가치의 매개효과 분석과 병행하여 챗봇서비스의 품질이 서비스수용 태도에 미치는 영향여부에 대한 검증을 위하여 다음 가설을 설정한다.
가설 3. 서비스기업의 챗봇서비스는 서비스수용 태도에 긍정적 영향을 미칠 것이다.
서비스기업은 비용절감, 원활한 서비스제공을 목적으로 챗봇서비스를 제공하는 것이 일차적 목적일 것이나, 고객의 입장에서는 정보수집, 예약 단계에서 마주하게 되는 챗봇서비스가 하나의 장애가 될 수도 있다. 그리하여 서비스기업은 고객이 마주할 수 있는 장애를 제거하거나 최대한 완화시킬 필요가 있다. 이를 위해서는 고객의 특성을 면밀히 분석하여야 하는 것이 일차적 단계이다. 챗봇서비스 관련 고객의 특성은 다양할 것이나 본 연구에서는 신기술 혹은 새로운 서비스 수용 관련 영향을 미칠 수 있는 고객의 특성으로 혁신성과 혁신저항성에 대해 분석해 보고자 한다. 혁신저항성의 경우 불편함, 불안함으로 구분하여 분석해 본다. 이에 따라 다음 가설을 설정한다.
가설 4. 혁신저항성, 지각된 혁신성은 챗봇서비스가 서비스가치에 영향을 미칠 때 그리고 챗봇서비스가 서비스수용 태도에 영향을 미칠 때 조절효과를 가질 것이다.
또한 개인의 의사결정 관련 영향을 미치는 주요 요인인 성향변수로 조절초점과 해석수준의 영향여부를 검증해 보기 위하여 다음 가설을 설정한다.
가설 5. 개인의 조절초점은 챗봇서비스가 서비스가치에 영향을 미칠 때 그리고 챗봇서비스가 서비스 수용 태도에 영향을 미칠 때 조절효과를 가질 것이다.
가설 6. 개인의 해석수준은 챗봇서비스가 서비스가치에 영향을 미칠 때 그리고 챗봇서비스가 서비스수용 태도에 영향을 미칠 때 조절효과를 가질 것이다.
정보통신기기 사용 관련 사회적 영향은 중요하다. 초기 기술수용 관련 연구에서 사용자는 정보통신기기 사용이 강제되는 상황이었다고 가정했다. 따라서 개인 고객이 챗봇서비스를 수용하는 데에는 사용강제 등 사회적 영향이 간접적 영향을 미칠 것이라 예측할 수 있다. 그리하여 다음 가설을 설정한다.
가설 7. 사회적 영향은 챗봇서비스가 서비스수용 태도에 영향을 미치는 과정에 조절효과를 가질 것이다.
이미 논의한 바와 같이 서비스기업의 서비스는 핵심서비스와 부가적 혹은 보충적 서비스로 구분할 수 있으며, 챗봇서비스는 부가적 혹은 보충적 서비스라 볼 수 있다. 그러나 부가적 서비스 혹은 보충적 서비스 역시 핵심서비스에 대한 인식에 영향을 미칠 것이라 예측할 수 있다. 이를 검증해 보기 위하여 다음 가설을 설정한다.
가설 8. 서비스수용 태도는 서비스기업의 핵심서비스에 대한 평가에 영향을 미칠 것이다.
4.3. 조작적 정의
본 연구에서 챗봇서비스는 서비스기업이 제공하는 부수적 보충적 서비스로서 핵심서비스를 보완하고 고객의 만족을 제고하고자 하는 서비스로 인고지능이 탑재되어 이용고객과 교감형성이 가능한 경우를 가리킨다.
챗봇서비스 결과품질로 용이성과 유용성을 그리고 기능품질로 흥미와 사회적 실재감을 채택한다.
용이성은 사용방법의 편리성으로 정의하며, 유용성은 챗봇서비스의 신속성, 정확성, 장소적 구애가 적다는 점, 필요정보 가득 가능 등에 대한 인지로 정의한다. 흥미성은 챗봇서비스에 대한 호기심과 사용 과정에서 느끼는 흥미로움으로 그리고 상호작용성은 사람과 챗봇의 상호작용성이며, 물리적으로 다른 곳에 있어도 타인과 함께 사회적으로 존재한다고 느낄 수 있도록 해주는 사회적 실재감을 의미한다(Sallnäs et al., 2000).
챗봇서비스 가치는 기존의 방식에 의한 서비스 보다 상대적으로 나은 가치를 가져다 줄 수 있다는 믿음으로 개념정의 하며 선행연구에서 챗봇의 서비스가치로 인정되고 있는 신뢰감, 전문성, 필요성(Kim, 2022)에 개인의 지각된 인지와 자기효능감에 영향을 미칠 수 있는 사회성과 감성을 추가하기로 한다. 사회성은 챗봇과의 교감을 가리키는 상호작용성이 아니고 챗봇서비스를 이용함으로써 다른 사람들과의 교감, 공통 관심사를 갖게 되는 기회 및 그 기회를 통하여 주위 사람들과 관련 경험담을 나눔으로써 얻게 되는 교류, 교감을 가리킨다. 감성 역시 챗봇이 로봇 혹은 기계라 볼 수 있으나 학습과 저장, Deep Thought 등을 통해 사람과 생각과 느낌을 주고받을 수 있을 것이라는 인식 및 기대를 가리킨다.
사회적 영향은 서비스기업들이 비용절감, 품질 표준화, 감정노동 문제 등 노무관리 차원의 문제 해소 등을 위해 챗봇서비스를 도입하고 점차 적용범위를 확대하여 서비스 종류에 따라서는 챗봇서비스와 같은 기능을 하는 방식을 이용하지 않고는 해당 서비스를 받기 어려워질 수 있으리라는 인식이다. 서비스수용 태도는 챗봇서비스를 수용하고자 하는 마음가짐이다.
개인혁신성은 모바일 환경에서 다른 구성원보다 새로운 기술과 정보를 상대적으로 빨리 수용하는 개인의 정도를 의미한다. 혁신저항은 혁신에 대한 피로감 등에서 오는 불편, 그리고 새로운 서비스에 수반될 수 있는 오작동, 기대결과를 얻기 어려울 수 있을 것이란 우려, 개인정보 유출 등 위험에 대한 인식을 가리킨다.
조절초점은 사람이 특정 사안에 대해 조절하며 대처하는 심리적 방식을 의미하며 예방초점과 향상초점으로 구분할 수 있다(Higgins, 1997). 예방초점은 새로운 일에 대한 두려움, 보수편향으로 정의하고 향상초점 성향은 성장추구, 진보적, 새로운 일에 대한 적극성을 갖는 성향으로 정의한다(Liberman & Zeanah, 1999; Chernev, 2004). 해석수준은 사람이 준거점을 가지고 본인과 다른 대상(object)이나 사건(event) 간의 느끼는 거리감 가리키며, 여기에는 시간적(temporal), 공간적(spatial), 사회적(social), 가정적(hypothetical) 거리가 있으나(Zhang & Wang, 2009), 본 연구에서는 가정적 거리 즉 발생가능성(확률) 만을 측정한다.
핵심서비스 평가란 부가적 보충적 서비스인 챗봇서비스 제공 서비스기업들 핵심서비스를 가리키며, 챗봇서비스의 중요도 혹은 위상을 간접적으로 가늠해 보고자 하는 것으로 챗봇서비스를 이용한 고객이 해당 기업의 핵심서비스에 대해 갖게 될 인식과의 연계성을 가리킨다.
4.4. 설문지 구성 및 조사
본 연구를 위해 설문조사를 실시하였으며 설문조사는 코로나 19 상황을 고려하여 전문설문조사 업체에 위임하여 실시하였다. 모두 300부를 거두어 분석에 사용하였다. 설문지는 챗봇서비스 품질(속성)으로 용이성 5문항(Park, 2020; Kim, 2022 등 참조), 유용성 4문항(Park, 2020; Kim, 2022 등 참조), 흥미성 3문항(Park, 2020 참조), 상호작용성 3 문항(Kim, 2022 등 참조), 서비스가치로 신뢰감 2문항(Park, 2020; Kim, 2022 등 참조), 전문성 2문항(Kim, 2022 등 참조), 필요성 3문항(Kim,, 2022 등 참조), 사회성 3문항(Cho, 2008 등 참조), 감성 2문항(Lim, 2021 등 참조), 수용태도 3문항(Kim et a., 2020 참조), 사회적 영향 3문항(연구자 작성), 핵심서비스 평가 3문항(연구자 작성), 혁신저항 4문항(Hwang, 2020 등 참조), 혁신성 4문항(Hwang, 2020 등 참조), 조절초점 4문항(Cho, 2008 등 참조), 해석수준 1문항(Cho, 2008 등 참조), 그리고 인구통계학적 질문으로 구성되어 있다.
표본은 남성이 46%, 여성이 54%이며, 나이는 20대가 45%, 30대가 28%, 40대가 17%, 50대 이상이 10%이다. 수입은 200만원 이하가 6%, 200-300만원이 42%, 300-400만원이 38%, 400-600만원이 9%, 600만원 이상이 5%이다. 챗봇서비스 이용횟수는 수개월에 1회가 24%, 매월 1회 정도가 53.8%, 한달에 2-3번 정도가 39.9%, 4-7번이 8.1% 그리고 자주 이용이 4.1%로 나타나고 있다.
5. Analysis
5.1. 기초분석
기초분석 결과는 다음 표 4와 같다.
Table 4: Questionnaire
5.2. 신뢰성 및 타당성 검사
챗봇서비스, 서비스가치, 수용태도, 사회적 영향, 핵심서비스 평가, 혁신성, 혁신저항, 조절초점의 하위변인들에서 요인적재값이 0.4이하인 경우는 없었고 상관관계 역시 높은 것으로 나타났다. KMO Bartlett 검정결과 역시 문제가 없다고 판단되었다.
5.3. 가설검증
가설검증 결과를 보자면, 챗봇서비스의 품질(속성)인 용이성, 유용성, 흥미, 상호작용성은 모두 서비스가치 변수인 신뢰감, 전문성, 필요성, 사회성, 감성에 통계적으로 유의한 영향을 미치는 것으로 나타나고 있다. 단지 상호작용성 만이 서비스가치 중 감성에 유의한 영향을 미치지 않고 있다. 서비스 가치는 챗봇서비스 수용태도에 각각 유의한 영향을 미치고 있다. 챗봇서비스 품질(속성)은 다시 수용태도에 유의한 영향을 미치고 있다. 챗봇서비스 품질(속성)은 서비스가치를 매개로 서비스수용에 영향을 미친다. 또한 서비스수용 태도는 해당 기업의 핵심서비스 평가에 다음과 같이 유의한 영향을 미치는 것으로 나타나고 있다. 이상의 결과는 다음 표에 요약되어 있다.
Table 5: Results of Regression Analysis
본 연구에서는 이용자 혹은 잠정 이용자의 개인특성, 개인성향이 수용태도에 영향을 미치는지 여부를 분석해 보기 위하여 개인의 혁신성, 혁신저항(불편함, 불안감), 조절초점(예방적, 상향적), 해석수준 그리고 사회적 영향의 영향 여부에 대해 살펴보았다. 그 결과 혁신성, 혁신저항, 사회적 영향을 제외하면 상당히 제한적으로 영향을 미치는 결과를 얻고 있다. 대부분의 변수들이 조절효과를 갖지 않는 것으로 파악되고 있는 가운데, 혁신성은 상호작용성이 수용태도에 영향을 미치는 가운데 조절효과를 갖고, 용이성, 유용성은 수용태도에 영향을 미치는 가운데 사회적 영향이 조절효과를 갖는 것으로 나타나고 있으며, 용이성, 흥미성, 상호작용성이 수용태도에 영향을 미치는 가운데 혁신저항(불편함)이 조절효과를 갖는 것으로 나타나고 있다. 조절효과 분석결과는 다음 표6-11에 요약되어 있다.
Table 6: Results of Moderating Effects Analysis of Social effect between Ease of Use and Acceptance attitude
Note: 1. Estimates, (Cons), Ease of use, 2. Estimates: (Cons), Ease of use, Social effects, 3. Estimates: (Cons), Ease of use, Social effects, Cross factor.
Table 7: Results of Moderating Effects Analysis of Social effect between Usefulness and Acceptance attitude
Note: 1. Estimates, (Cons), Usefulness, 2. Estimates: (Cons), Usefulness, Social effects, 3. Estimates: (cons), Usefulness, Social effects, Cross factor
Table 8: Results of Moderating Effects Analysis of Innovation Resistance(Uncomfortable) between Ease of Use and Acceptance attitude
Note: 1. Estimates (Cons), Ease of use, 2. Estimates: (Cons), Ease of use, Innovation Resistance(Uncomfortable), 3. Estimates: (Cons), Ease of use, Innovation Resistance(Uncomfortable), Cross factor.
Table 9: Results of Moderating Effects Analysis of Innovation Resistance (Uncomfortable) between Enjoyment and Acceptance attitude
Note: 1. Estimates (Cons), Enjoyment, 2. Estimates: (Cons), Enjoyment, Innovation Resistance (Uncomfortable), 3. Estimates: (Cons), Enjoyment, Innovation Resistance (Uncomfortable), Cross factor.
Table 10: Results of Moderating Effects Analysis of Innovation Resistance(Uncomfortable) between Interaction and Acceptance attitude
Note: 1. Estimates (Cons), Interaction, 2. Estimates: (Cons), Interaction, Innovation Resistance (Uncomfortable), 3. Estimates: (Cons), Interaction, Innovation Resistance (Uncomfortable), Cross factor.
Table 11: Results of Moderating Effects Analysis of Innovativeness between Interaction and Acceptance attitude
Note: 1. Estimates: (Cons), Interaction, 2. Estimates: (Cons), Interaction, Innovativeness, 3. Estimates: (Cons), Interaction, Innovativeness, Cross factor.
6. Conclusion
6.1. 연구결과 요약
본 연구의 목적은 챗봇서비스에 대한 고객/소비자의 수용태도에 영향을 미치는 요인에 대한 체계적 분석이다. 이를 위해 서비스가치에 대한 개념을 명확히 설정하고자 하였으며, 이를 통하여 고객 및 소비자의 챗봇서비스 수용에 영향을 미치는 영향요인들을 분석해 내고 챗봇서비스의 일차적 임무이자 서비스기업이 제공하는 부수적/보충적 서비스가 핵심서비스에 영향을 미칠지 여부에 대한 분석 그리고 사회적 영향의 영향요인 분석을 수행하였다.
본 연구결과 서비스기업의 챗봇서비스의 품질(속성)인 용이성, 유용성, 흥미, 상호작용성은 모두 수용태도에 유의미한 긍정적 영향을 미치고 있으며(Kim, 2022; Lee & Kim, 2017), 신뢰감, 전문성, 필요성, 사회성, 감성을 구성요인으로 하는 서비스 가치를 매개(부분매개)로 수용태도에 유의미한 긍정적 영향을 미치는 것으로 나타나고 있다. 단지 상호작용성 만이 서비스가치 중 감성에 유의한 영향을 미치지 않고 있다. 서비스 수용태도는 서비스기업의 기대 핵심서비스에 대한 평가에 유의한 영향을 미치는 것으로 분석되고 있다.
한편, 개인특성 중 개인성향 요인이 수용태도에 영향을 미치는지 여부에 대한 분석결과를 보자면, 개인특성인 혁신성, 혁신저항 그리고 성향을 반영하는 조절초점, 해석수준, 사회적 영향 관련 분석결과는 다음과 같다. 혁신성은 상호작용항이 용이성이 수용태도에 영향을 미치는 가운데 조절효과를 나타내고 있으며, 혁신저항 중 불편함은 용이성, 흥미성, 상호작용성이 수용태도에 영향을 미치는 가운데 조절효과를 갖는 것으로 나타나고 있다. 그 밖의 조절초점, 해석수준은 조절효과를 갖지 않는 것으로 나타나고 있다. 그러나 사회적 영향은 용이성과 유용성이 수용태도에 영향을 미치는 가운데 조절효과를 갖는 것으로 나타나고 있다.
독립변수인 챗봇서비스의 품질(속성)의 구성요인들의 경우 모두 서비스가치에 통계적으로 유의한 영향을 미치고 있으나, 개인특성 및 개인의 성향에 의해 유의한 영향을 받지 않는 것으로 분석되고 있다. 즉, 서비스가치가 매개효과를 보이는 과정에서 조절효과는 유의하지 않은 결과를 보이고 있다.
나아가 챗봇서비스와 같은 부수적/부가적 서비스 역시 서비스기업의 핵심서비스 평가에 유의한 영향을 미치는 것으로 나타나고 있다.
6.2. 시사점
챗봇서비스의 품질(속성)은 서비스 수용태도에 직접적 영향을 미치는 동시에 서비스가치의 매개를 통해 수용태도에 유의한 영향을 미치고 있다. 이러한 결과는 선행연구 결과들과 차이가 없다. 다만, 상호작용성 만이 서비스가치 중 감성에 유의한 영향을 미치지 않는다는 결과는 아직은 챗봇의 보급률이 그리 높지 않고 따라서 챗봇서비스에 익숙하지 않은 상황 하에서 상담사를 통한 서비스와 챗봇서비스를 직접적으로 비교하는 것에 확신을 갖기 어려울 수 있을 것이라 해석된다(Yang & Moon, 2005).
개인특성인 혁신성은 챗봇과의 상호작용성이 수용태도에 영향을 미치는 가운데 조절효과를 나타낸다는 것은 혁신적인 특성을 갖고 있는 개인의 경우 기계화, 자동화, 정보화 시대에 챗봇 나아가 챗봇의 의인화에 관심을 갖는다는 의미로 해석할 수 있다(Ryu et al., 2020). 챗봇을 통한 상담 나아가 챗봇을 대화상대로 인식하는데 혁신성이 영향을 미친다는 것이다. 따라서 고객 중 혁신적인 특성을 가진 경우는 챗봇의 의인화에 주력할 필요가 있다. 결국 고객의 개인 특성에 따라 챗봇서비스 성능개선의 방향을 달리할 필요가 있어 보인다. 혁신저항 중 불편함은 챗봇서비스의 품질인 용이성, 흥미성, 상호작용성이 수용태도에 영향을 미치는 가운데 부정적 조절효과를 보인다(Lee, 2017). 챗봇의 좀 더 광범위한 보급을 위해서는 서비스저항 중 불편함을 느끼는 부분을 중점적으로 해소할 필요가 있다. 한편 혁신저항 중 불안감은 조절효과를 갖지 않는 것으로 나타나고 있고, 이러한 결과는 챗봇서비스의 경우 대부분 상담업무에 투입되어 있고 인공지능을 탑재한 로봇에 의한 서비스라는 점에서 오류나 부정확한 서비스 등과 같은 불안감은 상대적으로 크지 않은 것으로 보인다.
또한 용이성, 흥미성, 상호작용성이 수용태도에 영향을 미치는 과정에 혁신저항 요소인 불편함이 조절효과로서 영향을 미치고 유용성은 영향을 미치지 않다는 것은 챗봇서비스 사용에 익숙하지 않은 상태에서 나타난 결과로 해석된다(Yang & Moon, 2005). 챗봇을 혁신적 기술이라고 본다면 아직 보급, 사용정도 모두 도입단계라 볼 수 있으며, 따라서 용이성을 향유하며, 흥미를 느낄 수 있는 여유 그리고 챗봇과 유연하게 교감할 수 있는 수준에 도달하지 못하고 있다고 판단된다. 유용성은 불편함에 가려 그 효과가 축소되는 상황이 된 것이라 볼 수 있다.
한편, 사회적 영향이 챗봇의 가장 핵심적 품질인 용이성과 유용성이 서비스수용 태도에 영향을 미치는 가운데 조절효과를 갖는다는 점에서 상당 수의 소비자는 챗봇의 보급이 좀 더 심화되고, 대부분의 서비스가 챗봇 등 기기를 통하여 제공되는 상황에 대한 예측을 하고 있다는 것을 알 수 있다. 이에 따라 소비자는 챗봇서비스 수용에 대하여 사회적 분위기 혹은 사회적 압력은 더욱 커질 것이며 결국 챗봇서비스를 수용할 것인가 아니면 관련 서비스 받는 것을 포기할 것인가의 문제로 귀결될 것으로 여긴다고 해석할 수 있다.
독립변수인 챗봇서비스의 품질(속성)의 구성요인들의 경우 모두 서비스가치에 통계적으로 유의한 영향들 가운데 개인특성 및 개인의 성향인 혁신성, 혁신저항, 조절초점, 해석수준이 조절효과를 갖지 않는 것으로 나타난 결과는 역시 챗봇서비스가 도입단계이어서 개별 고객이나 소비자가 나름대로의 생각이나 기억, 느낌 등을 체계화하기 이전이어서 나타난 현상으로 판단된다.
더불어 챗봇서비스와 같은 부수적/부가적 서비스 역시 서비스기업의 핵심서비스 평가에 유의한 영향을 미치는 것으로 나타나고 있다는 점에서 서비스기업을 포함한 기업은 사소한 서비스에도 주의를 기울일 필요가 있다는 점을 잊지 말아야 할 것이다(Kim, 2017).
6.3. 한계 및 후속연구
본 연구는 인공지능을 탑재한 챗봇에 대해 살펴보았다. 본 연구의 한계로는 수용태도를 종속변수로 삼고 있어 이용행위로 이어지는 결과와 차이를 낳을 여지가 존재한다. 또한 챗봇과 같이 발전의 속도가 상상하기 어려울 정도로 빠른 속도인 경우 시간의 흐름에 따른 차이가 적지 않게 나타날 것으로 예측할 수 있으며 이러한 점을 반영하지 못한 한계가 있다.
후속 연구에서는 챗봇서비스 전문가들을 대상으로 한 심층분석 등 질적 연구를 통하여 챗봇서비스의 품질(속성), 서비스가치 등에 대한 현장사정 등이 반영된 요인들을 발굴하고, 기술준비도 혹은 정보통신기술 관련 전문도 수준에 따른 차이분석, 국제간 차이 혹은 문화에 따른 차이분석 등의 연구를 기대해 본다. 또한 챗봇의 용도 혹은 임무에 따라 개선 또는 발전방향이 다를 것으로 생각되며 각각의 용도 또는 임무에 따른 수용태도 차이 관련 분석 역시 의미가 있을 것이라 판단된다.
또한 기술 수용 관련 사회적 영향에 대해서는 합리적 행위이론에서 인용되는 주관적 규범에 편중되는 경향이 있으나, 사회적 영향 관련 영향요인은 좀 더 치밀한 구분이 필요하다고 생각된다. 예컨대, 스마트 폰 같은 기술수용의 경우 업무효율성 추구 보다는 조직 내 혹은 그룹 내에서 의사소통 혹은 네트워크를 목적으로 수용할 수도 있다. 사회적 영향 요인이 주관적 규범과는 다른 차원의 요인으로 작용할 수 있다는 것이다. 따라서 개별 정보통신기기의 수용목적에 따른 영향요인을 구분하고 이를 기반으로 한 분석을 수행하는 것 역시 의미가 있을 것이라 생각된다. 물론 이러한 수용자 개인에게 주어진 환경, 즉 영향요인들에 대한 발굴 및 검증이 중요하나, 사회 전반적 특성, 분위기 또한 영향을 미치는 요인으로 작용할 것으로 판단되어 이러한 부분에 대한 연구 역시 바람직할 것이라 본다.
References
- Agarwal, R., & Prasad, J. (1998). A conceptual andoperational definition of personal innovativeness in the domain of information technology. Information systems research, 9(2), 204-215. https://doi.org/10.1287/isre.9.2.204
- Araujo, T. (2018). Living up to the chatbot hype: The influence of anthropomorphic design cues and communicative agency framing on conversational agent and company perceptions. Computers in Human Behavior, 85, 183-189. https://doi.org/10.1016/j.chb.2018.03.051
- Bae, J. K. (2016). The Effects of Post-Adoption Beliefs of Chinese Social Commerce Consumers on User Satisfaction and Continuous Usage Intention: Focused on the Three Major Social Commerce Services in Chine. Logos Management Research, 14(2), 115-134.
- Blackwell, R. D., Miniard, P. W., & Engel, J. F. (2001). Customer behavior. Mason, OH: South-Western.
- Byun, S. H. & Cho, C. H. (2020). The Effect of the Anthropomorphism Level on AI Financial Chatbot Recommendation Messages on Customer Response. The Korea Journal of Advertising and Public Relations, 22(2), 466-502. https://doi.org/10.16914/kadpr.2020.22.2.466
- Catherine, P., & Nguyen, M. (2021). Robotic service quality - Scale development and validation, Journal of Retailing and Consumer Services, 62, 102661. https://doi.org/10.1016/j.jretconser.2021.102661
- Chatbot Report (2019). Global Trends and Analysis, Chatbots Magazine.
- Chernev, A. (2004). Goal-attribute compatibility in consumer choice. Journal of Consumer, Psychology 14 (1&2), 141-150. https://doi.org/10.1207/s15327663jcp1401&2_16
- Chen, Q., Gong, Y., Lu, Y., & Tang, J. (2022). Classifying and measuring the quality of AI chatbot in frontline service. Journal of Business Research, 145, 552-568. https://doi.org/10.1016/j.jbusres.2022.02.088
- Cho, J. H. (2008). The effect of Anthropomorphism and Regulatory Focus on Artificial Intelligence (AI) Chatbot on Consumer Response through Consumer Experience - A Study on the Mediating Effect of Consumer Experience Focusing on Construal Level Theory, Social presence, and Persuasion Knowledge Model -, Doctoral dissertation, Dankook University, Seoul Korea.
- Cho, G., & Yun, J. Y. (2019). UX evaluation of financial service chatbot interactions. Journal of the HCI Society of Korea, 14(2), 61-69. https://doi.org/10.17210/jhsk.2019.05.14.2.61
- Choi, M. S. (2011). (A) study on the influence of factors such as personal innovativeness, social influence and use interface on smart phone acceptance: based on an expanded technology acceptance model. Doctoral dissertation, Ewha Women's University, Seoul Korea.
- Chu, S. Y., Kang, S. M., & Yoo, S. C. (2021). The influences of perceived value of AI medical counseling chatbot service on the use intention: Focused on the usage purpose of chatbot counseling of Obstetrics and Gynecology, Health Service Management Review, 15(3): 41-59. https://doi.org/10.18014/HSMR.2021.15.3.41
- Claudy, M. C., Garcia, R., & O'Driscoll, A. (2015). Consumer resistance to innovation - a behavioral reasoning perspective. Journal of the Academy of Marketing Science, 43(4), 528-544. https://doi.org/10.1007/s11747-014-0399-0
- Gale, B. T., & Wood, R. C. (1994). Managing customer value: Creating quality and service that customers can see: New York US: Free Press.
- Gray, H. M., Gray, K., & Wegner, D. M. (2007). Dimensions of mind perception. Science, 315(5812), 619. https://doi.org/10.1126/science.1134475
- Hassanein, K., & Head, M. (2007). Manipulating perceived social presence through the web interface and its impact on attitude towards online shopping. International journal of human-computer studies, 65(8), 689-708. https://doi.org/10.1016/j.ijhcs.2006.11.018
- Herzenstein, M., Misra, S., & Posavac, S. S. (2004). How consumers' attitudes toward direct-to-consumer advertising of prescription drugs influence ad effectiveness, and consumer and physician behavior. Marketing Letters, 15(4), 201-212. https://doi.org/10.1007/s11002-005-0458-x
- Higgins, E.T. (1997). Beyond pleasure and pain, American Psychologist, 52(12), 1280. https://doi.org/10.1037/0003-066X.52.12.1280
- Hwang, Y. H. (2020). Effects of Perceived Service Quality and Technology Acceptance Expectation of Chatbot Service on Behavioral Intention: Focusing on Switching Value and Innovation Resistance. Doctoral dissertation, Daejeon University, Daejeon, Korea.
- Hirschman, E. C. (1980). Innovativeness, novelty seeking, and consumer creativity. Journal of consumer research, 7(3), 283-295. https://doi.org/10.1086/208816
- Hsu, C. L., & Lin, J. C. C. (2008). Acceptance of blog usage: The roles of technology acceptance, social influence and knowledge sharing motivation. Information & management, 45(1), 65-74. https://doi.org/10.1016/j.im.2007.11.001
- John, J., & Thakur, R. (2021). Long term effects of service adaptations made under pandemic conditions: the new "post COVID-19" normal. European Journal of Marketing, 55(6), 1679-1700. https://doi.org/10.1108/EJM-08-2020-0607
- Kang, J. H. (2018). A Study on consume acceptance intention of unmanned order payment systems of food service companies: Targeted on chatbots and digital kiosks. International Journal of Tourism and Hospitality Research, 32(1), 153-168. https://doi.org/10.21298/ijthr.2018.01.32.1.153
- Kim, C. S. (2017). A Unified Model Combining Technology Readiness Acceptance Model and Technology Paradox Theory. Doctoral dissertation, Korea Aerospace University, Seoul Korea.
- Kim, D. H., & Kim, B. K. (2019). A Study on the Factors Affecting Intention to Use AI Speaker. The Journal of Industrial Innovation, 35(4), 1-30.
- Kim, H. Y., & Kim, K. S. (2018). A Study on Usage Intention of Technology-based Airlines self-service Based on UTAUT 2 Model. Journal of the Korean Society for Aviation and Aeronautics, 26(4), 54-63. https://doi.org/10.12985/KSAA.2018.26.4.054
- Kim, J. T., Jung, S. R., & Jung, H. (2017). Messenger Based Chatbot Technology Trends and Military Application Plan. National Defense and Technology, 459, 118-127.
- Kim, J. Y. (2020). A Study on the Perceived Value and Adoption Intentions of the Mobile Apps in Online Travel Agency based on Value-Based Adoption Model(VAM). International Journal of Tourism Management and Science, 35(5), 25-49.
- Kim, K. K., & Park, S. W. (1997). An Empirical Study of User Information Satisfaction. Korea Business Review, 26(1), 93-113.
- Kim, M. B. (2020). The effect of education data visualization using google spreadsheet program on improvement of creativity. Doctoral dissertation, Jeju University, Jeju Island, Korea.
- Kim, M. J., & Lee, S. B. (2018). The Effect of the Perceived Cost on Perceived Value and Innovation Resistance in the Mobile Convergence Environment: Focused on Delivery Application Users in the Food Industry. Journal of Travel and Leisure Research, 30(3), 247-264. https://doi.org/10.31336/JTLR.2018.03.30.3.247
- Kim, S. J., Jung, O. K., & Park, C. (2020). An Explorative Study on the Effect of Chatbot's Characteristics on Intention of Acceptance: Focusing on the Moderate Effect of Personal Innovativeness. The Journal of Industrial Innovation, 36(4), 107~133.
- Kim, S. J., & Park, C. (2021). The Effect of Chotbot Characteristics on Customer Experience and Intention to Reuse. The Academy of Customer Satisfaction Management, 23(1), 119-142. https://doi.org/10.34183/KCSMA.23.1.6
- Kim, S. T. (2021). Analysis of parallel multi-parameter effects of trust, flow, and usefulness in the relationship between personal innovativeness of mobile tourism application users and continuous use intention, International Journal of Tourism and Hospitality Research, 35(7), 101-116. https://doi.org/10.21298/IJTHR.2021.7.35.7.101
- Kim, T. G., & Cho, M. S. (2007). Effects of Social Influence, Task-technology Fit and Personal Innovativeness in Information Technology on acceptance Behavior of Hotel Information system. Journal of Tourism Science, 31(5), 137-156.
- Kim, Y. G. (2022). Analysis of Factors Affecting Acceptance Attitude of AI Chatbot Consulting Service: Focused on Service Value Mediating Effect. The Journal of the Korea Contents Association, 22(2), 255-269. https://doi.org/10.5392/JKCA.2022.22.02.255
- Kumar, K. N., & Balaramachandran, P. R. (2018). Robotic process automation-a study of the impact on customer experience in retail banking industry. Journal of Internet Banking and Commerce, 23(3), 1-27.
- Kwon, S. (2020). Understanding user participation from the perspective of psychological ownership: The moderating role of social distance. Computers in Human Behavior, 105, 106207. https://doi.org/10.1016/j.chb.2019.106207
- Lee, M. K., & Park, H. (2019). Exploring factors influencing usage intention of chatbot-chatbot in financial service. Journal of the Korean Society for Quality Management, 47(4), 755-765.
- Lee, M. S., & Kim, S. H. (2017). Factors affecting the use of the intelligent chatbot services, Doctoral dissertation, Kwangwoon University, Seoul Korea.
- Lee, S. J., Lee, J. H., & Chung, D. H. (2021). A Study on the Factors Affecting the Acceptance of Chatbot Service in the Financial Industry. Journal of Korea Technology Innovation Society, 24(5), 845-869. https://doi.org/10.35978/jktis.2021.10.24.5.845
- Lee, S. N. (2017). (The) effects on consumer innovativeness and innovation resistance propensity on mobile information searching behavior. Doctoral dissertation, SungKyunKwan University, Seoul Korea.
- Lee, M. S., & Kim, S. H. (2017). Factors affecting the use of the intelligent Chatbot services. Journal of Service Research and Studies, 7(3), 37-55. https://doi.org/10.18807/JSRS.2017.7.3.037
- Lee, S. W., & Jun, H. M. (2016). Influence of Big Data Based Majib Apps' Service Quality on Use Satisfaction and Reuse Intention, Culinary Science & Hospitality Research, 22(5), 64-81. https://doi.org/10.20878/cshr.2016.22.5.006006006
- Lee, Y. R., Kim, H. J., & Pak, M. J. (2022). The Effects of Perceived Quality of Fashion Chatbot's Product Recommendation Service on Perceived Usefulness, Trust and Consumer Response. Journal of the Korean Society of Clothing and Textiles, 46(1), 80-98. https://doi.org/10.5850/JKSCT.2022.46.1.80
- Lieberman, A. F., & Zeanah, C. H. (1999). Contributions of attachment theory to infant-parent psychotherapy and other interventions with infants and young children. Handbook of attachment: Theory, research, and clinical applications, 555-574.
- Lim, D. S. (2021). The Effect of Mobile Chatbot Service Quality in the Tourism Industry on Social Presence, Supplier Trust and Continuous use Intention. Doctoral dissertation, Kyung Hee University, Seoul Korea.
- Lovelock, C. (1994), Product Plus, McGraw-Hill, New York, NY.
- Min, S. J., Kim, H. J., & Song, G. H. (2017). An Exploratory Research on Factors of Accepting Chatbot Using UTAUT. In Proceedings of the Korea Technology Innovation Society Conference (pp. 623-643). Korea Technology Innovation Society.
- Moon, J. W., & Kim, Y. G. (2001). Extending the TAM for a WWW context, Information and Management, 38, 217-230. https://doi.org/10.1016/S0378-7206(00)00061-6
- Noh, M. J., & Choi, M. K. (2018). The Effect of Personal Innovativeness on the Adoption of A.I. Speakers: The Moderating Effect of Purse String Control. Journal of Business Research, 33(1), 195-230. https://doi.org/10.22903/JBR.2018.33.1.195
- Ogara, S. O., Koh, C. E., & Prybutok, V. R. (2014). Investigating factors affecting social presence and user satisfaction with mobile instant messaging. Computers in Human Behavior, 36, 453-459. https://doi.org/10.1016/j.chb.2014.03.064
- Park, H. J. (2020). A Study on the effectiveness of chat-bot service on service value and service acceptance attitude: Case study of D Airline. International Journal of Tourism and Hospitality Research, 34(11), 111-124. https://doi.org/10.21298/IJTHR.2020.11.34.11.111
- Park, M. H., & Kwan, M. W. (2017). Intention to Use Mobile Delivery Application Services, Depending on Personal Innovativeness and Self-Efficacy. The Journal of the Korea Contents Association, 17(5), 440-448. https://doi.org/10.5392/JKCA.2017.17.05.440
- Park, Y. J., & Lee, S. W. (2022). Effects of Social Presence of Chatbot on Service Quality and Users' Perceptions in Customer Service, The Academy of Customer Satisfaction Management, 24(1), 85-104. https://doi.org/10.34183/KCSMA.24.1.5
- Rogers, E. M. (2003). Diffusion of innovations (5th ed.). New York US: Free Press.
- Ryu, Y. J., Park, S. R., Sung, H. G., Lee, J. S., & Kim, W. S. (2020). Software to promote patient-to-doctor communication based on chatbot. Korea Information Processing Society, Proceedings of the Korea Information Processing Society Conference, 27(2), 501-504.
- Ryu, E. J., & Ahn, S. G. (2019). The Effect of Consumer Characteristics on Mobile Fashion Shopping- Focusing on Market Mavenship, Innovativeness, Purchase Experience. Journal of Fashion Business, 23(1), 89-101. https://doi.org/10.12940/JFB.2019.23.1.89
- Sallnas, E. L., Rassmus-Grohn, K., & Sjostrom, C. (2000). Supporting presence in collaborative environments by haptic force feedback. ACM Transactions on Computer-Human Interaction (TOCHI), 7(4), 461-476. https://doi.org/10.1145/365058.365086
- Shin, J. K., & Lee, S. W. (2016). A Study of Intention to Use Wrist - worn Wearable Devices Based on Innovation Resistance Model - Focusing on the Relationship between Innovation Characteristics, consumer Characteristics, and Innovation Resistance. The Journal of the Korea Contents Association, 16(6), 123-134. https://doi.org/10.5392/JKCA.2016.16.06.123
- Shin, M. H. (2014). Influences information privacy concerns and personal innovation of smartphone-based shopping mall on usefulness, ease-of-use and satisfaction. Journal of Digital Convergence, 12(8), 197-209. https://doi.org/10.14400/JDC.2014.12.8.197
- Suh, C. J., & Yoon, J. O. (2019). The Effect of Perceived Chatbot Service Quality on Customers Satisfaction and Word of Mouth. Journal of Korea Service Management Society, 20(1), 201-222. https://doi.org/10.15706/jksms.2019.20.1.010
- Sweeney, J. C., & Soutar, G. N. (2001). Consumer perceived value: The development of a multiple item scale. Journal of retailing, 77(2), 203-220. https://doi.org/10.1016/S0022-4359(01)00041-0
- Trope, Y., & Liberman, N. (2010). Construal-level theory of psychological distance. Psychological review, 117(2), 440. https://doi.org/10.1037/a0018963
- Wirtz, J, & Lovelock, C. (2016). Services Marketing: People, Technology, Strategy, 8th Edition. World Scientific.
- Wixom, B. H., & Todd, P. A. (2005). A theoretical integration of user satisfaction and technology acceptance. Information systems research, 16(1), 85-102. https://doi.org/10.1287/isre.1050.0042
- Yang, H. D., & Moon, Y. J. (2005). The Differences of Social Influence on Information Technology Adoption by Knowledge Work and IT Maturity. The Journal of MIS Research, 15(2), 97-120.
- Zeithmal, V. (1988). Customer Perception of Price. Quality and Value: A Means-End Model and Synthesis of Evidence, Journal of Marketing, 52(3), 2-22. https://doi.org/10.2307/1251446
- Zhang, M., & Wang, J. (2009). Psychological distance asymmetry: The spatial dimension vs. other dimensions. Journal of Consumer Psychology, 19(3), 497-507. https://doi.org/10.1016/j.jcps.2009.05.001