The Journal of the Korea Contents Association (한국콘텐츠학회논문지)

The Korea Contents Association (한국콘텐츠학회)
권호 표지
DOI QR코드

DOI QR Code

A Study on the User Experience according to the Existence of Explanation Facilities and Individuals Privacy Concern Level

대화형 에이전트의 설명 기능과 프라이버시 염려 수준에 따른 사용자 경험 차이에 관한 연구

  • 강찬영 (연세대학교 정보대학원 UX트랙 석사과정) ;
  • 최기은 (연세대학교 정보대학원 UX트랙 석사과정) ;
  • 강현민 (연세대학교 정보대학원 UX트랙 박사수료)
  • Received : 2019.12.24
  • Accepted : 2020.02.04
  • Published : 2020.02.28
Download PDF
⟨ Previous Next ⟩

Abstract

Nowadays, smart speakers are increasingly personalized and serve as recommendation agents for user. The aim of this study is find out effects of 'Explanation facilities' on transparency, perceived trust, user satisfaction, behavioral intentions of users to reuse, privacy risk, and quality of recommendation in the context of an interact with smart speaker's conversational agents. And we also use measurement for level of privacy concerns to see individuals's level of privacy concerns affected the assessment. The result of this study as follow; First, all measurement variable are significantly related to 'Explanation facilities' Second, perceived trust, privacy risk are significantly related to individual's level of privacy concern. This study found that 'Explanation facilities' could be applied in context of smart speaker and possibility of cognitive dissonance according to the level of privacy concerns.

오늘날 스마트 스피커는 점차 개인화되어 사용자들을 위해 특정 제품을 추천하는 추천 에이전트의 역할을 하고 있다. 본 연구의 목적은 스마트 스피커의 대화형 에이전트 맥락에서 '설명 기능'이 투명성, 인지된 신뢰, 사용자 만족도, 재사용 행동 의도, 프라이버시 위협, 추천 품질에 미치는 영향을 살펴보는 것이다. 또한 개인의 프라이버시 염려 수준이 평가에 영향을 미치는지 알아보기 위해 염려 수준을 사용자 구분을 위한 척도로 활용하였다. 연구결과, 설명이 있는 조건이 없는 조건 보다 모든 측정 변인에서 높게 평가되었음을 확인하였고, 프라이버시 염려 수준이 인지된 신뢰, 프라이버시 위협에 미치는 정적인 영향을 확인하였다. 본 연구는 스마트 스피커 맥락에서 설명 기능이 적용될 수 있다는 시사점과 프라이버시 역설 현상을 발견하였으며, 프라이버시 염려 수준에 따른 인지부조화의 가능성을 제시하였다.

Keywords

I. 서론

대화형 에이전트(Conversational Agent)는 아마존 ‘에코’, SKT ‘누구’와 같이 스마트 스피커 형태의 IoT 기기에 탑재되고 있다. 대화형 에이전트는 기존 정보 탐색, 날씨 검색 등 기본적인 사용행태 외에도 다양하게 발전해 나가고 있다. 예를 들어 SKT의 ‘누구’는 11번가와 제휴하며, 쇼핑 추천으로 사용 가능성을 확장하였으며, KT의 ‘지니’는 자사의 OTT(Over the Top) 서비스에 활용되어 미디어 추천으로 확장되어 가고 있다. 이처럼 대화형 에이전트는 스마트 스피커 등의 IoT 기기에 탑재되어 사용자와 대화하며, 수많은 선택지를 탐색해야 하는 사용자의 노력을 감소시키고 더 좋은 선택을 할 수 있도록 돕는 역할을 수행하고 있다. 이러한 대화형 에이전트의 추천 서비스는 GUI(Graphic User Interface) 기반의 온라인 추천 서비스 토대로 발전되어왔다. 이에 따라 대부분의 선행연구들은 추천 알고리즘의 정확성과 같은 기술적인 부분에 대한 연구와 GUI 맥락에서의 사용자 경험 측면에 대한 연구가 주를 이루고 있다. 그 중 GUI 맥락에서 추천 서비스의 투명성과 신뢰도를 높이는 ‘설명 기능’(Explanation facilities)에 대한 연구가 존재하며, Doran (2017)은 인공지능이 윤리적이고 사용자의 신뢰를 얻기 위해서는 인공지능 행동에 대한 설명이 필요하다고 이야기하였다[1]. 그러나, GUI를 활용한 인터넷 추천 맥락에서 진행된 선행 연구와 달리 VUI(Voice User Interface)를 활용한 스마트 스피커의 대화형 에이전트 맥락에서는 설명 기능의 긍정적인 효과에 대한 실증적인 검증이 부족한 상황이다.

따라서 본 연구에서는 VUI를 활용한 스마트 스피커의 대화형 에이전트 맥락과 GUI를 활용한 온라인 추천 에이전트의 차이점에 대해 먼저 살펴본 후, 설명 기능의 유무가 대화형 에이전트에 대한 사용자의 투명성, 인지된 신뢰, 만족도, 재사용 행동 의도, 프라이버시 위협, 추천 품질 평가에 어떠한 영향을 미치는지 살펴보고자 한다. 또한, 스마트 스피커와 같이 사용자의 취향 데이터, 구매 이력, 인적 사항 등 다양한 개인정보를 수집하는 개인화된 제품의 경우 프라이버시에 대한 민감도가 중요한 사용자 경험 요인으로 작용할 수 있기 때문에, ‘개인정보 제공으로 인한 잠재적 위험에 대한 걱정’을 의미하는 프라이버시 염려 수준에 따라 설명 기능에 대한 평가가 달라지는지 확인해보고자 한다.

II. 이론적 배경

1. 추천 서비스에서의 설명 기능(Explanation facilities)

Johnson and Johnson(1993)[2]의 연구는 ‘설명 기능’이 복잡한 시스템과 사용자 사이에서 중요한 역할을 한다고 주장하며, 설명 기능의 목적을 ‘원인과 결과에 대한 묘사’라고 정의하였다. 설명 기능은 시스템의 투명도를 높이는 주요 기능으로 주목을 받고 있으며, 사용자 경험 측면에서도 긍정적인 효과가 사전연구를 통해 보고되고 있다[3][4]. 특히 GUI 맥락에서 온라인 추천 에이전트에 설명 기능을 적용하는 시도가 활발하게 이루어져 왔다. 예를 들어 전자상거래 맥락에서 설명 기능을 적용하였을 때, 추천 에이전트에 대한 초기 신뢰도를 높이는 영향이 있음을 밝혔으며, 또 다른 연구에서 역시 온라인 추천 에이전트에 설명 기능을 적용하였을 때, 사용자의 신뢰와 추천 수용에 긍정적인 영향을 미치는 것을 발견하였다[4].

이처럼 설명 기능은 추천 에이전트가 추천을 만들어 내는 내부 논리를 사용자에게 설명함으로써 투명성을 높이는 역할을 하며 그 결과, 사용자들의 초기 및 사용 신뢰도 형성에 도움을 줄 뿐만 아니라 추천 결과 수용에 대해서도 긍정적인 영향을 미칠 수 있다.

스마트 스피커를 포함하여 사용자에게 추천을 제공하는 추천 에이전트의 경우, 설명은 사용자에게 추천 결과가 생성된 이유를 알 수 있도록 하는 에이전트의 행동을 의미하며, 추천 과정의 투명성을 높여 시스템에 대한 사용자 신뢰를 증진 시킬 수 있는 기능으로 정의할 수 있다.

사전 연구에서 살펴본 온라인 추천 에이전트 맥락과 스마트 스피커에서 사용되는 추천 에이전트 맥락은 수많은 선택지에서 사용자의 선호도 등 정보를 활용하여 선택을 돕고, 추천 결과를 만들어낸다는 공통점을 가지고 있다. 그러나 온라인 추천 에이전트 맥락과 스마트 스피커의 추천 에이전트 맥락 사이에는 두 가지 차이점이 존재한다.

첫째는 사용자가 에이전트와 상호작용할 때 사용하는 모달리티(Modality)이다. 사전 연구들은 대부분 GUI를 활용하여 참가자가 시각을 활용해야하는 맥락 이었던 반면 스마트 스피커 맥락에서는 VUI를 통해 청각과 목소리만으로 에이전트와 상호작용하여야 한다. 시스템과 사용자의 인터랙션에서 사용되는 모달리티가 달라진다는 것은 전반적인 사용자 경험에 영향을 미치는 요소이기 때문에 사전연구와 본 연구는 개별적인 검증이 필요하다.

두 번째 차이점은 개인화 수준이다. 사전 연구들에서 사용되었던 온라인 추천 에이전트와 비교해 스마트 스피커에서 사용되는 추천 에이전트의 개인화 수준은 매우 높다고 할 수 있다. 최근 스마트 스피커는 화자인식 등의 기술을 활용하여 사용자 구분을 활용한 서비스를 제공하는 등 개인화 수준을 높이려는 노력이 계속되어 왔다. 그 이유는 스마트 스피커와 같은 디지털 서비스는 서비스 품질과 수익 창출을 위해 사용자의 개인 정보에 접근해야 하고, 데이터를 수집하여 개인화 수준을 높이고 사용자의 관심사에 더 잘 맞추어진 서비스 제공이 시장에서 경쟁우위를 점할 수 있는 가치로 인정받기 때문이다[5]. 또한, 스마트 스피커 사용과 기피의 이유를 살펴본 연구에서[6], 사용자들은 스마트 스피커 기업이 그들의 개인정보를 지키기 위해 노력한다는 믿음을 전제로 스마트 스피커를 사용을 결정한다는 사실을 발견하였다. 즉 스마트 스피커와 같은 개인화 제품들이 사용자의 개인정보를 수집하려는 것은 일반적이며, 사용자들은 기업들이 그들의 개인정보를 지켜줄 것이라는 믿음을 전제로 사용한다는 것을 알 수 있다.

그러나 스마트 스피커와 같이 개인정보를 기반으로 서비스가 이루어지는 제품에 설명 기능을 적용하는 것은 사용자의 개인정보를 활용하여 추천 결과를 만들었다는 사실을 사용자에게 설명해야 한다는 것을 의미한다. 즉 사용자의 개인정보를 활용하고 있다는 사실을 사용자에게 알려야 함을 의미한다. 자신의 개인정보를 보호할 것이라고 믿고 있었던 사용자들의 예상과 달리, 추천 과정에서 자신의 개인정보가 활용되고 있음을 인지하게 된다면, 사용자는 프라이버시 위협(Privacy Risk)를 느낄 가능성이 존재한다. 설명 기능으로 투명성이 높아지면서 사용자가 그들의 정보가 얼마나 많이 수집되고 어떻게 사용하는지 이해하게 되며, 그들의 두려움이 증가할 수 있다[7].

스마트 스피커 맥락에서 사용자들이 느끼는 프라이 버시 위협이 문제가 되는 이유는 프라이버시가 위협을 받을 수도 있다는 인식이 제품 사용을 기피하게 하는 요소로 작용하고 있기 때문이다[6]. 또한, 스마트 스피커와 같이 개인화 수준이 높은 서비스일수록 사용자가 느끼는 프라이버시 위협도 높아진다는 연구결과가 보고된 만큼[8] 스마트 스피커 추천 에이전트에 설명 기능을 적용하기 위해서는 사용자의 프라이버시 위협으로 인해 부정적인 사용자 경험을 만들게 되지 않는지 실증적인 연구가 필요하다.

2. 프라이버시 위협과 역설(Privacy Risk and Paradox)

프라이버시라는 다차원의 개념을 정의하기 위해 다양한 사전 연구들이 진행되었다. 법적인 맥락에서 프라이버시의 정의는 ‘혼자 있을 권리’[9], ‘개인 정보가 타인에게 공개되는 것을 막을 수 있는 권리’[10] 등으로 정의되었다. 이후 프라이버시의 개념을 정보 프라이버시 (Information Privacy)라는 차원으로 확장해 나간 연구에서는 정보 프라이버시를 ‘개인 정보를 타인에게 공개할 시기, 방법, 양을 통제할 수 있는 권리’라고 정의하였다[11]. 그러나 본 논문에서는 정보 프라이버시 외에도 ‘자신을 표현하기 위한 권리’인 표현적 프라이버시 등을 포함한 다차원 프라이버시 개념을 제안한 선행연구의 프라이버시의 개념을 사용하고자 한다[12].

프라이버시 위협(Privacy Risk)은 개인정보 제공과 관련하여 높은 잠재적 손실이 발생할 수 있다고 믿는 정도를 의미한다[13]. 사용자들이 프라이버시 위협을 느꼈을 때, 어떠한 결과가 예상되는지 살펴본 사전연구 결과는 두 가지로 분류할 수 있다.

첫 번째는 프라이버시 위협이 높을수록 해당 제품 사용을 기피하게 된다는 주장이다[6]. 해당 연구에서는 프라이버시에 대한 걱정이 사용의도를 저해시킬 것이라는 가설을 세우고 연구를 진행하였다. 스마트 스피커 사용을 거부한 집단의 인터뷰 결과, 프라이버시에 대한 염려(Privacy concern)를 나타낸 사용자들은 자신들의 정보를 보호하는 기업에 대한 불신 등으로 스마트 스피커 사용을 거부하였다는 사실을 보고하였다. 즉 프라이버시 위협에 대해 민감한 사용자는 해당 제품 사용을 기피하게 될 것이라는 것이다.

두 번째는 위와 반대로 프라이버시 위협이 높음에도 불구하고 제품 사용을 지속하고자 하는 사용자 행동을 보고한 연구 결과들이 있다. 프라이버시 위협이 높지만 해당 제품을 사용함으로 얻는 효용이 사용을 지속하게 한다는 것이다. 이처럼 프라이버시를 포기하고 사용을 지속하는 등의 행동을 프라이버시 역설(Privacy Paradox)이라고 하며 선행연구에서는 ‘개인이 프라이버시에 대해서 강함 염려를 가지고 있음에도 불구하고 반대의 행동을 하는 것’으로 정의하였다[14]. 본 연구와 관련하여 설명하면, 한 개인이 개인정보 제공으로 인한 잠재적 손실을 걱정하면서도 개인정보를 제공하는 행동으로 이해할 수 있으며 이성적인 사용자는 개인정보의 제공으로 얻게 되는 이익과 손실을 계산하여 유리한 방향으로 행동하는 프라이버시 계산(Privacy calculus)도 보일 수 있다[15].

결론적으로, 프라이버시 위협이 존재할 때 상황에 따라서 어떤 사용자들은 민감하게 반응하여 부정적인 경험을 할 수 있고, 반대로 프라이버시 위협을 느끼기보다 효용을 높게 평가하여 사용을 지속할 수도 있다. 이는 개인이 가진 프라이버시에 대한 염려 수준과도 밀접한 관련이 있을 것으로 보이며 높은 염려 수준을 가진 사람과 낮은 염려 수준을 가진 사람 간에 차이가 존재할 수 있다.

3. 프라이버시 염려(Privacy Concern)

프라이버시 염려는 사용자들의 개인정보에 대한 염려를 반영하고 있으며 주관적인 측정치로서 개인이 가진 인식과 가치 평가에 따라 달라질 수 있다[5][15]. 선행 연구를 살펴보면 프라이버시 염려가 높은 사용자는 자신의 프라이버시를 보호하고자 하는 행동이 많아지고 개인 정보를 제공하고자 하는 의도가 낮아진다고 알려졌다[15][16]. 개인 정보를 활용하여 추천 서비스를 제공하는 상황에서 사용자가 자신의 정보를 제공하여 추천을 받게 된다면 프라이버시 염려가 높은 사용자는 해당 서비스를 이용을 기피하고 개인정보를 보호하고자 하는지 아니면 오히려 프라이버시 역설이 나타나 서비스를 더 이용하고자 하는지에 대한 의문점이 제기된다. 본 연구에서는 이 부분에 초점을 맞추어 프라이버시 염려 정도가 다른 사람들이 추천 서비스에서 개인 정보를 활용하게 될 때 어떠한 사용자 경험을 보고하는지 살펴보고자 한다.

프라이버시 염려 수준을 측정하기 위한 척도를 개발 하기 위해 많은 연구가 진행되었다. Smith, Milburg, and Burke (1996)[17]는 조직 관행에 대한 개인의 염려를 측정할 수 있는 척도인 Concern for Information Privacy(CFIP)를 개발하였고 개인의 프라이버시를 이루는 네 가지 요소로서 수집, 오류, 이차적 사용, 정보에 대한 무단접근 (해킹)을 구성하여 프라이버시 염려 수준을 파악하고자 하였다. 그러나 시간이 지나면서 기술과 연구의 발전에 따라 재평가되고, 개선의 필요성이 제시되었다[12]. Malhotra, Kim, and Agarwal (2004)[13]은 정보 프라이버시의 다양한 측면으로서 개인 정보의 수집과 통제에 대한 태도, 기업의 개인 정보 습득 관행에 대한 지각 등을 측정할 수 있는 Internet users' information privacy concerns(IUIPC) 척도를 개발하였다. 그러나 정보 프라이버시에 국한되어 있기 때문에 다양한 차원의 프라이버시에 대한 사용자 태도를 측정할 수 없다는 주장이 제기되었다[12]. Buchanan(2006)은 위와 같은 척도들의 한계를 지적하며, 정보 프라이버시뿐 아니라 물리적, 표현적 프라이버시 등을 포함한 프라이버시 염려 측정 척도를 개발하였다. 따라서 본 논문에서는 정보 프라이버시에 특정된 척도가 아닌 프라이버시의 다차원적 정의를 반영하여 사용자가 전반적인 삶에서 프라이버시에 대해 가지고 있는 태도를 측정할 수 있고, 개인의 주관적인 판단 기준인 프라이버시 염려 수준을 측정하고자 하는 Buchanan의 척도를 사용하고자 한다 [12].

4. 연구 목적

본 연구에서는 스마트 스피커와 같이 개인화 제품에서 자신의 개인정보가 사용되었다는 사실을 알게 하는 설명 기능을 적용하였을 때, 이 기능이 투명성을 높이고 신뢰가 형성되는 등 긍정적인 영향을 미치는지 아니면 반대로 개인정보 활용으로 인한 프라이버시 위협을 느끼게 하고 부정적인 영향을 미치는지 실험을 통해서 검증해보고자 한다. 또한, 이러한 결과가 사용자의 프라이버시 염려 수준에 따라 달라질 것인지 살펴보고자 프라이버시 염려 수준을 측정하여 참가자 구분을 위한 변인으로 활용하고자 한다.

Ⅲ. 연구방법

1. 실험참가자

실험자 모집은 스마트 스피커 사용에 문제가 없는 20세 이상의 성인을 대상으로 진행하였다. 실험자의 프라이버시 염려 수준은 사전 설문을 통해 인적사항과 함께 수집하였으며, 집단 구분과 상관없이 설명이 있는 조건과 없는 조건 모두 참여하도록 실험을 구성하였다. 실험 참가자는 남성 23명, 여성 37명으로 모집하였으며, 실험 종료 후 불성실 응답자를 제외한 참가자는 남성 23명, 여성 36명으로 총 59명이 참여하였다.

2. 실험진행

실험 진행은 사전 설문-본 실험-사후인터뷰 순서로 구성하였다. 사전 설문은 실험실 방문 전에 참가자의 인적사항과 프라이버시 염려 수준을 수집하였으며, 본 실험 단계에서는 실험실에 방문한 참가자에게 실험 진행 방법과 유의사항, 스마트 스피커 조작 방법 등을 설명한 후 진행하였으며, 실험 시나리오는 사전 설문으로 수집한 인적사항을 적용하여 준비된 음성 파일을 활용하였다. 스마트 스피커는 실험자가 배후에서 조작하는 오즈의 마법사(Wizard of OZ)를 통해 실험 참가자가 실제 대화형 에이전트를 사용하는 것처럼 느끼도록 진행하였고, 실험 환경은 [그림 1]과 같이 스마트 스피 커를 검은 종이 상자로 가려 외관으로 인한 효과를 통제하고자 하였다. 본 시행을 진행하기 전에 본 시행에서 사용된 4개 카테고리(도서, 여행지, 뉴스, 상품) 외의 영화를 추천받는 상황을 사용하여 실험 절차에 대해 이해하는 연습 시행을 진행하였다. 이후, 같은 카테고리를 연속하여 실행하는 조건이 아니라면, 다른 조건에 영향을 받지 않고 무선으로 선정한 순서에 따라 8번의 본시행을 진행하였으며, 각각의 시행이 끝나면 설문에 응답하도록 하였다. 마지막 시행 후에는 사후 인터뷰를 통해 사용자가 설명 기능의 유무를 체감과 평소 스마트 스피커 사용 경험 및 프라이버시 염려에 대한 행동을 묻는 사후 인터뷰를 진행하였다.

CCTHCV_2020_v20n2_203_f0001.png 이미지

그림 1. 실험환경

3. 측정 변인

투명성(Transparency)은 특정 제품이 사용자에게 추천된 이유를 설명할 수 있는 에이전트의 능력을 뜻한 다. 선행 연구에서는 사용자의 신뢰를 구성하는 중요 요소로 간주하였으며, 추천 과정 투명성에 대한 지각과 에이전트에 대한 사용자들의 생각을 조사하기 위해 ‘나는 그 제품들이 왜 나에게 추천되었는지 이해했다.’를 포함한 세 개의 문항으로 투명성을 측정하였다[19].

인지된 신뢰(Perceived trust)는 시스템으로부터 생성된 정보를 믿거나 시스템의 능력을 사용하려는 의지를 의미한다. 신뢰는 ‘시스템의 의도에 대한 신뢰’와 ‘시스템이 올바른 추천을 제공할 수 있는 수준이나 역량에 대한 신뢰’로 구성되며, 선행 연구의 설문 문항을 번역하여 ‘나는 티나가 추천을 수행하는데 필요한 능력을 가지고 있다고 생각한다’ 등 세 개의 문항으로 인지된 신뢰를 측정하였다[20].

사용자 만족도(User satisfaction)는 시스템을 사용하는 사용자의 전반적인 경험을 측정하기 위해 사용자 경험 연구에서 주로 사용되는 종속 변인이다. 본 논문에서는 Lee(2017)에서 사용한 문항을 참고하여 구성하였으며 ‘나는 내가 직접 정보를 찾는 것보다 티나에게 물어보는 것이 더 쉽기 때문에 만족한다.’와 같이 본 논문의 특성에 맞게 수정하여 세 개의 문항을 통해 사용자 만족도를 측정하였다[21].

재사용 행동 의도(Behavioral intentions of users to reuse)는 설명 기반의 추천 인터페이스에서 신뢰의 달성을 판단하는 주요 요소로 간주된다[22]. 사용자들이 미래에 해당 시스템을 다시 사용하려는 의도를 측정 하기 위해서 구성된 설문을 참고하여 ‘나는 티나와 같은 유형의 스피커를 종종 사용할 것이다.’ 등 세 개의 문항으로 재사용 행동 의도를 측정하였다[20].

프라이버시 위협(Privacy Risk)은 사용자가 자신의 개인정보 제공 행위와 관련하여 높은 잠재적 손실 결과가 발생할 수 있다고 생각하는 정도를 의미한다[23]. 설명 조건의 차이에 따라 사용자들이 개인정보 제공 행위에 따라 잠재적 손실을 생각하는 정도를 살펴보기 위해 ‘티나에게 내 개인정보를 공개하며 예상치 못한 문제들이 많이 생길 것이다.’를 포함한 세 개의 문항으로 프라이버시 위협을 측정하였다[24].

추천 품질(Quality of recommendations)은 장기적으로 사용자가 추천 에이전트의 추천을 수용하고 신뢰할 것인지 결정하는 중요 요소로 정의되며, 신뢰도와 유의한 관계가 있음이 밝혀졌다. 본 연구에서는 설명 기능 조건이 사용자가 인지한 추천 품질에 영향을 미치는지 알아보기 위해 ‘추천의 품질은 내가 기대한 것과 동일하다.’와 같은 3개의 문항으로 추천 품질을 측정하였다[19].

Ⅳ. 실험 처치물 설계

1. 실험 처치물 제작

알렉사(Alexa), 누구(Nugu)와 같이 스마트 스피커 에이전트에 특정한 이름을 부여하는 것을 고려하여, 실험에서 사용된 스마트 스피커 에이전트의 이름을 ‘티나’ 라고 명명하였으며, 모든 명령어는 ‘티나야’라는 호출어를 시작으로 진행되도록 지시하였다.

처치물은 스마트 스피커를 사용하여 추천을 받는 상황을 가정하기 위해 사용자에게 익숙할 것으로 예상되는 4개의 카테고리(도서, 여행지, 상품, 뉴스)를 선정하였고, 각 카테고리에 해당하는 지시사항을 [그림 2]과 같이 태스크 카드를 통해 제공하였다.

CCTHCV_2020_v20n2_203_f0002.png 이미지

그림 2. 태스크 카드 예시(연습 시행)

4개의 카테고리를 설명이 있는 조건과 없는 조건으로 구분하여 총 8번의 시행을 진행하였고, 실제 개인화된 스마트 스피커를 사용하는 경험과 유사한 체험을 위해 특정 카테고리에 대한 추천을 사용자가 요구한 후, 에이전트가 하위 카테고리 중 사용자의 선호도를 묻는 질문을 2번 실행하도록 하였으며 해당 응답에 따라 적절한 응답을 사전에 준비하였다. 도서, 여행지, 뉴스 카테고리의 하위 카테고리는 설명이 있는 조건과 없는 조건 모두 동일하게 적용하였고 상품 카테고리의 경우 설명 조건에 따라 다른 상품을 추천받도록 하여 실험을 진행 하였다. 에이전트의 음성은 AWS(Amazon web service)에서 제공하는 TTS(Text to Speak) 폴리(Polly)를 사용하였으며 모든 추천 결과 응답은 20초 내외로 구성하여 문장 길이로 인한 경험 변화를 통제하고자 하였다.

2. 실험 시나리오

설명 기능에서 사용되는 개인 정보는 사용자 정보기반의 개인화 콘텐츠 추천 시스템을 개발한 선행연구를 참고하여[18] 연령대, 성별, 직업 정보를 활용하였으며, 사전 설문을 통해 수집한 정보를 토대로 참가자마다 개별 시나리오를 본 실험 참여 이전에 구성하여 진행하였다. 설명 조건에 따른 에이전트 응답의 예시는[표 1]과 같다.

표 1. 설명 조건에 따른 에이전트 응답 예시

CCTHCV_2020_v20n2_203_t0001.png 이미지

Ⅴ. 연구 결과

1. 설문 문항 신뢰성 검증

설문 문항의 신뢰성을 검증하기 위해 신뢰도 분석을 진행한 결과, 투명성(.89), 인지된 신뢰(.83), 사용자 만족도(.85), 재사용 행동 의도(.92), 프라이버시 위협 (.94), 추천 품질(.91), 프라이버시 염려 수준(.91) 모든 항목에 대하여 Cronbah’s α 값이 0.7 이상으로 분석되어 모든 측정 변인의 신뢰성이 검증되었다.

2. 프라이버시 염려 수준에 따른 집단구분

참가자 내 구분을 위한 프라이버시 염려 수준 측정은 사전 연구에서 사용된 16개 문항을 국문으로 번역하여 측정하였으며[12], ‘나는 온라인 기업이 나의 프라이버 시를 잘 지켜주지 않을 것 같아 걱정스럽다’. ‘나는 온라인 개인정보 도용이 걱정스럽다.’ 등의 문항에 대해 1점(전혀 그렇지 않다)부터 7점(매우 그렇다)으로 7점 척도를 활용하였다. 총 60명의 참가자 중 불성실 응답자 1명을 제외한 59명의 참가자들의 프라이버시 염려 수준 점수 평균은 71.64였으며, 표준 편차는 16.00였다. 집단 구분을 위해 프라이버시 염려 점수를 표준화한 후 .2표준편차를 기준으로 고, 저 집단을 구분하였다. 이에 따라 평균값과 유사한 12명은 분석에서 제외되고 높은 수준 집단(고)은 22명과 낮은 수준 집단(저)은 25명을 통해 분석을 실시하였다.

3. 종속 변인 측정 결과

3.1 투명성

프라이버시 염려 수준과 설명 기능 유무가 투명성에 미치는 영향에 대하여 반복 측정 분산 분석(Repeated Measures ANOVA)을 실시한 결과, 설명 기능 유무에 따라 유의한 차이가 있는 것으로 나타났다[F(1, 45) = 15.74, p < .001,ηp2= .26]. 설명 기능이 있을 때(M = 5.31, SD = .94) 설명 기능이 없는 조건(M = 5.02, SD = .95)보다 투명성에 대한 인식이 높았다. 반면 프라이버시 염려 수준에 따른 투명성의 유의한 차이는 나타나지 않았으며[F(1, 45) = 2.03, p = .16], 상호작용 효과 또한 유의하지 않았다[F(1, 45) = 1.89, p = .18].

3.2 인지된 신뢰

프라이버시 염려 수준과 설명 기능 유무가 인지된 신뢰에 미치는 영향에 대하여 반복 측정 분산 분석 (Repeated Measures ANOVA)을 실시한 결과, 설명 기능 유무에 따라 유의한 차이가 있는 것으로 나타났다[F(1, 45) = 7.96, p < .01,ηp2 = .15]. 설명 기능이 있을 때(M = 4.90, SD = 1.03) 설명 기능이 없는 조건(M = 4.67, SD = 1.00)보다 인지된 신뢰에 대한 인식이 높았다. 또한, 프라이버시 염려 수준에 따른 인지된 신뢰의 유의한 차이가 있는 것으로 나타났다[F(1, 45) = 5.15, p < .05, ηp2 = .04]. 프라이버시 염려 수준이 높은 집단(M = 5.36, SD = .76)이 프라이버시 염려 수준이 낮은 집단(M = 5.00, SD = .96)보다 인지된 신뢰에 대한 인식이 높았다. 반면 상호작용 효과는 유의하지 않았다[F(1, 45) = .11, p = .74].

3.3 사용자 만족도

프라이버시 염려 수준과 설명 기능 유무가 사용자 만족도에 미치는 영향에 대하여 반복 측정 분산 분석(Repeated Measures ANOVA)을 실시한 결과, 설명 기능 유무에 따라 유의한 차이가 있는 것으로 나타났다[F(1, 45) = 5.30, p < .05, ηp2 = .11]. 설명 기능이 있을 때(M = 4.89, SD = 1.14) 설명 기능이 없는 조건(M = 4.75, SD = 1.08)보다 사용자 만족도에 대한 인식이 높았다. 반면 프라이버시 염려 수준에 따른 사용자 만족도의 유의한 차이는 나타나지 않았으며[F(1, 45) = 2.24, p = .14], 상호작용 효과 또한 유의하지 않았다 [F(1, 45) = .01, p = .93].

3.4 재사용 행동 의도

프라이버시 염려 수준과 설명 기능 유무가 재사용 행동 의도에 미치는 영향에 대하여 반복 측정 분산 분석 (Repeated Measures ANOVA)을 실시한 결과, 설명 기능 유무에 따라 유의한 차이가 있는 것으로 나타났다[F(1, 45) = 6.20, p < .05, ηp2 = .12]. 설명 기능이 있을 때(M = 5.11, SD = 1.12) 설명 기능이 없는 조건(M = 4.96, SD = 1.16)보다 재사용 행동 의도에 대한 인식이 높았다. 반면 프라이버시 염려 수준에 따른 재사용 행동 의도의 유의한 차이는 나타나지 않았으며[F(1, 45) = .58, p = .45], 상호작용 효과 또한 유의하지 않았다[F(1, 45) = .39, p = .54].

3.5 프라이버시 위협

프라이버시 염려 수준과 설명 기능 유무가 프라이버시 위협에 미치는 영향에 대하여 반복 측정 분산 분석 (Repeated Measures ANOVA)을 실시한 결과, 설명 기능 유무에 따라 유의한 차이가 있는 것으로 나타났다[F(1, 45) = 4.04, p < .01, ηp2 = .08]. 설명 기능이 있을 때(M = 3.74, SD = 1.37) 설명 기능이 없는 조건(M = 3.56, SD = 1.39)보다 프라이버시 위협에 대한 인식이 높았다. 또한, 프라이버시 염려 수준에 따른 인지된 신뢰의 유의한 차이가 있는 것으로 나타났다[F(1, 45) = 6.54, p < .05, ηp2 = .13]. 프라이버시 염려 수준이 높은 집단(M = 4.15, SD = 1.28)이 프라이버시 염려 수준이 낮은 집단(M = 3.20, SD = 1.25)보다 프라이버시 위협에 대한 인식이 높았다. 반면 상호작용 효과는 유의하지 않았다[F(1, 45) = .08, p = .78].

3.6 추천 품질

프라이버시 염려 수준과 설명 기능 유무가 추천 품질에 미치는 영향에 대하여 반복 측정 분산 분석 (Repeated Measures ANOVA)을 실시한 결과, 설명 기능 유무에 따라 유의한 차이가 있는 것으로 나타났다[F(1, 45) = 5.46, p < .05, ηp2 = .11]. 설명 기능이 있을 때(M = 4.85, SD = 1.05) 설명 기능이 없는 조건(M = 4.59, SD = .98)보다 사용자 만족도에 대한 인식이 높았다. 반면 프라이버시 염려 수준에 따른 사용자 만족도의 유의한 차이는 나타나지 않았으며[F(1, 45) = 3.57, p = .07], 상호작용 효과 또한 유의하지 않았다 [F(1, 45) = 1.22, p = .28].

표 2. 종속 변인 통계 결과

CCTHCV_2020_v20n2_203_t0002.png 이미지

CCTHCV_2020_v20n2_203_f0003.png 이미지

그림 3. 설명 기능에 따른 차이

CCTHCV_2020_v20n2_203_f0004.png 이미지

그림 4. 프라이버시 염려 수준에 따른 차이

Ⅵ. 논의

실험 결과, 투명성, 인지된 신뢰, 사용자 만족도 재사용 행동 의도, 프라이버시 위협, 추천 품질로 구성되었던 모든 측정 변인이 설명을 제공했을 경우 그렇지 않은 조건보다 통계적으로 유의하게 높아진 것을 확인할 수 있었다. 이는 GUI 맥락의 온라인 추천 에이전트와 상호작용에서 프라이버시 역설 현상을 발견한 선행 연구들[5][25]과 유사한 결과로서 스마트 스피커를 활용 하는 VUI 맥락에서 프라이버시 위협이 높아짐에도 불구하고, 사용을 지속하려고 하는 프라이버시 역설 현상이 발견되었음을 의미한다. 또한, 설명 기능이 투명성을 높이고 신뢰를 형성하는 기능이 스마트 스피커 맥락에 서도 적용된다는 사실도 발견할 수 있었다.

개인이 자신의 개인정보 활용, 프라이버시 위협에 얼마나 민감하게 반응하는지 판단하기 위해 활용된 프라이버시 염려 수준에 따른 차이도 발견할 수 있었는데, 프라이버시 염려 수준이 비교적 높은 사용자는 염려 수준이 낮은 사용자보다. 인지된 신뢰, 프라이버시 위협에 대해서 더 높이 인식하는 결과를 발견하였다. 프라이버시 염려 수준이 높은 사용자가 염려 수준이 낮은 사용자에 비해 프라이버시 위협을 높게 평가한 것은 개인이 측정하는 프라이버시의 가치가 프라이버시 위협을 예측할 수 있다는 선행연구[26]의 결과를 뒷받침하는 것으로 해석할 수 있다. 그러나 프라이버시 위협을 느끼고 있는 집단에서 사용의도가 아닌 인지된 신뢰를 긍정적으로 평가했다는 결과는 기존에 발견되었던 프라이버시 역설로는 설명할 수 없는 부분이 있다. 따라서 사용자의 인지부조화로 인한 평가로 해석해보고자 한다.

인지부조화란 개인의 감정, 의견 등 심리적으로 불일치하는 두 가지가 부조화를 유발한다는 것을 의미한다. 또한, 부조화는 심리적 불편을 유발하기 때문에 인지부 조화를 줄이기 위해 태도 및 생각의 변화시키는 방법을 사용하게 된다[27]. 유지현 등은[28] 인지부조화를 웹카페 가입 상황에 적용한 연구를 진행하였다. 그들의 연구에 따르면 가입절차가 없는 조건보다 복잡한 조건에서 웹 카페의 글에 대해 긍정적인 태도를 보였다. 구체적으로 살펴보면, 가입절차가 복잡한 조건의 참가자들은 가입을 위해 자신의 개인 정보를 제공하였고 그에 따른 정보의 높은 질을 기대하게 된다. 하지만 실제로 카페에 등장하는 글은 어디서나 볼 수 있는 수준의 내용이었고 이에 따라 인지부조화를 경험하게 되는 것이다. 이들은 이 인지부조화를 해결하기 위해 카페의 글이 매우 유용하다는 평가를 하게 되었다.

본 실험에서도 참가자들은 스마트 스피커를 체험하기 위해 자신의 개인정보를 제공하였다. 분석 결과에서 나타났듯 프라이버시 염려 수준이 높은 사용자는 낮은 사용자에 비해 프라이버시 위협을 많이 느끼고 있었으 며, 개인정보 제공 사실에 대한 인지적 차이도 사후 인터뷰에서 발견되었다. 염려 수준이 높은 참가자는 “나의 개인정보를 활용한다는 사실을 인지하였다. 개인 정보를 제공하여 맞춤화된 서비스를 받을 수 있다면 기꺼이 제공할 수 있을 것 같다”등의 응답으로 자신이 스마트 스피커에 개인정보를 제공했다는 언급을 했던 반면, 염려 수준이 낮은 참가자는 “선택할 수 있는 카테고리가 제한적이라 불편했다”, “에이전트의 말투가 약간 기계적이라 어색했다” 라고 응답하는 등 개인정보 제공에 대한 사실보다는 에이전트의 기능적인 차원에 대해 언급하였다. 즉 프라이버시 염려가 높은 사용자는 개인정보 제공을 인지하고 있었으며, 실제로 프라이버시 위협이 높다는 반응을 보였다. 하지만 제품 품질에 대한 평가나 만족, 재사용 의도에 대해서는 프라이버시 염려가 낮은 사용자와 차이가 없었다. 이는 프라이버시가 위협을 받았다는 부정적 사건과 나에게 적합한 제품 추천을 받았다는 긍정적인 사건에서 발생한 인지 부조화를 '대화형 에이전트가 믿을 수 있을 만큼 신뢰롭다'라는 태도의 변화로 해결했을 것이라는 가설을 세워볼 수 있다. 따라서 프라이버시 염려가 높은 사용자는 대화형 에이전트에 대해 인지된 신뢰가 더 높다는 평가를 내렸고, 비록 프라이버시의 위협을 받았지만 대화형 에이전트가 충분히 신뢰롭기 때문에 괜찮다는 결과를 나타낸 것으로 해석할 수 있다.

Ⅶ. 연구의 시사점 및 한계점

1. 연구의 시사점

이 연구의 시사점은 다음과 같다.

첫째, 기존 GUI를 활용한 온라인 추천 에이전트 맥락에서 적용되어오던 설명 기능의 긍정적인 효과가 VUI를 활용하고 있는 스마트 스피커 맥락에서도 유사하게 적용될 수 있음을 검증하였다.

둘째, 프라이버시 염려 수준에 따라 사용자가 개인정보 제공으로 인해 느끼는 잠재적인 위협인 프라이버시 위협이 달라질 수 있음을 실증적인 검증으로 밝혀내었으며, 위협을 느낌에도 인지된 신뢰를 더 높게 인식하는 인지부조화의 가능성을 제시하였다. 또한 사후 인터뷰 진행 결과 원활한 실험 진행을 위해 선택지가 제한되었다는 불편함을 제외하고 실제 스마트 스피커 사용 경험과 다르다는 의견은 발견되지 않았으며, 대화가 자연스러워 실제 스피커 사용 경험과 유사하다는 응답을 통해 선행 연구들에서 활용된 오즈의 마법사 형식이 VUI 맥락에서 설명 기능의 사용성을 관찰하고자 하는 실험 방식으로 적합함을 확인할 수 있었다.

셋째, 프라이버시 염려 수준이 높은 사용자들은 프라이버시 위협을 많이 느낀다는 사실을 검증하였지만, 위협을 느낌에도 불구하고 설명 기능이 존재할 때, 모든 측정 변인이 긍정적으로 평가되는 것을 검증하였다. 이는 스마트 스피커에서 개인정보를 활용한 설명 기능을 적용하였을 때, 프라이버시 위협으로 인한 부정적인 영향보다 투명성의 증가로 인한 긍정적 영향이 우세하다는 것을 의미하며, 스마트 스피커에서 설명 기능과 프라이버시를 살펴본 연구가 충분하지 않은 상황에서 신뢰와 재사용 행동 의도 등을 높일 수 있도록 실무에 적용할 수 있는 시사점을 발견하였다.

2. 연구의 한계점

이 연구의 첫 번째 한계점은 실험참가자가 20~30대 로만 구성되었다는 점이다. 즉, 본 연구에서 발견된 사실을 모든 연령층에 확대하여 적용하는 것에는 한계가 있다. 그러나 스마트 기기와 같은 발전된 형태의 제품에 대해서는 연령에 따른 차이가 발견되므로 주 사용자인 20~30대로 한정하여 연령에 따른 차이를 통제한 것이 바람직한 것으로 보인다.

둘째, 실험에서 사용된 개인정보는 사전 설문을 통해 수집해야 했으며, 참가자의 개인정보 보안 등의 문제로 가장 기본적인 수준의 개인정보가 활용되었다는 점이다. 본 실험에서 사용된 연령, 성별, 직업 등의 개인정보와 실제 스마트 스피커 기업이 설명 기능을 적용하기 위해 사용하는 개인정보와는 차이가 있을 수 있다. 또한, 개인정보 수준에 따라 제공의도가 달라진다는 사전 연구[15]와 같이 사용자들이 느끼는 프라이버시 위협 역시 차이가 있을 수 있다. 따라서 후속 연구에서는 개인정보 유형에 따라 사용자 경험이 달라질 수 있음을 유의해야 하며 정보 유형에 따른 효과를 검증하기를 제안한다.

Ⅷ. 결론

본 연구는 스마트 스피커에서 개인화 정보를 활용한 설명 기능을 적용하였을 때, 사전연구들과 같이 투명성이 높아지고 신뢰가 형성되는 등 긍정적인 영향을 미치는지, 반대로 사용자가 개인정보 제공으로 인한 프라이버시 위협을 느껴 신뢰도와 만족도 등에 부정적인 영향을 미치는지 알아보고자 하였다. 또한, 사용자의 프라이버시 염려 수준에 따라 평가가 달라지는지 실험을 통해 검증하고자 하였다.

그 결과 설명 기능을 제공하였을 때 프라이버시 위협이 높아짐에도 불구하고 투명성, 인지된 신뢰, 사용자만 족, 재사용 행동 의도, 추천 품질 등을 긍정적으로 평가하는 프라이버시 역설 현상을 확인할 수 있었다. 또한, 프라이버시 염려 수준이 높은 집단에서 프라이버시 위협뿐 아니라 인지된 신뢰를 더 높게 인식하는 인지부조화의 가능성을 발견하였다. 즉 본 연구는 VUI를 활용한 대화형 에이전트 맥락에서 프라이버시 위협의 부정적인 영향보다 설명 기능의 긍정적인 영향이 우세하다는 것을 밝혀내었다는 것에 의의가 있다. 그러나 개인정보의 중요도를 고려할 수 없었다는 한계점을 지니고 있다. 스마트 스피커가 점차 개인화되고 사용자 경험을 위해 다양한 기능이 적용되는 현 상황에서 설명 기능을 적용하기 위해서는 사용자의 프라이버시 염려 수준과 개인정보의 중요도에 따라 평가가 달라질 수 있음을 고려해야 하며, 이를 반영한 대화형 에이전트 가이드라인이 만들어져야 할 것이다.

References

  1. D. Doran, S. Schulz, and T. R. Besold, "What does explainable AI really mean? A new conceptualization of perspectives," In CEUR Workshop Proceedings, Vol.2071, 2018.
  2. H. Johnson and P. Johnson, "Explanation facilities and interactive systems," In Proceedings of the 1st international conference on Intelligent user interfaces, ACM, pp.159-166, 1993.
  3. W. Wang and I. Benbasat, "Recommendation agents for electronic commerce: Effects of explanation facilities on trusting beliefs," Journal of Management Information Systems, Vol.23, No.4 pp.217-246, 2007. https://doi.org/10.2753/MIS0742-1222230410
  4. J. Zhang and S. P. Curley, "Exploring explanation effects on consumers' trust in online recommender agents," International Journal of Human-Computer Interaction, Vol.34, No.5, pp.421-432, 2018. https://doi.org/10.1080/10447318.2017.1357904
  5. S. Karwatzki, O. Dytynko, M. Trenz, and D. Veit, "Beyond the personalization-privacy paradox: Privacy valuation, transparency features, and service personalization," Journal of Management Information Systems, Vol.34, No.2, pp.369-400, 2017. https://doi.org/10.1080/07421222.2017.1334467
  6. J. Lau, B. Zimmerman, and F. Schaub, "Alexa, are you listening?: Privacy perceptions, concerns and privacy-seeking behaviors with smart speakers," Proceedings of the ACM on Human-Computer Interaction, CSCW, Vol.2, No.102, 2018.
  7. L. K. John, A. Acquisti, and G. Loewenstein, "Strangers on a plane: Context-dependent willingness to divulge sensitive information," ournal of consumer research, Vol.37, No.5, pp.858-873, 2010. https://doi.org/10.1086/656423
  8. J. H. Song, H. Y. Kim, S. Kim, S. W. Lee, and J. H. Lee, "Effects of personalized e-mail messages on privacy risk: Moderating roles of control and intimacy," Marketing Letters, Vol.27, No.1, pp.89-101, 2016. https://doi.org/10.1007/s11002-014-9315-0
  9. S. D. Warren and L. D. Brandeis, "Right to privacy," Harv. L. Rev., No.4, p.193, 1890.
  10. A. F. Westin, Privacy and Freedom, New York: Atheneum, 1967.
  11. J. K. Burgoon, R. Parrott, B. A. Le Poire, D. L. Kelley, J. B. Walther, and D. Perry, "Maintaining and restoring privacy through communication in different types of relationships," Journal of social and personal relationships, Vol.6, No.2, pp.131-158, 1989. https://doi.org/10.1177/026540758900600201
  12. T. Buchanan, C. Paine, A. N. Joinson, and U. D. Reips, "Development of measures of online privacy concern and protection for use on the Internet," Journal of the American Society for Information Science and Technology, Vol.58, No.2, pp.157-165, 2007. https://doi.org/10.1002/asi.20459
  13. N. K. Malhotra, S. S. Kim, and J. Agarwal, "Internet users' information privacy concerns (IUIPC): The construct, the scale, and a causal model," Information systems research, Vol.15, No.4, pp.336-355, 2004. https://doi.org/10.1287/isre.1040.0032
  14. P. A. Pavlou, "State of the information privacy literature: Where are we now and where should we go?," MIS quarterly, pp.977-988, 2011. https://doi.org/10.2307/41409969
  15. 김연종, 김진성, 안병혁, "개인정보 제공행위에 대한 Privacy Paradox," 인터넷전자상거래연구, 제16권, 제1호, pp.119-151, 2016.
  16. T. Dinev and P. Hart, "An extended privacy calculus model for e-commerce transactions," Information systems research, Vol.17, No.1, pp.61-80, 2006. https://doi.org/10.1287/isre.1060.0080
  17. H. J. Smith, S. J. Milberg, and S. J. Burke, "Information privacy: measuring individuals' concerns about organizational practices," MIS quarterly, pp.167-196, 1996.
  18. T. Chen, W. L. Han, H. D. Wang, Y. X. Zhou, B. Xu, and B. Y. Zang, "Content recommendation system based on private dynamic user profile," In 2007 International Conference on Machine Learning and Cybernetics, IEEE, Vol.4, pp.2112-2118, 2007.
  19. M. Nilashi, D. Jannach, O. bin Ibrahim, M. D. Esfahani, and H. Ahmadi, "Recommendation quality, transparency, and website quality for trust-building in recommendation agents," Electronic Commerce Research and Applications, Vol.19, pp.70-84, 2016. https://doi.org/10.1016/j.elerap.2016.09.003
  20. J. L. Hebrado, H. J. Lee, and J. Choi, "Influences of Transparency and Feedback on Customer Intention to Reuse Online Recommender Systems," Journal of Society for e-Business Studies, Vol.18, No.2, 2013.
  21. S. Lee and J. Choi, "Enhancing user experience with conversational agent for movie recommendation: Effects of self-disclosure and reciprocity," International Journal of Human-Computer Studies, Vol.103, pp.95-105, 2017. https://doi.org/10.1016/j.ijhcs.2017.02.005
  22. P. Pu and L. Chen, "Trust-inspiring explanation interfaces for recommender systems," Knowledge-Based Systems, Vol.20, No.6, pp.542-556, 2007. https://doi.org/10.1016/j.knosys.2007.04.004
  23. Y. Sun, N. Wang, X. L. Shen, and J. X. Zhang, "Location information disclosure in location-based social network services: Privacy calculus, benefit structure, and gender differences," Computers in Human Behavior, Vol.52, pp.278-292, 2015. https://doi.org/10.1016/j.chb.2015.06.006
  24. H. Xu, X. R. Luo, J. M. Carroll, and M. B. Rosson, "The personalization privacy paradox: An exploratory study of decision making process for location-aware marketing," Decision support systems, Vol.51, No.1, pp.42-52, 2011. https://doi.org/10.1016/j.dss.2010.11.017
  25. H. Xu, T. Dinev, H. J. Smith, and P. Hart, "Examining the formation of individual's privacy concerns: Toward an integrative view," ICIS 2008 proceedings, Vol.6, 2008.
  26. L. Festinger, A theory of cognitive dissonance , Stanford university press, Vol.2, 1962.
  27. 유지현, 강현민, 한광희, "온라인 커뮤니티 속 가입절차 및 지각된 유사성에 따른 평가의 차이," 감성과학, 제21권, 제4호, pp.25-36, 2018. https://doi.org/10.14695/kjsos.2018.21.4.25
  28. 박찬욱, 이상우, "인터넷상에서의 개인정보 보호행동에 관한 연구: 보호동기이론을 중심으로," 인터넷정보학회논문지, Vol.15, No.2, pp.59-71, 2014. https://doi.org/10.7472/jksii.2014.15.2.59
  29. E. Aronson and J. Mills, "The effect of severity of initiation on liking for a group," The Journal of Abnormal and Social Psychology, Vol.59, No.2, p.177, 1959. https://doi.org/10.1037/h0047195