DOI QR코드

DOI QR Code

The Effects of Users' Self-Reference of The Comparative Domain with Creative AI Robot in Music Composition on Their Envy toward Robot, Cognitive Assessment of Music and Intention to Work with Robot

인공지능 로봇과의 비교영역 자기관련성이 사용자의 시기심, 음악 창작물에 대한 평가 및 로봇과의 협업의도에 미치는 영향

  • 이두황 (경희대학교 언론정보학과 교수) ;
  • 김유진 ((주)프로다임 사원)
  • Received : 2020.04.02
  • Accepted : 2020.05.20
  • Published : 2020.05.28

Abstract

The current study explored if users' self-relevance of the comparison domain with creative AI robot in music composition affected their envy toward the robot, cognitive assessment toward the music and intention toward working with robot in future. This study conducted a 2 (degree of self-relevance: high(college students majoring in music) vs. low(those not majoring in music) × 2 (working type: robot-only vs. robot-human collaboration) between-subjects factorial design experiment. The findings revealed that those majoring in music did not feel envious of the robot as much as those not majoring in music. However, compared to those not majoring in music, those majoring in music evaluated the robot's creativity lower, had more negative attitude toward the music, showed less intention to use the music and work with the robots in future. No interaction between the degree of self-relevance and the working type was found.

본 연구는 인공지능 로봇이 높은 수준의 음악적 창작물을 제시할 때 로봇과 인간과의 협업정보 유무와 함께 로봇과의 비교영역의 자기관련성 정도가 사용자의 로봇에 대한 시기심, 창작한 음악에 대한 예술성의 평가와 태도, 그리고 향후 창작 음악을 사용하고 로봇과 협업할 의도에 미칠 영향을 검증했다. 2(비교영역 자기관련성: 낮음(음악 비전공자) vs. 높음(음악 전공자)) × 2(작업유형: 로봇 홀로 작업 vs. 로봇과 인간의 협업)의 집단 간 요인 설계 실험으로 진행하였다. 연구 결과, 자기관련성이 높았던 음악 전공자들에 비해 자기관련성이 낮았던 비전공자들이 로봇의 능력에 대하여 더 높은 시기심을 갖고 있는 것으로 나타났다. 그러나 음악 전공자들은 로봇이 창작한 음악의 예술성을 더 낮게 평가했고, 음악에 대한 태도도 더 비호의적이었고, 향후 음악을 사용할 의도와 로봇과 협업할 의도를 더 낮게 보고 했다. 한편, 인간과의 협업 정보 여부는 시기심을 비롯한 종속변인에 유의미한 영향을 주지 않았다.

Keywords

I. 서론

1990년 아이비엠(IBM)의 ‘딥 블루(Deep blue)’가 체스 챔피언 게리 카스파로프(Garry Kasparov)에게 승리한 이후, 처음 주목 받기 시작한 인공지능 (Artificial Intelligence, AI) 컴퓨팅 분야는 현재 하루가 다르게 눈부시게 성장하고 있다. 대표적으로 지난 2016년, 구글(Google)의 ‘알파고(AlphaGo)’는 전문가들의 예상을 뒤엎고 바둑 기사 이세돌에게 압승을 거둠으로써 비단 한국뿐 아니라 세계적으로 큰 충격을 안겼다.

최근에는 오랫동안 인간의 고유 영역으로 여겨졌던 미술이나 음악과 같은 예술 분야까지 인공지능 기술이 적용되고 있는 실정이다. 예를 들면, 구글의 경우 ‘마젠타 프로젝트(Magenta Project)’를 통해 AI가 스스로 미술과 음악을 창작할 수 있는 알고리즘을 개발함과 동시에 예술가, 코딩 기술자, 머신러닝 연구자들로 구성된 오픈소스 플랫폼 구축하여 예술 창작의 신기원을 열고 있다.

연일 새롭게 쏟아져 나오고 있는 AI의 창작 작업 소식들은 더 이상 예술이 완전히 인간의 전유물만이 아닐 수도 있다는 흥분감과 동시에 두려움도 함께 안겨주고 있다. 최근 AI가 사람의 일자리를 대체하면서 실업률이 높아질 것이라는 부정적 예측이 급속도로 거세지고 있는 것이 그 좋은 예이다[1]. 더구나 AI가 엄청난 데이터 처리와 광대한 기존 선행 연구 검토를 바탕으로 만들어내는 작품의 질(質)이 때로는 인간의 수준을 뛰어넘은 것처럼 보이기도 한다는 점까지 고려하면 ‘창작자’로서의 AI의 잠재력에 대한 두려움이나 공포는 더욱 강화될 공산이 크다.

인간-컴퓨터 상호작용(Human-Computer Interaction, HCI)적 관점에서 보면, AI가 창조한 어떤 결과물을 보고 마치 인간 예술가의 작품을 감상할 때 그러한 것처럼, 인간이 감탄, 놀라움, 실망감, 만족감 등 여러 감정을 실제로 느끼게 될 것인지 혹은 더 나아가 AI를 실재(實在)하는 하나의 ‘사회적 행위자(social actor)’로 대할 것인지의 여부를 탐색하는 것은 매우 중요한 연구 주제라 할 수 있다. 왜냐하면 만약 어떤 AI가 인간보다 우월한 예술적 퍼포먼스를 보여주고 또 인간은 이에 대해 어떤 사회적 감정을 느낀다면, 이는 곧 사용자가 AI를 마치 ‘인간’처럼 대한다는 말이 되고 나아가 사람들이 그 AI를 사회적으로 수용하고 그에 따른 행위를 할 가능성이 커진다는 의미를 갖게 되기 때문이다[2].

본 연구는 AI가 탑재된 로봇이 예술적으로 정교한 행위를 보여줄 때 사용자가 그 로봇과 창작물에 대하여 느끼는 감정적 반응과 함께 인지적인 평가와 행위적인 결과에 주목하고자 한다. 과연 사람들은 인공지능 로봇 예술가와 그의 창작물에도 현실과 비슷한 심리적 반응을 보이며 사회적 감정을 느낄 것인가? 만약 AI 로봇에 의한 창작물의 수준이 인간에 의한 예술의 수준을 넘는다고 생각한다면 사용자들은 로봇과 그 창작물에 대하여 어떤 평가를 내리고 어느 정도로 사용할 의도를 갖게 될 것인가? 이러한 질문에 답하는 것은 현재 우후죽순 격으로 쏟아지고 있는 ‘창조하는’ AI 로봇 기술들의 수용가능성과 함께 그 기술의 사회적 역할에 대한 논의에도 보탬이 될 수 있다.

본 연구는 사람들이 컴퓨터를 단순한 도구가 아닌, 자신과 같은 하나의 사회적 행위자로 대한다고 주장한 ‘컴퓨터는 사회적 행위자(Computers-Are-Social-Actors, CASA)’ 패러다임[3]을 주요 이론적 토대로 삼고 AI 로봇의 창작물에 대한 사용자들의 감정 반응과 인식을 실증적으로 탐색하고자 한다. 특히 인간이 느끼는 많은 사회적 감정 중에 서도 복잡하고 다면적인 감정인 시기심이 로봇과의 상호작용 상황에서도 동일하게 발현되는 여부에 초점을 두고 AI 로봇이 창작한 음악에 대한 인지적 반응과 로봇과의 협업 행위에 미치는 영향을 실험실 실험 (laboratory experiment)을 통해 검증할 것이다.

II. 문헌 고찰 및 연구가설

1. 컴퓨터는 사회적 행위자 패러다임과 인간과 로봇의 상호작용

CASA 패러다임에 의하면, 인간은 무의식적으로 미디어를 마치 사람처럼 “사회적”으로, 또 “자연스럽게”대하는 습성이 있기 때문에 사람들은 인간이 아닌 어떤 컴퓨터 에이전트에게 반응할 때도 인간과 인간 사이의 커뮤니케이션 과정에서 적용되는 다양한 사회적 규범들을 그대로 적용한다[3].

리브스와 나스[3]는 인간의 뇌가 생존에 유리하도록 진화되는 과정에서 인간이 언어를 사용하고 성격과 감정을 표현하는 인간적 특성을 보이는 대상을 사람인 것처럼 자연스럽게 대하게 되었다고 설명한다. 이러한 진화론적 설명은 인간이 상호작용하는 미디어나 기계가 인간이 아니라는 사실을 잘 알고 있음에도 불구하고 그 상대가 실제로 존재하는 대화 상대인 것처럼 자동적으로 반응하게 된다는 것을 제시하는 것이다.

많은 실증연구들은 이러한 가정이 HCI 분야에서도 적용될 수 있다는 점을 보고해 왔다. 예를 들어, 포그와 나스[4]는 사람들이 컴퓨터로부터 아첨(flattery)을 들었을 때도 사람한테 들었을 때와 비슷한 반응을 보인다는 사실을 발견하였다. 문[5] 역시 컴퓨터가 자신의 성능, 무게 등의 정보를 사용자에게 자기 노출했을 때(예:빠른 중앙정보처리장치와 가벼운 무게), 사용자 또한 자신에 대한 더 많은 개인 정보를 밝히고 컴퓨터를 더 긍정적으로 평가한다는 사실을 보고한 바 있다. 이외 다른 연구들도 컴퓨터의 성별 설정에 따라 성별에 대한 고정관념이 다르게 적용하고[6], 유머러스한 메시지를 전달하는 컴퓨터를 더 선호하고 더 협업하길 원한다는[7] 등 CASA 패러다임의 주장을 뒷받침하는 다양한 결과들을 산출해 왔다.

한편, 최근에는 HCI 영역을 넘어 인간-로봇 상호작용(Human-Robot Interaction, HRI) 영역으로 연구의 지평이 확장되고 있다. HRI의 주요 관심 중 하나는 로봇과의 자연스럽고 고성능의 상호작용을 촉진할 수 있도록 인간적인 요소를 많이 담아내는 로봇을 개발하는 것이다. 예를 들어, 로봇의 외형이 의인화되거나[8], 자연스러운 음성을 사용하거나[9], 성격을 부여하거나[10], 인간의 역할(예, 간병인, 보안경비)을 대신하거나[11], 유머[12]나 감정을 표현하는[13] 로봇에 대한 사용자의 반응을 검증하는 연구들이 활발히 진행되고 있다.

만약 이러한 CASA 패러다임의 주장이 옳다면, 인간-인간 커뮤니케이션에 수반되는 각종 정서적 반응들도 인간-로봇 상호작용 과정에도 그대로 적용될 수 있을 것이다. 실제로 HRI 분야의 선행 연구들은 사람들이 인공적 대상에 대한 극성(긍정성과 부정성)과 각성과 같은 기본 감정뿐만 아니라 신뢰감이나 유대감 같은 사회적 감정 역시 인간과 인간의 관계처럼 동일한 양상으로 드러내는 경향이 있다는 사실을 보고하고 있다[13]. 예를 들어, 인간이 의인화된 로봇에게도 인간에게 느끼는 감정적 반응을 보인다는 것이 보고되었는데, 로봇 손과 인간의 손이 각각 칼에 의해 잘리는 가상 이미지를 제시하고 뇌전도(EEG)로 뇌파를 측정함으로써 로봇의 고통에 공감하는 인간의 능력을 확인하였는데, 실험 참가자들은 로봇이 다친 경우에도 인간이 다친 경우와 비슷한 반응을 보였다[14]. 종합하면, 이러한 연구 결과들은 결국 인간이 AI 로봇에도 사람처럼 느끼고 반응하기 때문에 보다 만족스러운 인간-로봇 상호작용을 위해서는 이러한 감정적 교류를 촉진시킬 방안을 강구하는 것이 중요하다는 것을 암시하는 것으로 해석할 수 있다.

2. 로봇에 대한 시기심과 비교영역 자기관련성

과연 시기심과 같이 상대적으로 복잡하고 다면적인 사회적 감정들 역시 인공지능 로봇과의 상호작용에 의해 발현될 것인가? 또 그렇다면 이러한 감정을 경험한 사용자들의 대상에 대한 인지적 평가와 그에 따른 행동은 어떻게 변화할 것인가? 이들 질문들은 학문적으로 실무적으로 중요한 가치를 지닐 수 있다.

시기심은 인간이 타인에게 느끼는 여러 감정 중에서도 가장 보편적이고 근원적인 사회적 감정 중 하나로 알려져 있다. 시샘, 부러움, 동경, 질투 등 여러 표현들로 혼용되어 사용되고 있으나 일반적으로 상대방을 시기하는 부정적인 의미를 더 내포하고 있다.

통상 시기심은 타인과의 ‘비교’에서 유발되는 사회적 감정이라고 정의된다. 가령, 페스팅거[15]는 시기심을 자신의 의견과 능력을 타인의 의견과 능력과 비교하여 평가하는 일종의 사회적 비교의 결과물로 파악했는데. 보다 세부적으로 그가 제시한 ‘사회 비교 이론(social comparison theory)’에 따르면, 일반적으로 사람들은 ① 자신을 평가하려는 동기를 가지고 있고, ② 특히 객관적 평가 기준이 모호한 경우, 보통 자신과 유사한 사람들을 비교하여 자신을 평가하려는 욕구를 충족하는 경향이 있으며, ③ 이러한 사회적 비교는 주로 ‘하향 비교(downward comparison)’나 ‘상향 비교(upward comparison)’ 둘 중 하나의 형태로 진행된다. 긍정적 차원에서 바라 볼 때 하향 비교, 즉 자신을 자신보다 못하거나 덜 행복하다고 평가받는 대상과 비교할 경우, 자신을 보다 긍정적으로 바라보고 고양(self-enhancement)할 수 있게 되는 반면, 상향 비교, 즉 자신보다 위에 있다고 믿는 대상과 비교하면 자신을 개선(self-improvement)하려 노력하게 되는 장점을 취하게 된다.

주목할 점은 타인과의 비교가 전술한 것처럼 항상 긍정적 효과만을 담보하지는 않는다는 것이다. 자칫하면 이 과정에서 시기심과 같은 부정적인 감정이 발현될 수도 있기 때문이다. 이런 측면에서, 스미스와 킴[16]은 상향식 사회적 비교를 통해 타인의 우월성을 확인하였을 때, 열등감과 적대감, 억울함 등이 합쳐진 불편하고 고통스러운 감정인 시기심이 생성된다고 주장했다. 결국, 사람들은 자신들에 비해 우월하다고 평가받는 다른 사람들을 본받을 수도 있지만, 반대로 그들에게 강한 시기심을 느끼고 그 결과 스스로의 자아상을 부정적으로 보게 되면서 심리적 고통을 겪을 수 있다고도 볼 수 있다.

그렇다면 과연 AI 로봇이 인간이 시기하는 대상이 되는 조건에 충족될 수 있을까? 선행 연구들에 따르면, 시기하는 사람이 시기하는 대상과 유사하다고 느낄 때, 그리고 자신과 관련된 결과가 그 대상과 관련되어 불공정한 절차로 인해 발생한 것이라고 판단할 때 시기심이 강렬해진다고 한다[16]. 또 스미스[17]는 시기심이 발생하는 네 가지 조건을 제시했는데 구체적으로는, ① 시기심은 한 개인이 다른 사람이 자신이 바라는 속성 (예: 창작자로써 사회적으로 인정)을 제외하고는 자신과 유사할 때(예, 같은 분야에서 작업) 발생할 확률이 높고. ② 그 바라는 속성이 개인적으로 자신과 밀접하게 관련되어 있을 때 발생할 확률이 높으며, ③ 그 속성을 성취할 자신의 능력에 대하여 확신하지 못할 때 발생할 확률이 높이지고, 마지막으로 ④ 시기심의 대상인 타인이 그 바라는 속성을 공정하게 성취했다고 스스로 생각하지 않을 경우에 발생할 공산이 크다고 주장하였다.

로봇이 사회적 행위자로 인식된다는 CASA 패러다임에서, 적어도 특정 분야의 전문가들은 자신들의 분야에서 활동하는 AI 로봇을 시기심의 대상으로 인식할 가능성은 일반인에 비해 상대적으로 더 클 공산이 크다고 유추해 볼 수 있다. 왜냐하면 이들 전문가들은 명확한 검증 없이 ‘기계’가 자신과 같은 일을 할 수 있다고 사회적으로 인정받고 있다는 사실 자체를 불공정하다고 생각할 확률이 훨씬 높을 것이기 때문이다. 더구나 최근 인간의 전유물처럼 인식되어 온 ‘예술적 창조성’ 개념을 위협하는 최근 AI 기술들의 발전상을 고려한다면 상황은 더욱 그러할 것 있다. 이는 예술이나 미디어 분야의 창작자들이 자신들만의 온전한 영역으로 여겨 온 분야에서, 별다른 검증 없이, AI 로봇이 그들 자신보다 더 큰 성과를 낼 수 있고 더 높은 평가를 받을 수 있다고 인식되는 것 자체에 불공정함을 느끼게 되고 그에 따라 시기심을 느끼게 될 가능성이 높아지게 되기 때문이라 할 수 있다.

바로 이런 차원에서 스미스와 킴[16]은 시기심 형성의 선행 요인으로 소위 ‘비교영역 자기관련성 (self-relevance of the comparison domain)’ 개념을 제시하였다. 사람들은 일단 성별이나 나이, 그리고 사회적 지위 등의 측면에서 상호 비교가 가능한 자신과 유사한 타인들과 주로 사회 비교를 하는 경향이 있지만, 시기심이 실제로 발현되려면 타인과의 지각된 유사 성 뿐만 아니라 자신의 목표와 관련된 영역에서의 타인과 비교할 수 있는 자기관련성도 높아야 한다는 것이다. 그 이유는 통상 타인에 대한 감정은 자기 자신의 중요한 목표와 관련되어 있기 때문에, 자신이 비교 대상인 타인과 중요한 영역을 공유하지 않으면 시기심을 느낄 필요가 없을 수도 있기 때문이다. 예를 들어, 살로베이와 로딘[18]은 실험을 통해 타인과 유사성이 있더라도 자기관련성이 수반될 때에만 시기심이 커지는 것을 밝혀냈는데, 그들의 실험에서 피험자들은 오직 자신이 선호하는 분야에서 더 나은 평가를 받은 학생 실험자에게만 시기심을 느끼는 것으로 나타났다.

정리하면, CASA 패러다임과 사회 비교 이론에 근거하여, 본 연구는 먼저 기술 사용자들은 대상이 인간이 아닌 기계임을 잘 알고 있음에도 불구하고 AI 로봇이 만약 ‘인간다운’ 특성을 보여준다면 그 로봇을 마치 인간처럼 대할 것이고, 더 나아가 만약 로봇이 만든 예술 작품이 높은 사회적 평가를 받는다고 생각할 경우 로봇에게 시기심을 느낄 수도 있다고 예측한다. 또 이 과정에서 해당 로봇과 창작 영역을 공유하는 비교 영역 자기관련성이 높은 사람들은 더 직접적인 상향식 사회 비교를 통해 더 큰 시기심을 느낄 것으로도 예상한다.

특히, 본 연구는 시기심과 같은 상대적으로 복잡한 사회적 감정은 단순한 일차적 감정(예: 분노, 역겨움, 슬픔, 기쁨, 공포, 놀람 등)과는 다르게 일차적 느낌(feeling)과 인지적 평가(cognitive appraisal)가 결합된 감정일 가능성이 높을 것에 주목한다[19]. 이는 시기심이 대상의 개인 수준 특성에 반응하고 경험하는 개인 내적감정이 아니라 대상의 사회적 상황 정보를 처리하는 인지 과정을 포함하는 대인 관계적 감정이기 때문이 다. 다시 말해, 시기심은 단순히 대상 자체가 자아내는 단순한 감정이라기보다는 사회 인지적 차원에서 대상과 대상을 둘러 싼 여러 사회적 요인들을 평가하여 느끼게 되는 감정이라는 것이다.

예컨대, 만약 높은 수준의 예술 작품을 선보이는 AI 로봇과 상호작용하면서 그에 대한 높은 사회적 평판에 대한 정보에 노출되면, 비교영역의 자기관련성이 낮은 사람들은 1차적 평가를 통해 로봇의 음악작품에 대한 놀라움을 먼저 경험하고, 2차적 평가에서는 기계의 높은 예술 재능에 대한 부정적인 감정인 시기심보다는 사회적으로 인정받는 창의성에 대한 경탄과 흥미로움을 더 크게 느낄 수 있다. 반면, 자기관련성이 높은 사람들은 1차적 평가에서는 비슷한 수준의 놀라움을 경험할지 모르지만 2차적 평가에서는 로봇의 높은 사회적 평판이 과연 공정하게 성취되었는지 여부에 대한 절차적인 상황에 더 주목하여 더 높은 수준의 시기심을 느낄 수 것으로 예상해 볼 수 있다. 이러한 이론적 논의를 바탕으로 본 연구는 다음과 같은 연구 가설을 먼저 제시하고자 한다.

<연구가설 1> 로봇과의 비교영역 자기관련성이 낮은 사용자들보다는 높은 사용자들이 높은 수준의 창작물에 시기심을 더 크게 느낄 것이다.

또한 본 연구는 이렇게 발현된 로봇에 대한 시기심으로 인해, 그 창작물에 대한 예술성에 대한 평가와 태도, 그리고 향후 해당 창작물의 사용 의도와 로봇과의 협업 의도에 대한 차이도 유의미한 수준에서 나타날 것이라고 예상한다. 이는 시기심이 자아에 위협 지향적인 정서에 가깝기 때문인데, 자기관련성이 높은 사용자들이 상향 비교의 결과로써 로봇의 우월함을 느끼게 되면 자신의 위협으로 평가하고 이에 맞서 로봇을 평가절하 하는 정서가 나타날 확률이 크다는 것이다. 이를 고려할 때, 본 연구는 자기관련성이 낮은 사용자들에 비해 자기관련성이 높은 사용자들은 로봇에 대한 시기심으로 인해 로봇이 만든 창작물에 대한 예술성을 더 낮게 평가할 것이고, 그 작품에 대한 덜 호의적인 태도를 보여줄 것이고, 향후에 더 낮은 창작물의 사용의도와 로봇과의 협업의도를 보여줄 것으로 예측한다.

<연구가설 2> 로봇과의 비교영역 자기관련성이 낮은 사용자보다는 높은 수준의 사용자들이 로봇의 창작물에 대한 예술성을 더 낮게 평가할 것이다.

<연구가설 3> 로봇과의 비교영역 자기관련성이 낮은 사용자보다는 높은 수준의 사용자들이 로봇의 창작물에 대하여 태도가 덜 호의적일 것이다.

<연구가설 4> 로봇과의 비교영역 자기관련성이 낮은 사용자보다는 높은 수준의 사용자들이 향후 로봇이 만든 창작물을 사용할 의도가 더 낮을 것이다.

<연구가설 5> 로봇과의 비교영역 자기관련성이 낮은 사용자보다는 높은 수준의 사용자들이 향후 로봇과 협업할 의도가 더 낮을 것이다.

마지막으로 본 연구는 위의 가설들과 함께 본 시기심의 크기를 조절할 사회적 변인으로 AI 로봇의 ‘작업 유형’을 제안하고 그 상호작용 효과를 탐색하는 연구 문제를 제기하고자 한다. 여기에서 작업 유형이란 로봇이 홀로 창작 작업할 경우와 로봇이 인간과 함께 창작 작업을 한 경우로 구분할 것인데, 본 연구는 사용자가 로봇의 작업 유형에 대한 정보에 노출되면 비교영역 자기 관련성의 정도에 따라 로봇에 대한 시기심과 함께 음악 창작물의 예술성과 태도, 그리고 향후 음악을 사용하고 로봇과 협업할 의도의 크기가 조절될 가능성을 탐색하고 한다. 가령, 만약 AI 로봇이 홀로 그 예술작품을 창작해서 사회적인 성취를 얻었다는 정보에 노출되면, 로봇과 자기관련성이 높은 사람들은 더욱 시기심이 커지게 되고 그에 따라 로봇과 창작물에 대한 반응이 더욱 부정적이 될 수 있겠지만 자기관련성이 낮은 사람들의 시기심은 큰 변화가 없을 수 있다고 예측가능하다. 그러나 이러한 본 연구의 예측은 선행 연구에 의해 이론적이거나 실증적인 근거가 부족하기 때문에 본 연구는 아래의 연구 문제를 제시하고 그 답을 탐색해 보고자 한다.

<연구문제 1> 로봇의 작업유형은 사용자의 비교영역 자기관련성과 상호작용하여 로봇에 대한 시기심과 로봇이 만든 창작물에 대한 예술성 평가와 태도, 향후 창작물 사용의도와 로봇과의 협업의도를 조절 하는가?

III. 연구방법

1. 실험 설계

본 연구는 2(비교영역 자기관련성: 낮음(음악 비전공자) vs. 높음(음악 전공자)) × 2(작업유형: 로봇 홀로 작업 vs. 로봇과 인간의 협업)의 총 4개 집단 간 요인 설계 실험을 진행하였다. 실험 대상자들은 20대 연령의 서울 소재 대학생 120명을 대상으로 모집하였다. 우선 첫 번째 독립 변인인 비교영역 자기관련성의 조작에 따라 생성된 2개의 실험 집단에 60명의 음악 비전공자(예: 간호, 경영, 경제, 국어국문, 디자인, 식품영양, 언론, 화학, 자율전공 학과 등)와 60명의 음악 전공자(예, 작곡과, 기악, 성악 등)를 할당하였다. 그 다음, 두 번째 독립 변인인 로봇의 음악 창작 유형의 조작에 따라 그 두 집단을 다시 로봇이 홀로 창작한 음악을 듣는 집단과 로봇과 인간이 함께 협업하여 창작한 음악을 듣는 집단 등 총 4개의 집단으로 무작위로 할당하였다. 각 실험 집단별 크기는 30명이었고 성별에 따른 집단 간 차이를 통제하기 위해 각 실험 집단 별로 여성 피험자와 남성 피험자 성비를 약 6:4 수준으로 거의 동일하게 배정하였다. 분석에 이용된 피험자의 평균나이는 약 23 세이었다(M = 23.24, SD = 2.23, N = 120).

2. 실험 자극의 선정 및 조작

본 연구는 로봇과 관련된 비교영역 자기관련성과 작업유형을 조작하여 실험 자극물을 제작하였다. 두 독립 변인을 조작하기 전에 먼저 원격 조종 시스템 기반 로봇(tele-operating robot)을 설계하고 제작하였다([그림 1] 참조). 이는 실제 인공지능 로봇은 아니지만 로봇 운영자(operator)가 원격에서 발화와 움직임 등을 조종함으로써 대화 상대방으로 하여금 마치 실제 인공지능 로봇인 것처럼 느껴지도록 할 수 있는 시스템이다. 로봇의 발화는 텍스트를 음성으로 변환하여 주는 TTS(text to speech) 서비스인 ‘오드캐스트 (Oddcast)’를 사용하였으며, 목소리의 성별에 따른 반응 차이가 나지 않기 위해 중성적인 목소리 톤을 사용 하였다.

CCTHCV_2020_v20n5_79_f0001.png 이미지

그림 1. 실험 로봇

실험에서 사용할 로봇이 창작한 음악 창작물을 조작하기 위해 전문 작곡자에게 음악 작곡을 의뢰하였다. 세부적으로는 피험자가 실험실에서 들을 수준 높은 음악으로 인식하게 만들기 위해 MIDI를 이용해 클래식한 스타일로 1분 30초정도 길이의 음악을 창작하게 하였다. 이어 실험 전, 두 명의 작곡과 교수들에게 창작 음악의 난이도와 예술적 수준을 확인 받음으로써 자극물의 내용 타당도(content validity)를 확인하는 과정을 거쳤다. 또한 음악 전공자들을 이용한 사전 실험을 통해 자극물의 수준을 검증한 결과, 자극물 음악의 예술성이 높은 수준으로 확인되었다(M = 5.54, SD = 1.12, N = 12). 예술성 평가는 송은아[20]가 제시한 5문항을 7점 척도로 측정하였다.

첫 번째 독립 변인인 로봇과의 비교영역 자기관련성 정도를 조작하기 위해 실험에 참가한 피험자들을 ‘음악’이라는 자극물과 직접적으로 관련이 있는 음악 대학에 재학 중인 전공 학과의 학생 집단과 타학문전공 학생 집단으로 구분하였다. 두 번째 독립 변인인 로봇의 창작 작업유형 정보를 조작하기 위해 피험자에게 로봇이 음악을 창작한 작업과정에 대한 정보를 두 가지 형태로 다르게 제시하였다. 구체적으로 로봇이 혼자 음악을 창작한 조건에서는 로봇은 작곡부터 편곡까지 모든 과정을 혼자 작업해서 음악을 창작했고 그 음악 창작물로 다섯 명의 인간 음악가와 다섯의 인공지능 로봇이 참가한 국제 창작 음악대회에서 모든 참가자들을 제치고 1등을 수상했다는 설명을 하였다. 반면에 로봇이 인간과 협업하여 음악을 창작한 조건에서는 로봇은 피험자에게 자신은 음악을 작곡을 하고 인간은 그 음악을 편곡하였고 그 창작물로 다섯 명의 인간 음악가와 다섯의 인공지능 로봇이 참가한 한 국제 창작 음악대회에서 모든 참가팀을 제치고 1등을 수상했다는 설명을 하였다. 이러한 메시지 조작은 연구에 참여한 피험자들이 AI 로봇에 대한 상향식 사회적 비교 동기와 욕구를 자극하기 위한 설계되었다.

3. 실험절차

실험은 다음과 같은 절차로 진행되었다. 피험자가 실험실에 도착하면 실험에 대한 안내를 듣고 로봇이 있는 실험실에 입장하였다. 반면 실험자는 실험실과 떨어진 별도의 운영실에서 로봇을 원격조정하고 로봇의 눈에 달린 카메라를 통해 피험자를 관찰하고 반응에 따라 로봇의 머리의 움직임을 조정하였다. 이러한 조작을 통해 실험실에서 개별 피험자는 스스로 작동하는 로봇과 상호작용을 하고 있다고 믿게 만들었다. 이러한 실험 진행 방식을 ‘오즈의 마법사(Wizard of Oz)’ 방식이라고 일컫는다[11]. 피험자는 실험실에 있는 로봇과 간단한 인사를 나눈 뒤, 로봇이 홀로 창작했거나 인간과 함께 협업하여 창작했다는 음악을 들었으며, 음악 감상이 끝나면 로봇은 피험자들에게 어떻게 음악을 창작했는지에 대하여 간략한 설명을 하였다. 로봇이 작별 인사를 하면 피험자들은 설문 응답을 위한 별도의 공간으로 이동해 설문 문항들에 응답하였다.

4. 종속변인의 측정

종속변인인 로봇에 대한 시기심, 음악 창작물의 예술성과 태도, 향후 음악을 사용할 의도와 로봇과의 협업 의도를 측정하였다. 우선 ‘로봇에 대한 시기심’[21]은 ‘나는 로봇이 가진 창의적 능력을 원한다’, ‘나에게 로봇이 가지고 있는 능력이 부족하다’, ‘나는 로봇에게 시기심을 느낀다’, ‘나는 로봇에게 씁쓸함을 느낀다’, ‘나는 로봇에게 불리함을 느낀다’ 라는 5문항을 7점 척도로 측정하였다(M = 3.40, SD = 1.06, α = .76).

다음으로 ‘음악 창작물의 예술성’[20]은 ‘완성도가 높다’, ‘고급스럽다’, ‘세련되었다”, ’예술성이 뛰어나다‘, ’ 음악성이 뛰어나다‘ 등의 5문항을 7점 척도로 측정하였다(M = 4.78, SD = 1.21, α = .92).

‘음악창작물에 대한 태도’[22]는 ‘호감이 간다’, ‘긍정적이다’, ‘마음에 든다’, ‘좋다’ 등의 4문항을 7점 척도로 측정하였다(M = 4.93, SD = 1.33, α = .91).

향후 ‘로봇이 창작한 음악을 사용할 의도’[23]는 ‘나는 로봇이 창작한 음악을 듣는 것을 즐길 것 같다’, ‘친구들에게 로봇이 창작한 음악을 추천할 생각이 들었다’, ‘나는 로봇이 창작한 음악을 구매할 의사가 있다’ 등의 3문항을 7점 척도로 측정하였다(M = 3.73, SD = 1.33, α = .83).

마지막으로 ‘로봇과의 협업 의도’[24]는 “나는 로봇과의 협업을 즐길 것 같다”, “나는 로봇과 협업할 의사가 있다”, “나는 로봇과 동료로 일할 의사가 있다’등의 3문항을 7점 척도로 측정하였다(M = 4.45 SD = 1.59, α= .93).

IV. 연구결과

본 연구에서 제시한 개별 연구가설을 검증을 위해 비교영역 자기관련성과 작업유형을 독립변인으로 설정하여 각 종속변인들에 대해 일련의 이원 변량분석(a series of two-way ANOVAs)을 실시하였다.

우선 로봇에 대한 시기심의 경우, 음악 전공자인 실험 참가자들(M = 3.09, SD = 1.07)은 비전공자 실험 참가자들(M = 3.72, SD = .95)보다 로봇에 대하여 시기심이 낮았다(F = 11.599, p < .001, η² = .091). 둘째로 창작한 음악에 대한 예술성 평가의 경우, 음악 전공자들(M = 4.18, SD = 1.12)은 비전공자들(M = 5.38, SD = .99)보다 로봇이 창작한 음악의 예술성을 더 낮게 평가했다(F = 38.545, p < .001, η² = .25). 셋째로 음악에 대한 태도의 경우, 음악 전공자들(M = 4.38, SD = 1.31)은 비전공자들(M = 5.48, SD = 1.10)보다 더욱 부정적인 태도를 보였다(F = 24.777, p < .001, η² = .18). 넷째로 음악의 사용의도의 경우, 음악 전공자들 (M = 3.37, SD = 1.21)은 비전공자들(M = 4.09, SD = 1.35)보다 미래에 로봇이 창작한 음악을 사용할 의도가 더 낮은 것으로 보고 하였다(F = 9.141, p < .01, η² = .07). 마지막으로 로봇과의 협업의도의 경우, 음악 전공자들(M = 4.00, SD = 1.64)은 비전공자들(M = 4.89, SD = 1.42)보다 미래에 로봇과 협업할 의도가 낮은 것으로 나타났다(F = 10.003, p < .01, η² = .08)). 각 종속 변인에 대해 통계적으로 유의미한 차이가 나타났지만, 비전공자들이 전공자들에 비해 로봇에 대한 시기심을 더 느끼는 것으로 나타났다. 따라서 <연구가설 1>은 지지되지 않았고 <연구가설 2, 3, 4, 5>는 지지되 었다.

<연구 문제 1>는 로봇과 사용자의 비교영역 자기관련성 연관 정도가 소비자 반응에 미치는 부정적 영향이 음악을 창작하는 작업유형에 의해 조절되는 지를 탐색했다. 구체적으로 비교영역 자기관련성이 로봇에 대한 시기심, 음악에 대한 예술성 평가와 태도, 음악 사용의도와 로봇과의 협업의도에 미치는 부정적 영향이 사용자가 로봇이 인간과 함께 음악을 창작한 경우보다 로봇이 홀로 모두 창작할 경우에 더욱 커질 가능성을 살펴보았다. 이를 검증하기 위해 각 종속변수에 대해 일련의 변량분석을 실시하였다. 결과적으로, 일단 로봇의 창작 작업유형은 모든 종속변인인 로봇에 대한 시기심(F = 2.026, p > .05, η² = .017), 음악에 대한 예술성(F = .344, p > .05, η² = .003), 음악에 대한 태도(F = 2.053, p > .05, η² = .017), 음악 사용의도(F = .598, p > .05, η² = .005), 로봇과 협업의도(F = 1.502, p > .05, η² = .013)에 대해 통계적으로 유의미하지 않았다. 이렇게 로봇의 작업유형의 주효과는 통계적으로 유의미하지 않을 뿐만 아니라, 사용자와의 비교영역 자기관련성 간의 상호작용 효과도 모든 종속변인인 로봇에 대한 시기심(F = .398, p > .05, η² = .003), 음악에 대한 예술성(F = 1.903, p > .05, η² = .016), 음악에 대한 태도(F = .019 p > .05, η² = .000), 음악 사용의도(F = .066, p > .05, η² = .001), 로봇과 협업의도(F = .000, p > .05, η² = .000)에서 유의미하지 않았다. 결과적으로 사용자 반응에 대한 비교영역의 자기관련성의 부정적 영향의 크기를 로봇의 창작 작업유형은 조절하지 않는 것으로 나타났다.

V. 결론 및 함의

연구 결과, <연구가설 1>의 예측과는 달리, 음악을 창작한 AI 로봇과 비교영역 자기관련성이 낮았던 음악 전공자들은 자기관련성이 높은 음악 전공자들에 비해 로봇의 능력에 대한 시기심을 높게 느끼는 것으로 나타났다. 주 효과의 방향이 가설과 반대로 나타난 원인으로 자기관련성이 높은 음악 전공자들은 로봇의 창작 능력을 인정하지 않고 평가절하 했을 가능성을 고려해볼 수 있다. 즉 사전조사에서의 음악 전공자들과 달리 본 실험에 참여한 전공자들은 시기심을 느낄 만큼 본 실험에서 사용된 음악 창작물을 높게 평가하지 않았을 지도 모른다. 앞서 언급한 것처럼 본 연구의 사전 조사에 따르면, 12명의 음악 전공자들은 음악 창작물이 인간에 의해 창작되었음을 인지하고 창작물의 예술성을 높게 평가하였다(M = 5.54, SD = 1.12). 그러나, 본 실험에 참여한 60명의 음악 전공자들은 해당 창작물이 로봇에 의해 창작되었다는 설명을 들었고, 그 예술성을 사전조사 결과 보다 낮게 평가했다(M = 4.18, SD = 1.12). 반면, 본 실험에 참여한 60명의 비전공자들은 그 음악 자극물에 대하여 사전 조사와 비슷한 수준의 예술성 평가를 보고하였다(M = 5.38, SD = .99). 이러한 점을 고려해볼 때, 본 실험에 참여한 음악 전공자들이 비전공자들에 비해 AI 로봇을 예술 작품을 창작하는 사회적 행위자로 인정하지 않고, 단순한 도구로써 평가절하 했을 가능성이 있다고 볼 수 있다.

이러한 결과는 음악 전공자들이 비전공자들보다 AI 로봇과 사회적 비교를 하는 동기가 더 적게 발현되었을 가능성도 제기한다. 로봇과 유사한 작업영역을 공유한 전공자들은 로봇을 사회적 비교의 대상으로 인식하기보다는 업무를 위한 도구로써 그 유용성을 엄밀하게 평가하려했기 때문에 비전공자들만큼 로봇에 대하여 사회적 감정인 시기심을 느끼지 못했을 수 있다. 사실 몇몇의 CASA 연구자들에 따르면, HCI 상황에서 사용자가 컴퓨터를 사회적 행위자로 여길 경우 자연스럽고 자동적인 사회적 반응이 나타난다고 한다. 반면에, 사용자가 컴퓨터를 사회적 존재로 상정하지 않고 상호작용을 할 경우에는 사용자는 컴퓨터가 도구적 존재로 숙고하기 시작하면서 일종의 ‘인지적 과부화(cognitive overload)’가 생겨 정보원(source)인 컴퓨터를 부정적으로 평가하기 쉽다는 점이 제시되었다[25]. 반면 비전공자들은 전공자들보다 음악 창작물의 예술성을 더 높게 평가하고 로봇의 능력에 상대적으로 더 큰 시기심을 느꼈다는 결과는 로봇과 작업 영역을 공유하지 않기 때문에 CASA 패러다임이 제시한대로 로봇을 음악을 창작하는 사회적 행위자로 대했다고 볼 수 있다.

이와 함께 주목해야 할 결과는 <연구가설 2, 3, 4, 5>가 예측한대로 음악전공자들이 비전공자들보다 AI 로봇이 창작한 음악의 예술성을 더 낮게 평가했고, 음악에 대한 태도도 더 비호의적이었으며, 향후 음악을 사용할 의도와 로봇과 협업할 의도도 더 낮았다는 점이다. 전공자들의 입장에서는 실험에서 사용된 음악 창작물의 예술성을 상대적으로 낮게 평가함에 따라 결과적으로 음악 창작물에 대한 태도는 물론이고 향후 로봇이 작업한 창작물을 사용하거나 창작 로봇과 협업할 필요가 없다는 생각을 가졌을 수도 있다. 한편, 비전공자들이 로봇에 대한 시기심이 높음에도 불구하고 음악 창작물의 이용이나 로봇과의 협업 가능성에 상대적으로 긍정적으로 응답한 이유는 로봇에 비해 부족한 자신들의 능력에 씁쓸한 감정을 느꼈을 수도 있지만, 다른 측면에서는 로봇의 창의성에 감탄하고 매료되어 궁극적으로는 자기 개선의 동기가 발현됨으로써 음악이 아닌 자신의 전문 분야에서 추후 로봇과 충분히 협업할 수 있다는 기대를 가졌기 때문 일 수도 있다.

한편, 본 연구는 음악 창작물이 인간과 AI 로봇과의 협업에 의해 창작되었다는 정보가 로봇과의 비교영역 자기관련성과 상호작용하여 시기심을 비롯한 다른 종속 변인들에 대한 효과 크기가 조절될 수 있는 지 여부에도 주목하였다. 그러나 분석 결과, 로봇과 인간과의 협업 정보의 주 효과와 자기관련성과의 상호작용 효과 모두 유의미한 영향을 주지 않는 것으로 나타났다. 이러한 결과는 음악이 인간과 로봇의 협업에 의해 창작되었다는 정보가 음악 전공자들의 로봇에 대한 시기심 자체를 더 낮추거나 창작물에 대한 낮은 평가와 로봇과의 낮은 협업의도를 높이지 않았다는 것을 의미한다. 교육 적이고 실무적인 관점에서 보면, 이러한 결과는 향후 사용자에게 창작 분야에서 로봇과의 협업 가능성에 대한 정보만을 제공하기 보다는 실제 창작과 관련된 교육이나 업무의 장에서 사용자에게 창작 로봇과의 협업에 대한 새로운 콘텐츠와 함께 실제로 협업할 수 있는 체험 기회를 제공할 필요성을 제기한다.

본 연구는 다음과 같은 한계점을 가지고 있다. 첫 번째로, 로봇의 시기심을 비롯하여 다른 종속 변인들을 조절할 만한 다양한 요인들 중 특히 수용자 측면의 요인들에 대한 고려가 충분히 이뤄지지 못했다는 점이다. 가령, 기존 연구에 따르면 개성이 사회적 비교 정도에 영향을 주는데, 자아에 대한 의식수준이 높거나 자존감(self-esteem)이 높은 사람들은 자아 의식수준이 낮거나 자존감이 낮은 사람들 보다 자신을 사회적 존재로 더 볼 가능성이 높기 때문에, 타인과 사회적 비교를 더 많이 하는 경향이 있다[26]. 이외에도 해당 예술분야에 대한 주관적인 신념과 음악의 예술성에 대한 기준 등 종속변인에 영향을 줄 수 있는 사용자의 개성이 존재하기 때문에 향후 연구에서는 이런 개성 요인들도 통제할 수 있는 실험설계를 개발 할 필요가 있다.

두 번째로, 본 연구가 사용한 로봇의 휴머노이드 형태가 피험자들과 AI 로봇의 상호작용에 영향을 주었을지도 모른다. HRI 연구 분야에서 눈짓, 손짓, 입모양, 목소리와 같은 디자인 등의 ‘폼팩터(form factor)’가 사용자의 인지, 감정, 행동의 영향을 준다는 결과를 보고하고 있다는 점을 고려하면[9][10], 후속 연구에서는 폼 팩터를 최소화한 스피커와 같은 형태의 AI 로봇으로 해당 요인이 피험자에게 최소한의 영향을 주도록 실험설계를 할 필요가 있다고 판단된다.

마지막으로, 본 연구에서는 실험 시 원치 않는 효과의 개입을 통제하기 위해서 실험 참여자와 로봇 간의 대화를 최소화했으며 로봇이 음악대회에서 1등을 했다는 메시지를 일방적으로 전달하도록 하였다. 이로 인해 피험자는 로봇과의 상호작용이 활발하지 않았다고 인식했을 수 있다. 따라서 후속 연구에서 생태학적인 타당도(ecological validity)를 확보하기 위해서는 로봇과의 대화가 충분히 자연스럽고 상호작용적이었다는 인식을 심어주는 실험 시나리오를 고안해내야 할 것이다.

References

  1. 김지연, "알파고 사례 연구: 인공지능의 사회적 성격," 과학기술학연구, 제20권, 제6호, pp.5-39, 2017.
  2. Y. Moon and C. Nass, "How 'Real' are Computer Personalities? Psychological Responses to Personality Types in Human-Computer Interaction," Communication Research, Vol.23, No.6, pp.651-674, 1996. https://doi.org/10.1177/009365096023006002
  3. B. Reeves and C. Nass, The Media Equation: How People Treat Computers, Television, and New Media Like Real People and Place, CSLI Publications, 1996.
  4. B. Fogg and C. Nass, "Silicon Sycophants: The Effects of Computers That Flatter," International J. of Human-Computer Studies, Vol.46, No.5, pp.551-561, 1997. https://doi.org/10.1006/ijhc.1996.0104
  5. Y. Moon, "Don't Blame the Computer: When Self-Disclosure Moderates the Self-Serving Bias," J. of Consumer Psychology, Vol.13, pp.125-137, 2003. https://doi.org/10.1016/S1057-7408(03)70182-X
  6. 이은주, "전자 에이전트의 가상적 성별이 소비자 신뢰에 미치는 영향," 마케팅연구, 제21권, 제1호, pp.151-169, 2006.
  7. J. Morkes, H. Kernal, and C. Nass, "Effects of Humor in Task-Oriented Human-Computer Interaction and Computer-Mediated Communication: A Direct Test of SRCT Theory," Human-Computer Interaction, Vol.14, No.4, pp.395-435, 1999. https://doi.org/10.1207/S15327051HCI1404_2
  8. K. Lee, Y. Jung, J. Kim, and S. Kim, "Are Physically Embodied Social Agents Better Than Disembodied Social Agents?: The Effects of Physical Embodiment, Tactile Interaction, and People's Loneliness in Human-Robot Interaction," International J. of Human-Computer Studies, Vol.64, No.10, pp.962-973, 2006. https://doi.org/10.1016/j.ijhcs.2006.05.002
  9. K. Isbister and C. Nass, "Consistency of Personality in Interactive Characters: Verbal Cues, Non-Verbal Cues, and User Characteristics," International J. of Human-Computer Studies, Vol.53, No.2, pp.251-267, 2000. https://doi.org/10.1006/ijhc.2000.0368
  10. K. Lee, W. Peng, S. Jin, and C. Yan, "Can Robots Manifest Personality?: An Empirical Test of Personality Recognition, Social Responses, and Social Presence in Human-Robot Interaction," J. of Communication, Vol.56, No.4, pp.754-772, 2006. https://doi.org/10.1111/j.1460-2466.2006.00318.x
  11. B. Tay, Y. Jung, and T. Park, "When Stereotypes Meet Robots: The Double-Edge Sword of Robot Bender and Personality in Human-Robot Interaction," Computers in Human Behavior, Vol.38, pp.75-84, 2014. https://doi.org/10.1016/j.chb.2014.05.014
  12. A. Niculescu, B. van Dijk, A. Nijholt, H. Li, and S. See, "Making Social Robots More Attractive: The Effects of Voice Pitch, Humor and Empathy," International J. of Social Robotics, Vol.5, No.2, pp.171-191, 2013. https://doi.org/10.1007/s12369-012-0171-x
  13. C. Breazeal, "Emotion and Sociable Humanoid Robots," International J. of Human-Computer Studies, Vol.59, No.1, pp.119-155, 2003. https://doi.org/10.1016/S1071-5819(03)00018-1
  14. Y. Suzuki, L. Galli, A. Ikeda, S. Itakura, and M. Kitazaki, "Measuring Empathy for Human and Robot Hand Pain using Electroencephalography," Scientific Reports, Vol.5, p.15924, 2015. https://doi.org/10.1038/srep15924
  15. L. Festinger, "A Theory of Social Comparison Processes," Human Relations, Vol.7, No.2, pp.117-140, 1954. https://doi.org/10.1177/001872675400700202
  16. R. Smith and S. Kim, "Comprehending Envy," Psychological Bulletin, Vol.133, No.1, pp.46-64, 2007. https://doi.org/10.1037/0033-2909.133.1.46
  17. R. Smith, The Social Life of Emotion, Cambridge University Press, pp.43-63, 2004.
  18. P. Salovey and J. Rodin, "Provoking Jealousy and Envy: Domain Relevance and Self-Esteem Threat," J. of Social and Clinical Psychology, Vol.10, No.4, pp.395-413, 1991. https://doi.org/10.1521/jscp.1991.10.4.395
  19. R. Lazarus, "Cognition and Motivation in Emotion," American Psychologist, Vol.46, No.4, pp.352-367, 1991. https://doi.org/10.1037/0003-066X.46.4.352
  20. 송은아, "예술성-대중성 측정을 위한 개념 탐색," 한국엔터테인먼트산업학회논문지, 제9권, 제1호, pp.65-73, 2015.
  21. H. Appel, J. Crusius, and A. Gerlach, "Social Comparison, Envy, and Depression on Facebook: A Study Looking at the Effects of High Comparison Standards on Depressed Individualism," J. of Social and Clinical Psychology, Vol.34, No.4, pp.277-289, 2015. https://doi.org/10.1521/jscp.2015.34.4.277
  22. S. MacKenzie, R. Lutz, and G. Belch, "The Role of Attitude toward the Ad as a Mediator of Advertising Effectiveness: A Test of Competing Explanations," J. of Marketing Research, Vol.23, No.2, pp.130-143, 1986. https://doi.org/10.1177/002224378602300205
  23. A. Chaudhuri and M. Holbrook, "Product-Class Effects on Brand Commitment and Brand Outcomes: The Role of Brand Trust and Brand Affect," J. of Brand Management, Vol.10, No.1, pp.33-58, 2002. https://doi.org/10.1057/palgrave.bm.2540100
  24. M. Heerink, B. Kröse, V. Evers, and B. Wielinga, "Assessing Acceptance of Assistive Social Agent Technology by Older Adults: The ALMERE Model," International J. of Social Robotics, Vol.2, No.4, pp.361-375, 2010. https://doi.org/10.1007/s12369-010-0068-5
  25. S. Sundar and C. Nass, "Source Orientation in Human-Computer Interaction Programmer, Networker, or Independent Social Actor," Communication Research, Vol.27, No.6, pp.683-703, 2000. https://doi.org/10.1177/009365000027006001
  26. A. Buunk and F. Gibbons, "Social Comparison: The End of a Theory and the Emergence of a Field," Organizational Behavior and Human Decision Processes, Vol.102, No.1, pp.3-21, 2007. https://doi.org/10.1016/j.obhdp.2006.09.007