The Effects of Emotional Interaction with Virtual Student on the User's Eye-fixation and Virtual Presence in the Teaching Simulation

가상현실 수업시뮬레이션에서 가상학생과의 정서적 상호작용이 사용자의 시선응시 및 가상실재감에 미치는 영향

Abstract

The purpose of this study was to examine the eye-fixation times on different parts of a student avatar and the virtual presence with two scenarios in the virtual reality-based teaching simulation. This study was to identify user attention while he or she is interacting with a student avatar. By examining where a user is gazing during a conversation with the avatar, we have a better understanding of non-verbal communication. For this study, forty-five college students (21 females and 24 males) participated in the experiment. They had a conversation with a student avatar in a virtual reality-based teaching simulation. The participants had verbal interactions with the student avatar with two scenarios. While they were having a conversation with the virtual character in the teaching simulation, their eye-movements were collected through a head-mounted display with an eye-tracking function embedded. The results revealed that there were significant differences in eye-fixation times. Participants gazed a longer time on facial expression than any other area. The fixation time on the facial expression was more prolonged than on gestures (F=3.75, p<.05). However, the virtual presence was not significantly different in two scenario levels. This result suggested that users focus on the face more than the gesture when they emotionally interact with the virtual character.

이 연구의 목적은 가상현실 시뮬레이션에서 아바타에 대한 사용자의 주의집중이 어떻게 일어나는가를 분석하기 위한 것이다. 주의집중 정도를 알기 위해서 시선추적 기법을 적용했으며, 이를 통하여 사용자가 아바타의 어느 부분에 초점을 두고 있는지 검증하고자 하였다. 이 연구에서는 수업시뮬레이션에서 아바타에 대한 사용자의 시선응시 시간과 가상실재감을 분석했다. 실험참가자는 대학생 45명(여학생=21명, 남학생=24명)이었다. 이 연구에서는 가상현실 기반의 수업시뮬레이션이 사용되었으며, 교권침해에 대한 시나리오들이 적용되었다. 종속변수는 아바타에 대한 사용자의 시선응시시간이며 3개의 관심영역(AOI)에 대한 차이분석을 실시했다. 또한 실험조건에 대한 사용자의 가상실재감(공간실재감, 몰두감, 사실성)을 측정했다. 실험참가자는 두 가지 시나리오를 모두 경험했으며, 반복측정에 의한 다변량분산분석을 실시했다. 연구결과에 의하면 시나리오와 AOI에 의한 유의미한 상호작용이 있었고, 시나리오와 AOI에 따른 주효과도 유의미한 차이가 보였다. 시나리오의 유형과 상관없이 사용자는 언제나 아바타의 얼굴표정에 상당히 많은 시선응시를 하고 있는 것으로 나타났다.

I. 서론

1. 연구의 필요성

수업시뮬레이션은 실제 수업과 유사한 수업상황을 만들어서 수업 중에 발생할 수 있는 문제를 직접 해결해 보는 연습을 위한 것이다. 이런 수업시뮬레이션에서는 문제행동을 보이는 아바타를 사용해서 문제 상황을 연출하게 된다[1]. 이렇게 구현된 수업상황을 통해서 예비교사들은 도전적인 장면을 연습할 수 있다. 예비교사는 수업시뮬레이션에서 이러한 문제 장면을 반복적으로 연습할 수 있기 때문에 교사의 수업관리 능력을 효과적으로 훈련할 수 있다[2]. 또한 수업시뮬레이션은 실제 상황이 아니기 때문에 부끄러움이나 긴장과 같은 심리적 위축을 줄일 수 있다[3]. 이와 같은 특징 때문에 수업시뮬레이션은 예비교사의 수업역량을 강화하는데 도움이 될 것으로 기대된다[4]. 수업시뮬레이션을 하면 녹화기능을 활용해서 예비교사가 문제해결과정에서 어떻게 반응을 했었는지를 되돌아볼 수도 있다. 또한 동료 학습자나 전문가의 피드백을 받아 수업기술을 향상시킬 수도 있다[5].

수업시뮬레이션이 성공적으로 운영되기 위해서는 문제 장면을 적절하게 구현하는 것이 중요하다. 마치 수업상황에 와있는 것과 같은 느낌을 만들어 주어야 효과적으로 상황을 만들어줄 수 있기 때문이다[6]. 그런데 수업장면은 학생과의 상호작용에 의해서 구현되는 것이기 때문에 가상현실에서 이런 실재감을 높여주기 위해서는 사실적인 시각적 묘사나 음향효과 이외의 요소가 필요하다[7][8]. 그것은 학생과의 상호작용을 가상현실 속에서 어떻게 구현할 것인지의 문제이다. 사용자가 실제 수업을 하고 있는 것과 같은 느낌을 받기 위해서는 학생아바타와의 상호작용이 중요하다. 시뮬레이션 속에서 구현된 학생아바타와 어떻게 정서적인 교류를 할 것인지에 따라서 수업장면에 대한 실재감 정도가 달라질 수 있다[9].

가상현실 사용자는 아바타와 다양한 수준에서의 정서적인 교류를 하게 된다. 정서교감이 강하게 발생하는 게임에 등장하는 주인공 아바타에 대해서는 사용자는 자아의 일부로 인식하게 되는 심리현상이 나타나기도 한다. 나아가 플레이어와 아바타가 정서적 연대감을 형성하게 된다고 보고 있다[10]. 게임플레이어는 게임 속에 등장하는 아바타에 대하여 자신과 동일시하는 연대감을 형성하게 된다는 것이다. 바로 이런 점 때문에 자신의 게임 캐릭터를 더 꾸미게 되는 경향을 보이기도 한다. 이러한 심리적인 연대감은 게임 캐릭터에 대한 애착이 형성되기도 하고, 게임중독을 유발할 수 있다고 본다[11].

이러한 정서적 상호작용은 아바타와의 언어적 의사소통뿐만 아니라 비언어적 의사소통을 통해서 발생하게 된다. 그런데 정서적 감정 교류가 일어나기 위해서는 언어적 의사소통뿐만 아니라 표정이나 제스처와 같은 비언어적 의사소통도 중요한 기능을 한다. 또한 어떤 상황 맥락에서 상호작용이 발생 하는가도 중요하다. 학생아바타의 상황에 맞는 얼굴표정이나 제스처를 제시해 주는 것은 정서적 상호작용을 유발하는데 필수적 요인이 된다[12]. 상황에 적절하지 않은 얼굴표정이나 제스처는 사용자의 감정몰입과 자연스러운 상호작용을 방해하기 때문이다. 감정적 상호작용에서는 언어적 요 인 보다는 비언어적 요인이 더 중요한 역할을 한다. 사람은 상대방의 얼굴표정과 제스처를 통해서 상대방의 감정을 읽어 낼 수 있기 때문이다. 그러나 이런 기존 연구들은 사용자의 주관적인 인식을 측정한 것이기 때문에 시각적으로 얼굴표정이나 제스처에 대하여 사용자가 어떻게 상호작용 하는지 정량적으로 알기 어렵다. 비언어적인 의사소통 채널인 얼굴 표정과 제스처를 통해서 사용자가 아바타와의 상호작용을 어떻게 하는지에 관한 정보는 정서적 상호작용을 유발하는 아바타를 설계하는데 가이드라인을 제공 할 수 있다.

2. 연구문제

이 연구는 수업시뮬레이션에서 아바타와 사용자간에 정서적 상호작용 방식을 확인하여 아바타 설계원리를 탐색하기 위한 것이다. 또한 시나리오의 수준이 실재감에 영향을 미치는지를 확인하여 수업시뮬레이션 시나리오 설계 원리를 알아보고자 한다. 이를 위해 가상현실 기반의 수업시뮬레이션에서 시나리오에 따라 예비 ㅅ교사의 가상 아바타에 시선 응시시간과 가상실재감에 미치는 영향을 실증적으로 검증하고자 하였다. 따라서 연구문제를 다음과 같이 설정하였다.

연구문제 1. 수업시뮬레이션에서 사용하는 시나리오에 따라 학생아바타에 대한 시선응시 시간의 길이가 달라질 것인가?

연구문제 2. 수업시뮬레이션에 적용된 시나리오가 달라짐에 따라서 학생아바타에 대한 지각 된 가상실재감이 달라질 것인가?

이 연구에서는 수업시뮬레이션에 적용된 시나리오 수준에 따라 아바타의 얼굴 표정과 제스처에 사용자의 주의 집중 정도가 달랐는지를 시선응시 시간을 통해 알아보고자 한다. 얼굴 표정과 제스처는 사용자의 시선 주의집중 정도를 측정하기 위해 구분한 영역이다. 사용자가 아바타의 얼굴에 더 오랫동안 시선을 머물렀다면 정서적 상호작용을 할 때 얼굴표정이 더 큰 영향을 미친다고 볼 수 있다. 반대로 사용자의 시선이 제스처에 더 많이 머물렀다면 정서적 상호작용에는 제스처가 더 큰 영향을 미친다고 볼 수 있다. 두 번째 연구문제는 시나리오의 유형에 따라서 사용자가 수업시뮬레이션의 경험을 실제라고 느끼는 정도의 차이가 있는지 알아보고자 한다. 시나리오 수준은 교사도발과 언어폭력으로 언어적 요인에 차이가 있고, 감정적 상호작용의 정도에 차이를 구분하는 변수이다. 이를 통해서 심각한 상황과 덜 심각한 상황 간에 가상실재감의 차이가 있는지 확인 할 수 있다.

Ⅱ. 이론적 배경

1. 수업시뮬레이션

수업시뮬레이션은 수업 시간에 발생할 수 있는 다양한 가상의 수업 상황을 구현한 컴퓨터 프로그램이다. 수업시뮬레이션에서는 수업상황 중에 나타날 수 있는 교실 상황을 연습해볼 수 있기 때문에 교사양성 과정에서 많이 활용되고 있다. 수업시뮬레이션은 현장 경험이 부족한 예비교사의 수업역량을 개발하기 위해서 활용되고 있다[13]. 수업시뮬레이션의 장점은 예비교사가 특정 수업 기술을 부담 없는 환경에서 반복하여 연습할 수 있으며, 다양한 수업 전략을 적용해 볼 수 있다는 것이다[14]. 또한 예비교사의 수업행동을 분석하여 전문가의 피드백을 받을 수도 있다[15].

가상현실 기반의 수업시뮬레이션은 실제 환경 구성 요소와 시뮬레이션 모델을 결합하여 시뮬레이션 기반 학습을 수행하는 것을 의미한다[16]. 교사 교육을 위한 가상현실 기반 수업시뮬레이션은 수업상황에 대한 훈련기회를 제공하기 위한 것이다[17]. 이러한 수업 훈련은 교사 교육 프로그램에서 현장 기반 경험을 보완하거나 대체하기 위해 점점 더 많이 사용되고 있다[18]. 가상현실 기반 수업시뮬레이션은 가상 교실에 컴퓨터에 의해 제어되는 교사나 아바타를 채워 구성할 수 있다. 대표적인 가상현실 기반 수업시뮬레이션은 교육적 의사결정과 교실관리에 중점을 두고 있다[19]. 비교적 많 은 사람들이 활용하고 있는 수업시뮬레이션으로는 SimSchool([그림 1] 참조)과 Mursion([그림 2] 참조) 이 있다. 이러한 수업시뮬레이션은 미국 내의 교사양성 기관에 활발하게 사용되고 있다.

그림 1. SimSchool 운영화면

SimSchool은 온라인 기반으로 운영되는 수업시뮬레이션으로 주로 수업계획의 수립과 같이 수업기술을 높이기 위한 용도로 활용되고 있다. [그림 1]은 SimSchool의 실행화면을 보여주고 있으며, 사용자는 컴퓨터 화면 상에서 학생정보를 바탕으로 수업정보를 제공받게 된다. [그림 1]에서 보는 바와 같이, 가상교실을 구성한 다음에 수업활동에 따른 계획을 수립하거나 학생에 대한 피드백을 줄 수 있다. 반면에 [그림 2]는 Mursion이라는 수업시뮬레이션의 실행화면이며, 이 밖에도 회의실, 인터뷰, 리더십과 같이 다양한 상황에 대비한 시뮬레이션을 갖추고 있다. 특히, Mursion은 사실적인 그래픽과 대화기반의 상호작용을 적용함으로써 사실성을 매우 높인 시뮬레이션이다. 원격으로 연결된 사람이 학생아바타를 조정하는 방식으로 운영된다.

그림 2. Mursion 실행화면

2. 학생아바타

가상현실 기반의 학습 환경에서 아바타는 사용자와 학습내용 사이의 상호작용을 촉진하는데 중요한 역할을 한다[20]. 아바타는 학습과 관련된 내용을 언어적으로 전달하는 기능도 수행하지만, 표정이나 제스처를 사용해서 사용자와의 정서적 상호작용을 할 수 있다. 그렇기 때문에 아바타의 감정표현 능력은 가상 상황에 대한 실재감을 높이는 효과를 갖고 있다. 이러한 상호작용을 통해서 아바타와 사용자 사이에 형성된 정서적 관계는 사용자의 학습을 촉진하는 역할을 하게 된다. 즉, 사용자는 아바타를 단순히 캐릭터로 인식하는 것이 아니라 정서적인 교감 상태로 보기 때문에 학습내용에 대해서 더 집중하게 된다[21].

아바타의 얼굴 표정과 제스처는 가상현실에서 사용자가 가상 아바타와 실질적인 경험을 하고 있는 것처럼 느끼게 하는데 중요한 요인이 되기 때문이다[22]. 특히 비언어적 행동은 상호작용의 절반 이상을 차지할 만큼 큰 부분을 차지한다[23]. 이와 같이 가상 아바타를 개발 할 때, 적절한 얼굴 표정이나 몸짓의 구현이 중요하다 [24][25].

학생아바타는 수업시뮬레이션 공간에서 예비교사와 상호작용하는 학생 역할을 맡고 있다. 이 학생아바타는 수업시뮬레이션의 현장감을 높여주는 가장 중요한 요인이다. 학생아바타는 예비교사와 언어적 및 비언어적으로 직접적인 상호작용을 한다. 특히, 시나리오에 따라 학생아바타의 언어적 및 비언어적인 수준이 다양하게 표현된다.

학생아바타의 행동은 크게 얼굴표정과 제스처로 구성된다. 현장감 있는 학생아바타를 개발하기 위해서 시나리오에 따른 학생아바타의 얼굴표정과 제스처의 구현의 매우 중요하다. 또한 학생아바타와의 감성적 상호작용은 과제에 대한 주의집중을 유도할 뿐만 아니라 학습자의 동기를 촉진하는 역할을 한다. 가상실재감이 높아질수록 사용자의 흥미도 올라가기 때문에 과제목표를 더 선호하는 경향성이 있다[26]. 또한, 아바타와의 사회적 상호작용을 통해서 사용자의 몰입이 증가할 수 있기 때문에 아바타와 정서적 상호작용은 학습목표를 달성에도 도움이 될 수 있다[27].

예비교사는 학생아바타와 감정적으로 격한 상호작용을 하는 경우에 감정적으로 덜 격한 상호작용을 할 때 보다 상황에 더 몰입하는 경향이 있다[28]. 가상 수업 시뮬레이션에서 몰입감이 높게 상호작용 할 때 사용자는 학생아바타의 얼굴표정과 제스처 중에 어디를 더 유념해서 보는지, 그것이 시나리오에 따라 다른지에 관한 정보는 현장감 있는 학생아바타를 개발할 때 도움이 될 수 있다.

이 연구에서 적용된 학생아바타는 SimTEACHER라 는 수업시뮬레이션에서 적용된 것이다. 이 수업시뮬레이션에서는 학급관리와 관련된 시나리오가 적용되었다 [15][28][34]. 이 선행연구에서 사용된 시나리오는 수업 상황에서 발생할 수 있는 학생들의 도발을 수준에 따라서 구분하고 있다. 각 시나리오에 따라서 학생아바타의 시나리오를 적용하고 있다. 이들 연구에서 밝혀진 것은 시나리오의 정도에 따라서 사용자의 가상실재감 지각 수준이 달라진다는 것이다. 이 결과는 시나리오를 통해서 구성된 이야기의 흐름에 따라서 사용자가 다르게 지각할 수 있다는 의미가 된다. 즉, 정서적인 교감의 수준에 따라서 사용자가 지각하는 수준에서 큰 차이가 발생 할 수 있다는 점이다.

3. 주의집중과 시선응시시간

시선은 단순한 움직임이 아닌 목적이 있는 행동이기 때문에 시각적 주의를 알려주는 중요한 단서가 된다 [23]. 또한 시선은 인간의 인지과정을 보여주고 있기 때문에 인지과정을 분석 및 추론 하는데도 사용할 수 있다[29]. 그러므로 시선추적은 한 사람의 시각적 주의 집중과 인지과정을 분석하는데 중요한 역할을 하는 도구가 될 수 있다. 시선추적(eye-tracking)이란 사용자의 안구의 움직임이나 시선을 추적하는 과정을 말한다. 시선추적 기법을 적용하면 사용자가 인지하지 못한 순간에 발생한 주의집중 현상도 데이터를 수집할 수 있다[30][31]. 또한 밀리초(ms) 단위에서 일어나는 짧은 시간 동안의 수행도 정량적인 데이터로 추출할 수 있다. 이런 장점 때문에 시선추적 기법은 시각적인 주의집중 과 관련된 해석이 필요한 분야에서 활발하게 사용되고 있는데, 마케팅이나 광고 분야가 그런 적용영역 중의 하나이다. 소비자가 광고의 어떤 특정 지점을 어느 정 도 오랫동안 응시하는지를 측정하게 되면 광고의 설계가 잘되었는가를 평가할 수도 있다. 그리고 다양한 잡화들이 빼곡하게 쌓여 있는 진열대를 대상으로 소비자 가 어떤 물품을 가장 먼저 보게 되는가를 확인하는 것도 중요한 자료가 될 수 있다. 시선추적은 교육 분야에서도 활발하게 사용되고 있는데, 읽기를 할 때 어디를 응시하고 있는가를 분석하기 위한 용도로 사용한다. 시선추적 기술은 사용자의 시선고정 시간, 동공크기, 응시 빈도, 첫 번째 응시 시간 등의 정보를 밀리초 단위에서 측정할 수 있다. 각 측정치들은 학습자 행동의 속성을 반영하고 있다. 이 중에서 시선응시 시간은 관심 대상에 시선을 머문 시간을 의미한다. 시선고정 시간이 길어질수록 더 많은 주의집중을 하고 있음을 의미한다 [32].

시선추적기법을 사용하여 사용자의 특정영역에 대한 주의집중정도를 알아보기 위해 목표대상에 관심영역(AOI, Area Of Interest)을 설정할 수 있다. 예를 들면, 경력교사와 예비교사의 시선분배 차이를 측정하기 위해 학생의 얼굴, 학생의 신체, 실험도구, 교재, 환경 등에 AOI을 설정하였다[23]. 그 결과, 경력교사는 예비교사에 비하여 학습도구, 교수도구, 환경보다 학생들에게 많은 시선을 주면서 학생 중심으로 인지적 처리를 한다는 점을 알아냈다. 이처럼 목표 대상에 AOI를 설정하면 관심 있는 특정 영역에 사용자의 주의집중 정도를 알 수 있다.

시선은 사람의 감정이나 마음을 잘 표현해 주기 때문에, 눈과 시선의 움직임은 사회적 상호작용을 파악하는데 유용하게 사용된다. Wechsler, Bahr, 와 Muhlberger는 가상현실 기반 상호작용 상황에서 사회적 불안감이 높은 여성은 불안감이 낮은 여성에 비해서 남성 아바타의 눈을 피하는 경향이 있다는 점을 밝혔다[33]. 즉 시선추적 연구는 사용자가 어디를 응시하는지 인지적 주의집중에 관하여 알려줄 뿐만 아니라 사회적 상호작용이 어떻게 일어나는지에 관한 정보도 제공할 수 있다. 그러므로 시선추적 기술은 예비교사가 학생아바타와 정서적으로 상호작용하는 동안 학생아바타의 얼굴과 제스처 중에 어떤 부분과 더 주의 집중하여 어떤 방식으로 상호작용하였는지에 대한 정보를 제공해 줄 것이다.

Ⅲ. 연구방법

1. 연구대상

연구대상은 광역시 소재 4년제 국립 대학교 재학생 50명이었다. 그런데 시선추적을 위해서 초기에 실시하는 캘리브레이션(calibration)을 통과해야 한다. 그렇지 않으면 제대로 된 시선추적 정보를 얻을 수 없게 되는데, 이 실험에서는 5명이 시선추적을 위한 캘리브레이션(calibration)을 통과하지 못했다. 시선추적을 위해서는 시스템이 사용자의 눈동자 위치를 서로 정확하게 일치시킬 수 있어야 한다. 이것을 검증하기 위해서 캘리브레이션을 통해서 양쪽 눈동자의 위치가 정확하게 측정되는가를 검증하게 된다. 그런데 사용자의 눈동자 위치가 오차범위 이상에서 측정되면 정확한 시선추적을 위해서 연구 자료에서 제외하는 것이 바람직하다. 이 연구에서는 5명이 두 눈의 위치값 캘리브레이션을 제대로 수행할 수 없었기 때문에 연구 자료에서 제외했다. 따라서 5명을 제외한 45명(여학생=21명, 남학생 =24명)의 자료가 수집되었다. 실험참가자의 평균나이는 22.89(표준편차=2.96)였다.

연구대상은 광역시 소재 4년제 국립 대학교 재학생 50명이었다. 평균 나이는 22.82였으며, 학년별 인원은 1학년=8명, 2학년=7명, 3학년=6명, 4학년=29명이었 다. 이들은 전공은 10개 단과대학에 분포하고 있었다(간호대학=1명, 경영대학=8명, 공과대학=14명, 농업생명과학대학=6명, 사범대학=2명, 생활대학=2명, 수의과대학=1명, 약대=2명, 인문대학=3명, 자연대학=11명). 45명 중에서 25명은 이미 HMD(Head Mounted Display)를 사용해 본 경험이 있다고 응답했다. 실험참가자는 교내 홈페이지를 통해서 유급으로 모집되었다.

2. 연구도구

2.1 학생아바타

이 연구에서는 SimTEACHER라는 수업 시뮬레이션에 등장하는 학생아바타를 활용했다[15][28][34]. 이 시뮬레이션은 가상현실 기반으로 운영되는 교실 문제 상황 중심의 수업 시뮬레이션이다. 이 연구에서는 문제를 유발하는 학생아바타와의 일대일 면담상황을 제공했다. 이 학생아바타는 iClone이라는 프로그램을 사용해서 개발되었으며, 상담시나리오에 따라서 다양한 제스처를 구현할 수 있다. 학생아바타는 시나리오의 내용에 맞는 정서적인 표현을 제스처로 구현했다.

[그림 3]에서 보는 바와 같이 학생아바타는 제스처를 표현할 수 있으며, 말을 할 수 있는 기능을 갖고 있다. 학생아바타가 말을 할 때는 립싱크가 되도록 만들어졌기 때문에 언어구현 장면에서는 이질적인 느낌을 주지 않도록 개발했다. 학생아바타의 언어적인 표현기능은 사전에 녹음된 자료를 데이터베이스처럼 갖고 있으면서 필요한 상황에 맞는 대화내용이 인출되는 방식으로 운영되었다.

그림 3. 학생아바타의 정서적 제스처

2.2 상담 장면

이 연구의 실험은 학생아바타와 면대면 대화를 하는 상담 장면으로 실시되었다. 연구에서 사용된 가상교실은 실제 교실과 마찬가지로 책상 및 의자 등으로 구성되었다. 학생아바타가 화면의 중앙에 등장하며, 사용자는 head mounted display를 착용하고 학생아바타와 대화를 나누는 방식으로 진행되었다. 실험이 시작되면 가상교실의 중앙에 학생아바타가 나타나고, 교권을 침해하는 도발적인 대화를 전개하도록 설계되었다. [그림 3]은 학생아바타가 구현하는 다양한 제스처를 나타낸 것이다.

2.3 실험장비

이 연구에서 사용된 HMD는 FOVE였다. 이 장치는 시선추적 시스템이 내장되어 있기 때문에 가상현실에서 시선추적을 구현할 수 있다. FOVE의 무게는 520g 이며, 120fps로 시선추적을 한다. [그림 4]는 FOVE를 사용하여 시선추적을 하고 있는 화면이다.

그림 4. FOVE를 사용한 시선추적 활용

FOVE는 적외선 추적 장치를 내장하고 있기 때문에 이를 이용해서 사용자의 안구위치를 추적할 수 있다. 상용화된 다른 HMD와는 달리 헤드폰이 내장되어 있지 않기 때문에 별도의 헤드폰을 장착하고 실험을 진행 했다. [그림 5]는 FOVE를 사용한 실험 장면이다.

그림 5. FOVE를 사용한 실험 장면

3. 연구변수

3.1 시뮬레이션 시나리오

이 연구에서 사용된 시나리오는 교권침해 상황을 가정하기 위한 것으로 각 시나리오의 제목은 “①교사도발”과 “②언어폭력”이다. 첫 번째 교사도발 시나리오는 교사의 권위에 도발하거나 무시하는 것과 같은 발언으로 구성되었다. 비록 교권을 침해하는 상황이기는 하지만 심각한 공격적인 언어는 포함되어 있지는 않다. 반면에 언어폭력 시나리오 공격적인 심각한 교권침해 상황을 가정한 것으로 교사의 말을 끊고 무시하는 발언, 욕설, 무례한 몸동작 등이 포함되어 있다. [표 1]은 시나리오에 따라서 학생아바타의 언어적인 반응을 정리한 것이다.

표 1. 시나리오에 따른 학생아바타의 언어적 반응

3.2 관심영역(AOI) 및 시선응시

이 연구에서는 학생아바타에 대한 사용자의 시선 응시시간을 분석했기 때문에 학생아바타에 대한 관심영역(Area of Interest: AOI)을 설정했다. AOI는 시선추적 연구에서 연구자가 설정하는 분석영역을 말한다. 이 연구에서는 [그림 6]과 같이 3개의 AOI를 설정했다.

AOI①은 얼굴에 대한 사용자의 시선응시 시간을 확인하기 위한 것이다. AOI①에 대한 시선응시는 학생아바타의 표정에 대한 상호작용으로 보았다. AOI②는 학 생아바타의 몸에 대한 시선응시를 측정하기 위한 것으로 제스처에 대한 시선 응시시간을 알아보기 위한 것이다. 제스처는 표정과 마찬가지로 정서적인 표현을 위한 방법으로 활용되는 채널이기 때문에 이에 대한 사용자의 주의집중 정도를 확인하는 것은 중요하다. AOI③은 얼굴 및 몸 이외에 다른 영역에 대한 사용자의 시선응시를 도출하기 위해서 설정된 것이다.

그림 6. 학생아바타의 AOI 설정

시선응시시간은 수업시뮬레이션이 진행되는 과정에서 각 시나리오에서 사용자의 시선이 AOI영역을 응시한 총 시간을 계산한 것이다. AOI③은 왼쪽과 오른쪽이 구분되어 있었기 때문에 두 영역의 합산 값을 분석했다. 시선응시시간의 단위는 10밀리초(10-msec)이다.

3.3 가상실재감

가상실재감은 총 15문항으로 구성되어 있으며, 공간 실재감(spatial presence), 몰두감(involvement), 사실성(realness)의 하위요인을 갖고 있다. 각 하위요인 별로 5문항으로 이루어져 있다. 이 설문은 류지헌과 유승범 [34]이 번안하여 사용한 것으로 이번 연구에서도 사용했다. 7점 척도로 구성되었으며, 1점=전혀 그렇지 않다에서 7점=매우 그렇다고 평정하도록 했다. 공간실 재감은 사용자가 경험한 가상현실에서 공간적인 느낌을 받았는가를 알아보기 위한 것이다. 몰두감은 가상환경에서 사용자가 몰입해서 상호작용을 했는지를 알아보기 위한 설문으로 구성되었다. 끝으로 사실성은 가상 현실 체험공간이 어느 정도 사실적으로 지각되었는지를 알아보기 위한 내용으로 구성되었다.

선행연구에 의하면 하위요인별 문항내적일관성 지수는 공간실재감=.79, 몰두감=.92, 사실성=.86이었다 [34]. 이번 연구의 교사도발 시나리오에서 측정된 가상 실재감의 문항내적일관성지수는 공간실재감=.83, 몰두감=.92, 사실성=.95인 것으로 나타났다. 또한 언어폭력 시나리오에서는 공간실재감=.81, 몰두감=.93, 사실성 =.90인 것으로 나타났다. 두 가지 시나리오에서 모두 양호한 문항내적일관성을 유지한 것으로 판단되었다.

3.4 실험절차

이 연구의 실험은 6단계로 진행되었다. ①사전훈련 및 캘리브레이션→②시나리오 리허설→③시나리오#1→ ④가상실재감 설문→⑤시나리오#2→⑥가상실재감 설문. 먼저 실험이 시작되기 전에 FOVE의 기기의 착용, 주의사항, 실험내용에 대한 설명이 진행되었다. ①단계 에서는 가상현실 장비를 착용한 상태에서 기기착용을 하도록 했고, 시선추적을 위한 캘리브레이션이 진행되었다. ②단계에서는 리허설용 시나리오를 사용해서 학생아바타와 대화가 진행되도록 연습을 했다. ③단계에서는 시나리오를 적용해서 본격적인 실험이 진행되었고, ④단계에서는 첫 번째 시나리오를 마치고 가상실재감 설문을 실시했다. ⑤단계와 ⑥단계에서는 시나리오를 바꿔서 실험이 진행되었다. 순서효과를 배제하기 위해서 시나리오의 순서를 번갈아가면서 적용했다. 전체 실험참가자 45명 중에서 23명은 교사도발→언어폭력의 순서로 실험이 진행되었다. 나머지 22명은 반대의 순서로 실험이 실시되었다.

3.5 분석방법

이 연구의 실험은 2회 반복에 의한 내변량 차이를 검증하기 위한 것이다. 따라서 시선응시시간의 차이분석에 대해서는 시나리오 유형과 AOI영역에 따른 반복측정에 의한 다변량분석기법이 적용되었다. 또한 AOI영역 간 차이를 확인하기 위해서 대비분석이 실시되었다. 그리고 가상실재감도 시나리오의 유형과 가상실재감 하위요인에 따른 내변량 차이를 분석하기 위한 것이다. 따라서 반복측정에 의한 다변량분석 기법이 적용되었다. SPSS23이 사용되었으며, 유의수준은 .05로 설정되 었다.

Ⅳ. 연구결과

1. 시선응시시간

[표 2]는 시나리오별 AOI의 시선응시시간을 정리한 것이다. AOI별 응시시간은 시나리오에 따라서 대체로 유사한 경향을 보인 것으로 나타났다. 우선 개체 내 효과검증을 위하여 구형성 검증을 실시했다. AOI에 따른 구형성 검증(Mauchly’s W=0.67, p<.001)과 AOI×시나리오의 구형성 검증(Mauchly’s W=0.81, p<.01)이 모두 유의미한 것으로 나타났다. 따라서 개체 내 효과 분석을 위해서 AOI와 AOI×시나리오에 대한 유의도 값을 보정한 Greenhouse-Geisser 값을 사용한 보정된 F검증을 실시했다.

표 2. 시나리오별 AOI 시선응시시간 (단위: 10 밀리초)

시나리오와 AOI에 따른 상호작용에 대한 개체 내 효과검증에서 유의미한 결과가 나타났다(F=3.75, p<.05, 부분에타제곱=.08). 부분에타제곱은 중간정도의 크기인 것으로 평가되었다. AOI에 따른 개체 내 효과검증에서도 유의미한 결과가 나타났다(F=99.98, p<.01, 부분에타제곱=0.69). 시나리오에 따라서 유의미한 차이가 나타났다(F=12.93, p<.01, 부분에타제곱=0.23). AOI 영역과 시나리오에 따른 부분에타제곱은 각 0.69 와 0.23이었으며, 모두 크기가 큰 것으로 평가되었다. [그림 7]은 시나리오와 AOI에 따른 시선응시시간의 차이를 그래프로 나타낸 것이다.

그림 7. 시나리오와 AOI에 따른 응시시간

AOI×시나리오에서 유의미한 결과가 나타났다는 결과를 보면, 시나리오가 무엇인지에 따라서 시선영역별 시선응시시간이 유의미하게 달라졌음을 알 수 있다. 즉, 언어폭력과 같이 시나리오의 심각성이 올라가면 AOI① 에 대한 시선응시시간이 나머지 응시영역과 비교했을 때 더 길어지고 있음을 알 수 있다(AOI①과 AOI②의 차이: F=4.64, p<.05, AOI①과 AOI③의 차이: F=5.35, p<.05).

또한 시선응시영역에 대한 분석에서는 AOI①에서의 응시시간이 가장 길었던 것으로 나타났다. 이 결과는 연구 참가자가 학생아바타의 얼굴과 더 활발한 상호작용을 했다는 사실을 보여주는 것이다. 그리고 시선응시 영역에서도 유의미한 차이가 있었다. 이러한 차이를 확인하기 위해서, AOI③을 기준으로 나머지 AOI와의 대비분석을 실시했는데, 모두 유의미한 차이가 있었다. AOI① vs. AOI③ (F=172.00, p<.01), AOI② vs. AOI ③ (F=9.19, p<.01). 이러한 대비분석의 결과는 사용자가 학생아바타를 응시할 때 얼굴을 가장 오래 참조한다는 점을 보여주는 것이다. 또한 제스처와 관련된 부분도 영역에 대한 응시시간도 유의미하게 길게 일어난다는 것을 설명해 준다. 그러나 얼굴표정과 제스처를 비교한다면, 얼굴표정에 대한 시선응시가 매우 길다는 점을 보여주는 것이다.

2. 가상실재감

[표 3]은 시나리오별 가상실재감의 하위요인별 평균 및 표준편차이다. 가상실재감은 1) 공간실재감, 2) 몰입감, 3) 사실성으로 구성되었다. 시나리오와 가상실재감에 따른 상호작용에 대한 개체 내 효과검증에서 유의미하지 않은 것으로 나타났다(F=0.68, p=.51). 시나리오에 따른 개체 내 효과검증에서도 유의미하지 않았다(F=0.79, p=0.38). 이러한 결과는 시나리오의 변화에 따라서 사용자가 지각한 가상실재감에서는 유의미한 차이가 없었음을 보여주는 것이다.

표 3. 시나리오별 가상실재감의 평균 및 표준편차

Ⅴ. 결론 및 논의

1. 결론

이 연구에서는 가상현실 시뮬레이션에서 학생아바타와 사용자의 상호작용에 따른 시선응시와 가상실재감의 차이를 살펴보았다. 시선응시라는 행동자료에 대한 분석을 적용함으로써 사용자가 인식하지 못하고 있는 활동자료를 도출할 수 있었다. 이러한 분석결과를 근거로 학생아바타의 비언어적 영역에 대한 개발방향을 더욱 구체적으로 설정할 수 있었다. 시선응시는 사용자도 인식하지 못하는 행동자료이기 때문에 이를 통한 분석 자료를 사용자를 지각적인 인지과정을 이해할 수 있는 중요한 자료가 된다. 연구 결과를 다음과 같은 세 가지 결론을 내릴 수 있었다. 첫째, 사용자는 아바타와 감정적 상호작용을 할 때 아바타의 제스처 보다는 얼굴에 나타는 감정을 살피면서 정서적인 교감을 했던 것으로 볼 수 있다. 연구 결과에 따르면, 사용자는 가상 학생아바타와 감정적 대화를 할 때 주로 얼굴을 보면서 상호작용하였다. 또한 시나리오의 상황이 사용자에게 더 많은 감정적 상호작용이 필요할 때, 학생아바타의 얼굴을 더 많이 보았다. 이는 사용자가 감정적 개입을 올려야 하는 경우에 상대방의 정서를 읽기 위해 얼굴을 관찰 하는 것으로 해석할 수 있다.

아바타와 상호작용을 할 때는 제스처보다는 얼굴표정이 더 중요한 역할을 한다는 선행연구의 결과와 같은 결과를 보여주었다[22][35]. 이 결과를 바탕으로 정서적 상호작용이 높은 수업시뮬레이션을 개발할 때는 학생아바타의 얼굴 표정이 중요하다는 점을 확인할 수 있었다. 가상아바타의 동공이나 홍채연구에서 나타난 바와 같이 얼굴을 통한 비언어적 행동의 구현은 매우 중요한 상호작용 요인이 될 수 있기 때문이다. 둘째, 사용자는 아바타와 상호작용할 때 얼굴표정뿐만 아니라 제스처에도 많은 주의를 기울인다는 것이다. 가장 긴 시간 응시한 시선응시영역은 AOI①이었다. 그러나 AOI ②에 대한 시선응시시간도 유의미하게 길었다. 이것은 제스처영역에 대한 관심도 얼굴에 대한 시선응시만큼 중요하게 작동하고 있다는 것을 보여주는 것이다. 제스처는 아바타의 감정을 가장 잘 표현하는 도구적인 역할을 하기 때문이다. 얼굴표정과 제스처가 있을 때, 그러나 제스처가 성격 이미지 형성에 영향력이 크다는 연구도 있다[36][37]. 정서적 상호작용에 영향을 미치는 두 비언어적 요소인 얼굴표정과 제스처 중에 어떤 요인이 더 중요한 영향을 미치는지에 관한 연구는 학생아바타를 개발하는데 중요한 정보가 될 것이다.

2. 논의

2.1 정서표현의 강도

이 연구에서 적용된 학생아바타의 시나리오는 학생이 교사를 도발하는 내용으로 구성되어 있었다. 시나리오에 따라서 교사와의 정서적인 갈등이 더 커지는 형식으로 구성되어 있다. 이러한 시나리오를 적용했던 선행 연구들에 따르면 학생아바타의 도발수준이 올라갈수록 사용자의 정서적인 개입도 올라간 것으로 나타났다[15][34][40]. 그러나 이러한 선행연구의 결과에도 불구하고 사용자가 학생아바타의 어디를 응시하는지 알 수 없었다. 즉, 정서적인 교감이 올라갈수록 사용자의 시선 방향이나 행동요인에 대한 구체적인 실증자료가 없었다.

이 연구에서는 AOI에 따른 응시시간의 차이를 구분함으로써 정서적인 도발의 수준이 달라지면 그만큼 사용자의 행동에도 영향을 미칠 수 있음을 확인할 수 있었다. [그림 7]에서 보는 바와 같이 시나리오의 변화에 따라서 얼굴(AOI①)에 대한 응시시간이 길어지고 있음을 확인할 수 있었다. 여전히 학생아바타의 얼굴표정에 대한 시선응시가 탁월하게 길다는 것은 그만큼 표정의 구현이 중요하다는 것을 의미하는 것이기도 하다. 따라서 시나리오에 따라서 정서표현의 정도가 달라질 때, 그 수준에 적절한 얼굴표정을 적절하게 개발하는 것이 중요하다고 할 수 있다.

2.2 감정상태의 확인

이 연구를 통하여 시선추적 방법이 갖고 있는 장점을 확인할 수 있다. 시선추적은 정량적인 자료를 추출할 수 있다는 장점을 갖고 있다. 이 연구에서도 심리적 지각수준을 확인하는 설문지에서는 차이가 나타나지 않았지만, 시선추적에서는 유의미한 차이점을 발견할 수 있었다. 시선추적은 사용자의 시선방향이라는 행동에 대한 정량화된 데이터를 제공할 수 있다. 그렇다면 정서적인 상태변화에 따른 신체반응을 반영한 지표를 측정하는 방법을 적용해 볼 수도 있을 것이다. Wechsler, Bahr, 와 Muhlberger[33]은 가상현실 기반 상호작용 상황에서 사회적 불안감이 높은 여성은 불안감이 낮은 여성에 비해서 남성 아바타의 눈을 피하는 경향이 있다는 점을 밝혔다. 이와 같이 정서적인 상태에 대한 추가적인 해석을 시도할 필요가 있다.

3. 연구의 제한점 및 제언

이 연구는 시나리오에 의한 맥락이 충분히 형성되었는가를 확인하기 어려웠다는 제한점을 갖고 있다. 따라서 실제 사용자의 심리적인 변화에 대한 심층면담과 같은 질적 연구가 수반될 필요성이 있다[39]. 심리적인 변화를 이해하기 위해서는 면담과 같은 자료 분석이 적용되어야 한다. 이 연구에서는 자기보고식 설문지를 통해 가상실재감을 측정하였다. 그러나 수업시뮬레이션의 가상실재감을 보다 심도있게 측정하기 위해서는 참가자를 대상으로 인터뷰와 비디오 녹화 등의 질적 자료가 수집되어야 할 필요가 있다[40]. 따라서 수업 시뮬레이션의 가상실재감을 면밀히 분석하기위해 질적 연구를 통합한 연구를 진행할 것을 제안한다.

* 본 연구는 2018년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임. (NRF-2018S1A5B8070203)