Directing User's Eye Gaze Movement in an Interactive VR Animation

인터랙티브 VR 애니메이션의 시선 유도를 위한 연출

Abstract

Rather than a directing method of existing animations, VR animation needs a different method of direction. Existing animations were displayed on a screen in movie theaters. But using an existing direction method for the 360° perspective in a VR animation makes it difficult for the user's gaze to move in a way the directors have intended. I analyzed 3 VR animations with a theoretical background of Rudolf Arnheim's visual perception theory and Bruce Block's visual factors that bring high attention. In the process of perception of space, focus on the gaze, movement of the gaze, the 'movement' factor was used most often to attract the gaze. An interactive VR animation attracts user's gaze by allowing users to participate in important points of the story. With an analysis of the animation, it proposed a gaze attraction through the movement of the character with an interaction directing method for reducing motion sickness. Also, it proposed intuitively attracting gaze movement by using GUI and attracting user's participation by using an interactive event with an interaction directing method of storytelling comprehension. With two types of directing proposal, we expect it to be utilized as a basic research method for attracting users to be immersed in storytelling while reducing cyber motion sickness, which is a problem in VR animation.

VR 애니메이션은 기존의 애니메이션에서의 연출 방법과는 다른 연출 방법이 필요하다. 기존의 애니메이션은 영화관에서 스크린을 응시하며 관람하였지만, VR 애니메이션은 360° 시점의 자유로 인해 기존의 연출 방법만으로는 향유자의 시선을 연출자의 의도대로 움직이기 힘들다. 루돌프 아른하임이 말한 시지각 요인과 브루스 블록의 주목도가 높은 시각적 요인들을 이론적 배경으로 하여 세 편의 VR 애니메이션을 분석하였다. 공간의 인지, 시선의 집중, 시선의 이동의 세 가지 과정에서 시각적 요인인 '움직임' 요소가 시선의 유도를 위해 제일 많이 사용된 것으로 나타났다. 인터랙티브 VR 애니메이션 <울브스 인더 월스>는 스토리에 중요한 지점마다 인터랙션을 통해 향유자가 참여하도록 하여 강제적으로 시선을 유도하였다. 위의 분석을 통해 멀미 유발 감소를 위한 인터랙션 연출 방법으로 캐릭터의 움직임을 통한 시선 유도를 제안하였고, 스토리텔링 이해를 위한 인터랙션 연출 방법으로 인터랙션 이벤트를 이용한 향유자의 참여유도와 GUI를 이용한 직관적인 시선 유도를 제안하였다. 두 가지의 연출제안을 토대로 VR 애니메이션에서 문제가 되는 사이버멀미 저감을 위한 스토리 텔링의 몰입을 유도하는 기초연구로 활용되길 기대한다.

Ⅰ. 서론

1. 연구 배경 및 목적

VR 기술의 경우 현존감(Presence)을 통한 몰입이 특징적이다. 이로 인해 VR 기술을 이용해서 의료, 군사 훈련, 재난 상황 훈련 같은 다양한 콘텐츠들이 만들어지고 있다. 실용적인 목적으로 만들어지는 콘텐츠들과 달리 상업적인 엔터테인먼트 콘텐츠들이 개발되고 있지만 아직은 콘텐츠가 부족한 실정으로 필요성이 강조되고 있다.

한국 콘텐츠 진흥원의 조사에 따르면 제작, 개발한 제품이 판매에 성공하여 소득이 발생할 비율이 전체 58.7%였으며, 관광, 의료, 교육, 국방, 건축과 같은 기능성 콘텐츠는 70% 이상으로 높은 반면, 애니메이션은 43%, 테마파크, 퍼블리싱은 30.0% 미만으로 저조하였다[1]. 이는 관광, 의료, 교육, 국방 건축의 경우 주로 수요처의 요구에 맞춰 제작되는 콘텐츠이므로 판매율이 높았으나, 게임, 애니메이션, 영화, 예술 같은 선 제작 후 판매가 주를 이루는 영역에서는 아직까지 수요확보 및 판로 개척이 미진하다.

기존의 애니메이션 영화는 관객이 관람만 할 수 있었다면, VR 애니메이션은 관객이 경험을 할 수 있는 차이점이 있다. VR 애니메이션은 관객이 직접 3D 공간 안으로 들어가 캐릭터를 마주하고 인터랙션도 할 수 있는 경험을 제공한다. VR 기술을 이용하여 애니메이션을 제작하는 것은 기존의 애니메이션 영화의 제작과는 다른 연출 방식을 사용해야 한다. 인기 애니메이션 ‘마다가스카’시리즈를 연출한 에릭 다넬(Eric Darnell)감독 은 “VR은 완전히 새로운 언어이며 VR 영화 제작이 언젠가는 표준이 될 것”이라고 말했다. 스티븐 스필버그 감독은 관객의 시점의 자유가 기존 영화 제작자들의 스토리텔링과는 다른 결과를 가져올 것이라고 하였다[2].

VR 기술의 360° 시점의 자유는 관객에 있어서 현존감과 몰입감을 높여준다. 하지만 VR 애니메이션에 있어서 시점의 자유는 앞의 장점도 존재하지만, 연출자가 원하는 순간 관객의 시선을 끌어와야 하는 문제가 생긴다.

VR 애니메이션은 HMD(HeadMountDisplay)를 착용하고 가상공간에서 향유자의 머리 회전으로 360° 시점을 변화시킨다. 이로 인해 생기는 문제점 중 한 가지는 멀미 유발과 다른 한 가지는 스토리텔링에 필요한 정보를 놓칠 가능성이 있다는 것이다.

멀미 유발과 스토리 텔링의 이해에 대한 [표 1]의 선행연구들이 존재하나 콘텐츠적인 측면에서 두 가지 문제를 해결하려는 연구는 없었다.

표 1. 선행 연구

본 연구는 시점의 자유가 ‘스토리텔링의 이해에 영향을 미치는 점과 사이버 멀미를 유발할 수 있다’는 특성에 중점을 두었다. VR 애니메이션의 멀미 유발 감소를 위한 시선 유도연출과 인터랙티브 VR 애니메이션에서의 스토리텔링의 이해를 높이기 위한 인터랙션 연출 방법을 분석하여 멀미 유발 감소를 위한 스토리텔링에 몰입을 유도하는 연출 방법을 제안하고자 한다.

2. 연구의 방법 및 작품선정

본 연구는 문헌 연구와 VR 애니메이션 작품들의 시선 유도 연출 방법에 대해 알아보고 분석하였다.

첫 번째 문헌 연구에서는 VR 애니메이션에 대해 알아보고 VR 애니메이션을 분석할 기준이 되는 기존의 매체인 스크린에서 시선의 주목도를 높이는 요인과 인터랙티브 VR에 대한 이론적인 부분을 고찰하였다. 두 번째 VR 애니메이이션과 인터랙티브 VR 애니메이션의 시선 유도 연출을 분석하기 위해 VR 애니메이션을 두 가지 종류로 나누었다. 나누는 기준은 인터랙션 유무로 하였다. 인터랙션이 없이 관람만 가능한 VR 애니메이션과 인터랙션이 가능한 VR 애니메이션으로 분류하였다. 관람만 가능한 VR 애니메이션의 경우 카메라의 위치를 바꿀 수 없기 때문에 인터랙티브 VR 애니메이션도 카메라의 위치를 바꿀 수 있는 애니메이션이 아니라 바꿀 수 없는 애니메이션을 선정하였다. 카메라의 위치까지 움직이게 되면 변수가 많아지게 되므로 관람형 VR 애니메이션과 같이 카메라의 위치를 움직이지 않는 애니메이션 연출을 분석하였다.

VR 애니메이션의 작품은 <헨리(Henry)>, <인베이 전!(Invasion!)>, <울브스 인 더 월스(Wolves in the walls)>을 선택하였다.

첫 번째 작품인 <헨리>는 오큘러스 스토리 스튜디오에서 두 번째로 만든 VR 애니메이션이다. 단편 애니메이션으로 에미상을 받았으며, 최우수 창작 인터랙티브 프로그램 부문에서 상을 받았다. <헨리>는 관람형 VR 애니메이션과는 다르게 게임엔진을 이용하여 제작했으며 컨트롤러에 의한 인터랙션이 일어나진 않는다. 하지만 향유자의 시선에 의한 인터랙션이 일어나도록 제작되었다. 두 번째 작품인 <인베이전!>은 바오밥 스튜디오에서 제작한 VR 애니메이션이다. Google Spotlight Stories에서 볼 수도 있으며 유튜브(Yutube)에서 360°로 볼 수 있는 작품이다. 유튜브 조회수가 약 574 만회에 이르는 흥행을 한 작품이다. 2017 데이타임 에 미상(Daytime Emmy) 시상식에서 ‘Outstanding Interactive’ 상을 수상하였다. <인베이전!>은 향유자가 관람만 가능한 VR 애니메이션이다. <헨리>와는 다르게 제작 방식이 리얼타임이 아닌 미리 제작된 프리렌더 방식으로 제작되었다. 세 번째 작품인 <울브스 인더 월스>는 앞선 작품들과는 다른 방식의 인터랙션을 보여준다. 오큘러스 스토어(Oculus Store)에서 제공되고 있는 <울브스 인더 월스>는 인터랙티브 요소를 잘 활용하여 2019년 프라임 타임 에미상을 수상했다. 게임엔진을 이용하여 제작되었으며 앞선 작품들과는 다르게 컨트롤러를 이용한 인터랙션이 일어난다. 게임적 요소를 가미한 VR 애니메이션으로써 인터랙션을 적극적으로 활용하여 제작되었다.

Ⅱ. 이론적 배경

1. VR 애니메이션

VR 애니메이션은 VR 플랫폼에서 상영되는 목적으로 제작된 애니메이션을 말한다[9]. VR 플랫폼이란 HMD를 착용하고 관람하는 형태를 말한다. 대표적으로 유튜브와 페이스북(FaceBook) 등 관람만 할 수 있는 VR을 서비스하는 플랫폼이 있으며, 스팀(Steam)과 오큘러스 스토어 등 게임, 애니메이션, 영화를 제공하는 플랫폼이 존재한다.

VR 애니메이션은 기존의 애니메이션 영화와 같이 내러티브에 기반하여 이야기를 전달한다. VR의 특성상 수동적으로 영상을 보는 것이 아니라 능동적으로 체험할 수 있다는 것에 차이가 있다. 능동적 참여에도 두 가지의 경우로 나뉜다.

첫 번째는 유튜브나 페이스북과 같은 플랫폼에서는 오로지 HMD로 관람만 할 수 있다. 즉, 컨트롤러의 사용 없이 시점 변화만으로 관람만 가능하다.

두 번째는 스팀과 오큘러스 스토어에서 직접 실행 파일을 받아서 PC에서 실행하는 경우다. 이 경우는 HMD와 컨트롤러로 스토리의 진행에 관객이 영향을 끼치게 된다. 두 가지 경우 다 VR 애니메이션이지만 세부적으로 나누게 된다면 컨트롤러 사용과 시선을 인식하여 인터랙션이 일어나는 경우를 인터랙티브 VR이라 부른다.

표 2. VR 제작 기술에 따른 플랫폼 분류

VR 콘텐츠를 보기 위해 HMD를 착용하게 되면 관람객은 현실 세계와 완전히 차단되어 가상의 공간에 몰입하게 된다. 기존의 애니메이션 영화는 평면적 영상 매체를 통해 연출자가 정한 시점으로 카메라를 배치해 수동적으로 봐야 했다면, VR은 관객의 눈이 카메라의 역할을 한다[10].

VR 애니메이션은 VR 기술을 통하여 애니메이션을 보기 때문에 시점을 360° 회전하여 장면들을 볼 수 있다. 시점의 자유로 인해 기존의 애니메이션 영화의 연출법과 다르다. 기존의 애니메이션 영화는 영상의 프레임 안에 미장센과 장면의 연출이 존재하였다면, VR 애니메이션은 360° 모든 공간을 시각화해야 한다[11].

VR 콘텐츠의 대표적인 문제점으로는 사이버 멀미가 있다. 사이버 멀미의 유발 원인은 감각갈등이론 (Sensory Conflict Theory)과 자세 불안정이론 (Postural Instability Theory)이 흔히 쓰이는 이론이며 이외에 하드웨어, 콘텐츠, 사용자 특성의 범주로 나누어 얘기할 수 있다. 콘텐츠 분야에서는 광학 흐름 (Optical flow), 정지 좌표계, 시야각 같은 요소들에의 해서 사이버 멀미가 일어난다. 광학 흐름은 VR 콘텐츠 내에서의 이동방식으로 카메라의 이동 속도, 회전, 회전축의 수, 배경 복잡도 등이 속해 있고, 이 요소들에 따라 사이버 멀미가 일어난다[12].

그 중에서도 광학 흐름은 해당 논문에서 중점적으로 다루고자 하는 사이버 멀미의 유발 원인 중 하나이다. 카메라의 회전과 속도가 멀미를 유발하고 카메라의 회전과 속도를 제어한다면 사이버 멀미를 저감할 수 있다.

2. VR 애니메이션의 시선 유도

루돌프 아른하임(Rudolf Arnheim)은 시지각의 요소 중 하나인 능동적 탐색을 이야기하였고, 장효진 (2018)은 시선 디자인 범주 중 하나인 탐색 과정이 있다고 하였다[13][14]. 즉, 공간에 대한 인지는 시선의 집중 이전의 과정으로 향유자가 가상세계로 들어왔을 때나 새로운 장소로 이동했을 때 정보를 탐색하는 과정을 거치게 된다. 고개를 두리번거리며 공간에 대한 정보를 파악하게 된다. 능동적으로 향유자가 공간을 보고 자기가 보고 싶은 곳을 찾아가는 과정이다.

VR 애니메이션은 탐색 시간이 주어질 때 스토리가 진행이 되지 않으며, 가상세계 안의 움직임이 없으며 향유자가 시선을 유도할만한 요소를 배제시킨다. 향유자가 360°의 공간 혹은 보고 싶은 곳들을 둘러보게 될 때 방해요소를 없앤 것이다. 탐색 과정에서는 연출자의 의도만으로 향유자의 시선을 움직이는 것이 아니라 향유자의 자율적인 선택도 같이 포함된다.

브루스 블록(Bruce Block)은 시각 구성 요소 중 스크린에서 시각적으로 관객의 주의를 끌 수 있는 요소들은 첫째, 움직임(Movement), 둘째, 가장 밝은 오브젝트(The brightest object), 셋째, 가장 채도가 높은 색 (The most saturated color), 넷째, 배우의 눈 (Actor’s eyes), 다섯째, 시각 구성요소들 중 가장 심한 대비를 동반한 오브젝트(The object with the most visual component contrast)라 하였으며, 이 중에 움직임이 가장 큰 주의를 끄는 요소라고 하였다[15].

3. VR 애니메이션의 인터랙션

인터랙티브는 기존의 미디어와 구분 짓는 중요한 특성이다. 인터랙티브 애니메이션은 실시간 재현을 통해 가상환경을 제공하며, 시청각적인 특질과 시공간적 개념에서 향유자와 쌍방향적인 커뮤니케이션을 가능하게 한다[16]. 인터랙티브 VR 애니메이션에서 향유자가 수용자에서 본인이 관람하는 애니메이션에 능동적으로 참여할 수 있는 참여자로의 역할이 전환된다.

인터랙션이 배제된 프리렌더 제작 방식의 VR애니메 이션에서는 향유자가 보고 싶은 부분을 볼 수 있는 인터랙션은 가능하지만 애니메이션 내부에 영향을 끼칠 수는 없다. 또한 컨트롤러를 이용하여 입력을 할 수 없다.

하지만 인터랙티브 VR 애니메이션은 컨트롤러를 이용한 입력으로 스토리에 영향을 미치게 할 수 있다. 향유자는 참여자로 VR 애니메이션에서 역할을 수행해야 하기 때문에 시선이 집중될 수밖에 없다. 기존의 애니메이션의 스토리텔링이 선형적이라고 한다면 인터랙티브 VR 애니메이션의 경우 비선형적 스토리텔링이며 향유자의 선택에 의해 스토리의 분기가 가능하며, 발전할 수 있는 범위가 넓다.

Ⅲ. 시선 유도 연출 분석

1. VR 애니메이션 시선 유도 연출

1.1 공간에 대한 인지 및 시선의 집중 요소

세 작품의 탐색 과정에서의 공간에 대한 인지와 시선 집중요소를 기존의 스크린상의 시각 집중 요소를 적용하여 분석하였다.

<헨리>는 내레이션이 끝나고 눈을 뜨고 나서부터 40초 후에 헨리가 등장하게 된다. 헨리가 문 사이로 시각 구성요소 중 움직임을 통해 시선을 유도하게 되며 스토리가 진행된다. ‘움직임’은 브루스 블록이 말한 스크린 상의 주목도를 높이는 요소 중 제일 높은 주목도를 가지는 요소라 하였다. 향유자는 주변을 둘러보다가 문 쪽에서 헨리의 움직임을 발견하게 되면서 시선이 집중되도록 연출하였다.

그림 1. 내레이션 후 헨리가 나타나는 시점과 배우의 움직임

<인베이전!>은 내레이션이 끝나고 가상공간에 향유자가 들어간 후 16초 뒤에 토끼집에서 토끼가 멀리서 나오게 된다. 16초간 향유자는 정면 방향에서 고개를 돌려 주변을 탐색하게 되는 시간을 갖게 된다.

브루스 블록은 시각 요소 중 밝은 오브젝트가 주목도를 올리는 요인이라 하였다. 1차적으로 시각적인 요소인 토끼집의 색을 배경과는 다른 ‘선명한 채도’로 시선을 유도하고, 토끼의 등장과 함께 ‘움직임’의 요소로 시선을 집중시켰다. 토끼는 토끼의 집에서부터 나타나 향유자의 앞까지 뛰어나오며 시선을 집중시키며 다른 곳을 보지 않도록 연출하였으며 애니메이션의 끝까지 시선을 집중시키면서 진행된다.

그림 2. 채도의 차이로 시선 집중

스크린에서 상영하는 애니메이션은 주목도가 높은 시각적 요소를 사용하여 향유자의 시선을 집중시키는 것이 일반적이었다. 하지만 VR 애니메이션에서 딱 맞는 방법은 아니다. 만약 향유자의 시선이 토끼집의 반대 공간을 주시하고 있다면 ‘움직임’과 ‘채도의 차이’로 인한 시선 집중 연출을 보지 못하기 때문에 소용이 없다. VR에서 시선 유도는 시각적인 요소로 주목을 시키는 것과 동시에 연출자의 의도가 들어간 지점 이외의 공간에 향유자가 주시하고 있을 때 시선을 원하는 지점으로 유도하는 것이 중요하다.

이외에도 <인베이전!>에서는 시선의 집중을 위해 ‘배우의 눈‘ 요소로 실제적인 인터랙션이 아니더라도 향유자의 눈을 쳐다보며 공감을 유도하며 몰입을 시킨다.

그림 3. ‘배우의 눈’으로 시선 유도

앞의 두 작품 다 탐색의 시간을 두고 스토리가 진행되었다.

<울브스 인더 월스>는 앞의 두 작품과는 다르게 탐색의 과정이 다르다. 처음 주인공 캐릭터 루시가 눈을 그려주며 장소에 대한 정보를 점차적으로 보여주며, 향유자로 하여금 가상공간에 들어온 것을 인지하게 해준다. 주인공 캐릭터의 행동과 말로 향유자의 역할을 설명해 준다. 앞선 작품들과 다르게 하나의 장소에서 스토리가 진행되는 것이 아니기 때문에 탐색 과정에서 시점의 자유로 인한 공간을 탐색할 시간을 주는 것이 아니라 공간을 인지할 필요가 없도록 배경을 검은색으로 보여주고 필요한 부분의 배경만을 보여주며 시선을 제어하고 있다.

그림 4. 조명에 의한 대비 효과로 시선 유도 연출

1.2 시선의 이동을 위한 요소들

시야 안에서 시야의 밖으로 시선을 움직일 수 있도록 연출하는 것이 VR 애니메이션에서는 중요한 부분이다. 연출자의 의도대로 정확하게 바라봐야 할 부분으로 시선을 움직이는 것이 하나의 목적이라고 한다면 향유자의 시선이 의도치 않은 곳을 응시하고 있을 때 다시 의도한 위치로 돌릴 수 있어야 한다.

VR 애니메이션에서는 컷으로 여러 장면을 보여주는 방식은 사용하기 어렵다. 기존의 연구들에서 밝혀진 바와 같이 컷으로 인한 공간의 이동이 빈번하게 일어날 경우 향유자의 몰입상태에서 벗어나 혼란을 느낄 수 있고, 인지 부조화로 인한 멀미를 느낄 수 있다[17].

갑작스럽게 공간을 이동하는 것은 멀미를 유발할 수 있기 때문에 장욱진(2018)은 VR 영상 제작에 있어 롱테이크 연출이 필연적이며 다양한 요소를 활용해 관객의 시선을 유도해야 한다고 하였다[18].

VR 애니메이션에서 롱테이크 연출로 캐릭터의 ‘움직임’요소로 프레임 안에서 밖으로 유도하는 장면들이 많다. 세 작품 다 대표적으로 주인공 캐릭터들이 ‘움직임’으로 향유자의 시선을 집중시킨 뒤 프레임 안에서 프레임 밖으로 유도한다.

<헨리>의 경우 탐색 과정에서 부엌문에서 주인공 캐릭터인 헨리의 ‘움직임’에 시선 집중이 되고, 부엌문을 나와서 케익을 들고나오는 헨리의 ‘움직임’에 프레임 안에서 프레임 밖으로 시선의 이동이 이루어지는 것을 한 예로 들 수 있다.

그림 5. ’움직임‘요소에 의한 시선 이동

<인베이전!>은 캐릭터의 시선으로 향유자에게 바라봐야 할 부분을 가르킨다. 향유자는 캐릭터의 ’움직임 ‘으로 인한 토끼에게 시선을 집중시킨 뒤 캐릭터의 눈을 통해 프레임 안에서 프레임 밖으로의 시선을 이동시키는 연출을 사용하였다. 토끼의 눈을 보고 반대 방향으로 시선을 돌려 향유자는 우주선을 보도록 유도하고 있다.

그림 6. ‘배우의 눈’의 방향의 화면

<울브스 인더 월스>에서는 조명을 활용한 대비 효과로 향유자의 시선을 이동시킨다. 주인공 캐릭터가 늑대의 존재를 알리려 루시의 아버지에게 가는 장면에서 아버지의 위치와 공간을 설명하기 위한 장치로 스포트라이트를 이용하여 향유자 시선을 프레임 밖으로 유도하였다.

그림 7. ‘대비’요소에 의한 시선 이동(조명)

2. VR 애니메이션의 인터랙션 연출

라이언(Marie-Laure Ryan, 2015)은 인터랙션의 유형을 4가지로 분류했다. 상호작용의 유형은 내재적 (Internal), 외 재적(External)을 한 축으로 삼았으며, 참관형(Exploratory)과 참여형(Ontological)을 다른 축으로 삼아 두 개념의 조합으로 4가지의 경우를 범주화하였다[19]. 내재적 유형은 1인칭 시점으로 가상의 공간에서 이용자의 행동이 반영되고, 외재적 유형은 3 인칭 시점으로 가상공간에서 투명한 존재로 행동이 반영되지 않는다. 참관형은 인터랙션 없이 관람하는 형태이고, 참여형은 직접적인 행동으로 결과를 만들어 낼 수 있다.

이 범주를 VR 애니메이션 제작 방식에 적용한다면 참관형으로 내재적, 외재적 범주에 속하는 프리렌더 제작방식이다. 즉 프리렌더 방식은 향유자와 인터랙션이 배제된 애니메이션 제작 방식이다.

리얼타임 제작방식은 참여형으로 내재적, 외재적 범주에 속한다. 두 가지 방식의 큰 차이점은 인터랙션의 유무다. 즉 리얼타임 렌더 방식은 향유자와 인터랙션이 가능한 애니메이션 제작 방식이다.

표 3. 상호작용 유형의 제작 방식 분류

위의 인터랙션 유형으로 세 작품을 분류한다면 다음과 같다.

<헨리>의 경우는 외재적 참여형 범주로 볼 수 있다. 인터랙션이 가능한 리얼타임 렌더 방식으로 제작되었으며 주인공 헨리가 향유자와 시선을 맞춘다는 부분에서 참여형으로 볼 수 있다.

<헨리>는 향유자가 VR 컨트롤러로는 인터랙션을 할 수 없다. 오로지 시점만을 인식하여 주인공 헨리와 시선을 맞출 수 있다는 것이 특징적이며, 기존의 프리렌더 방식이 아닌 리얼타임 렌더 방식을 사용해 실시간으로 향유자의 시선을 인식하여 헨리의 눈동자를 움직여 따라간다는 것이 특징이다. 세 번의 시선을 맞추는 상황이 나온다. 헨리가 케익을 들고나오는 장면과 축하는 장면, 축하하던 친구들이 문밖으로 나갔을 때 향유자와 눈 맞춤을 한다. 이때 향유자는 헨리에게 시선집중이 되며 주인공 헨리에 공감을 하게 된다.

그림 8. 향유자의 시선에 의한 인터랙션

<인베이전!>의 경우는 외재적 참관형 유형이다. 관람 형태로 인터랙션이 배제된 프리렌더 방식으로 제작되었으며, 선형적인 스토리를 따라간다. 다만, <인베이 전!> 같은 경우는 주인공 캐릭터인 토끼는 향유자를 인식하는 것처럼 행동하며, 시선을 맞추는 듯한 행동을 하여 향유자는 마치 토끼와 인터랙션이 되는 것처럼 느끼도록 연출되었다.

<울브스 인더 월스>의 경우는 참여형으로 내재적 범주에 속한다. 인터랙션이 가능한 리얼타임렌더 제작방식으로 제작되었다. 1인칭 시점으로 주인공 루시의 인형으로 향유자는 가상공간에 참여하게 된다. 주인공 루시가 계속해서 이야기를 나누게 되고 중요한 순간 향유자와 인터랙션이 이루어져야 다음 이야기로 넘어가게 된다. 인터랙션을 스토리의 중요한 부분에 향유자를 끌어들임으로서 시선을 유도하고 몰입감을 높이는 용도로 사용하였다.

[그림 9]의 그림들은 6분경에 나오는 장면으로 향유자가 사진기로 루시를 찍게 되면 늑대의 눈이 찍히게 되면서 늑대의 존재를 알게 되는 장면이다. 이 장면은 어디를 찍더라도 늑대의 흔적이 나타난다. 첫 번째 그림은 주인공이 향유자에게 사진기를 주는 인터랙션이다. 시선을 주인공에게 주고 인터랙션을 하지 않으면 스토리는 진행되지 않는다. 시선을 강제적으로 제어하며 연출자의 의도대로 집중되되록 하였으며, 향유자가 스토리에 참여하게 하여 몰입하도록 만든다.

그림 9. 인터랙션에 의한 시선 유도

스토리 이해에 중요한 부분에 인터랙션을 추가하여 향유자의 시선이 다른 곳으로 가지 않도록 제어한 부분이 <헨리>와 <인베이전!>의 선형적인 스토리와 큰 차이점을 나타낸다. <헨리>와 <인베이전!>같은 인터랙션이 강제적인 시선의 제어가 없는 애니메이션은 향유자의 시선이 스토리에 중요한 지점을 주시하고 있지 않다면 스토리를 놓칠 수 있는 문제점을 야기시킨다.

<울브스 인더 월스>는 시선을 제어하기 위하여 인터랙션이 일어나지 않으면 VR 애니메이션 속 스토리는 정지하도록 한 장면들이 있다. 향유자의 인터랙션이 일어나길 기다리며 인터랙션이 일어났을 때 다음 스토리로 이어지는 비선형적 스토리로 진행된다.

[그림 10]의 그림들은 10분경에 나오는 장면으로 늑대의 울음소리를 듣는 인터랙션으로 벽 안에 늑대가 있다는 것을 루시와 함께 확인하는 장면이다. 이 장면은 루시에게 시선을 주고 펜을 받지 않으면 스토리가 진행되지 않는다. 향유자가 다른 곳을 보고 있더라도 강제적으로 향유자의 시선을 끌고 올 수 있는 방법으로 쓰였으며 향유자를 참여하도록 하여 시선을 집중시키는 데 쓰였다.

그림 10. 인터랙션을 이용한 스토리 전개

[그림 11]은 늑대가 집안으로 들어와 가족을 공격하는 스토리로 긴박한 분위기의 장면이다. 이때 시선을 이용한 인터랙션으로 바라보는 곳이 흑백으로 변하도록 연출하였고, ‘대비’를 통한 시선의 주목도를 높였다. 기존의 스크린상의 주목도를 높이는 요소와의 인터랙션을 합하여 시선 유도를 효과적으로 표현할 수 있다는 것을 보여주었다.

그림 11. 시선을 이용한 인터랙션

향유자와의 인터랙션은 스토리의 결과에는 영향을 주지 않지만 시선을 유도하는 장치로써 쓰이고 있으며, 몰입감과 현존감을 높이는 데 중요한 요소로 사용되고 있다.

3. 인터랙티브 VR 애니메이션 연출법 제안

3.1 멀미를 줄이기 위한 인터랙션 연출

탐색 과정에서 공간에 대한 인지를 효율적으로 줄 수 있는 시선 유도 요소가 필요하며 회전의 속도도 제어할 필요가 있다. 휴먼 팩터로 인한 사이버 멀미는 카메라 회전의 최소화와 가속도의 제한으로 줄일 수 있다.

그림 12. <인베이전!>의 탐색 과정의 화면

<인베이전!>의 처음 가상공간에 들어갔을 때 토끼집을 찾는 것이 좋은 예이다. <인베이전!>에서는 향유자가 처음 가상공간으로 들어오게 되면 아무런 정보가 없이 진행된다. 몇 초에서 수 십 초 동안의 공간 인지를 위한 탐색 시간을 주는 것이 끝이다. 탐색 시간 동안 향유자는 가상공간을 둘러봐야 하며 연출자의 의도로 만들어진 다른 배경과 색의 선명도가 다른 토끼집을 찾아야 한다. 그리고 그곳을 응시하고 있어야 연출자의 의도대로 스토리를 감상할 수 있다.

탐색의 과정에서 향유자는 정보를 얻기 위해 고개를 회전하게 된다. 좌측으로 머리를 돌린다면 토끼집을 발견하게 되고 스토리가 진행되는 것을 볼 수 있다. 하지만 오른쪽으로 고개를 돌린다면 향유자는 고개의 회전을 불필요하게 많이 하게 된다. 앞선 연구들을 보면 고 개의 회전축에 따라 사이버 멀미가 발생하는 것을 알 수 있다. 또한 돌리는 속도도 콘텐츠에 의한 제어가 없기 때문에 빠르게 회전할 수 있는 가능성이 생기게 되며 이것은 슬라이딩 현상을 만들어 낸다. 이것은 사이버 멀미를 유발하는 하나의 원인이 될 수 있다.

탐색 과정은 처음 가상공간에 들어왔을 때나 컷 전환이 일어났을 때 일어난다. 시선으로 인터랙션이 되는 물체가 있다면 혹은 향유자의 정면 방향에 시선을 유도해 줄 수 있는 물체가 있다면 그 물체를 시선의 주목도가 가장 높은 ‘움직임’ 요소로 프레임 밖으로 시선을 이동시켜 원하는 공간으로 시선을 유도해 줄 필요가 있다.

예를 들면 <헨리> 작품무당벌레의 ‘움직임’은 인터랙션은 없지만 프레임 밖으로 향유자의 시선을 이끈다.

그림 13. 무당벌레의 움직임으로 인한 시선 이동

다만 무당벌레를 보지 못하는 경우라면 시선의 유도가 일어나지 않을 수 있다는 문제점이 있다.

무당벌레가 향유자의 시선이 닿았을 때, 즉 인터랙션이 일어났을 때 무당벌레가 움직이면서 향유자의 시선을 유도하게 된다면 향유자는 연출자가 의도한 대로 향유자의 시선을 옮길 수 있으며 물체의 ‘움직임’ 속도로 향유자의 고개 회전 속도를 제어할 수 있다.

3.2 스토리텔링 이해를 위한 인터랙션 연출

3.2.1 이벤트

향유자가 중요한 스토리 진행을 보지 못하고 넘어가는 경우가 있을 수 있다. 스토리텔링의 이해를 위한 메인 스토리가 향유자의 정면에서만 나온다면 향유자는 정면만 응시하면 문제는 없어진다. 하지만 그렇게 VR 애니메이션이 연출이 된다면 360° 시점의 자유를 살리지 못한 연출이 된다.

스토리텔링을 놓칠 수 있는 부분은 <울브스 인더 월스>에 좋은 예로 들 수 있다. <울브스 인더 월스>에서 주인공의 인형 역할인 향유자에게 직접 스토리에 참여할 것을 요구한다. 향유자가 만약 다른 곳을 보고 있더라도 가상의 시간은 멈춰 있고 스토리 진행 또한 멈춰 있다. 이처럼 향유자가 직접 스토리에 참여하게 하여 인터랙션을 통한 스토리의 진행을 하도록 하였다. 이와 같은 인터랙션은 게임에서 자주 쓰던 연출 방법이다. 예를 들면 NPC와의 대화를 통한 퀘스트 진행을 하는 게임에서의 연출이다. 이 같은 연출은 향유자가 직접 미션을 수행하게 함으로써 게임의 스토리를 이해하도록 유도한다. 사용자가 참여하지 않으면 스토리가 진행되지 않고 가상의 공간의 시간은 멈추기 때문에 향유자는 스토리를 진행하기 위해 연출자가 의도하는 곳으로 볼 수밖에 없다.

다만 VR 애니메이션의 선형적 스토리를 비선형적으로 바꿈으로써 기존의 애니메이션과는 차이점이 생기며 부자연스럽게 느껴진다. 이와 같은 문제점도 생기는 연출 방법이지만 인터랙션을 기다리는 동안의 캐릭터의 자연스런 행동과 향유자의 행동을 유도하는 등의 연출을 통해 극복 가능할 것으로 예상된다.

3.2.2 GUI(Graphical User Interface)

게임의 FPS(First Person Shooter)는 VR 애니메이션의 1인칭 시점과 동일하며, 시점의 자유도 동일하다. 또한 향유자와 인터랙션을 한다는 점이 게임과 인터랙티브 VR 애니메이션의 공통점이다.

게임에서는 시점의 자유로 인해 향유자가 스토리의 진행을 따라오지 못하는 상황을 막기 위해 GUI를 사용하여 시선을 유도한다.

그림 14. 게임에서 GUI를 활용한 시선의 유도

VR 애니메이션에서는 게임과 마찬가지로 스토리가 진행되는 곳에 향유자의 시선을 유도할 필요가 있다. 게임에서 사용하는 GUI를 이용하여 향유자의 시선을 이끄는 연출을 VR 애니메이션에서도 향유자에게 시선을 유도할 수 있는 방법이다. 또한 게임에서 사용되는 미니맵을 이용하여 주요 스토리가 진행되는 곳을 표시하여 향유자의 시선을 유도할 수 있다. 예를 들어 반대 방향에서 주요 스토리가 진행된다면 VR 애니메이션의 흐름을 멈추고 GUI를 통해 향유자의 시선을 옮길 수 있으며, 게임에서 활용되는 미니맵을 이용한다면 가상 공간에서 향유자에게 보이지 않는 곳에서 어떤 일이 일어나는지 표시해줄 수 있는 환경을 제공할 수 있다. 연출자의 의도를 보다 명확하게 향유자에게 전달할 수 있다.

두 가지의 방법은 FPS 게임을 해본 사람들에게는 익숙한 방법이며 시선을 유도하는 직관적인 방법이다.

Ⅳ. 결론 및 향후 연구

본 연구에서는 VR 애니메이션에서 나타나는 두 가지의 문제점인 사이버 멀미와 스토리텔링의 이해에 중점을 두고 있다.

불필요한 머리 움직임을 최소화하고자 필요한 프레 임으로 시선을 유도하기 위해 VR 애니메이션을 분석하였다. 루돌프아른하임의 시지각 이론과 브루스 블록의 스크린의 주목도를 높이는 시각적 요인을 이론으로 사용하였다.

분석 결과 공간의 인지, 시선의 집중, 시선의 이동의 세 가지 과정에서 시각적 요인인 ‘움직임’ 요소가 시선의 유도를 위해 제일 많이 사용된 것으로 나타났다. 인터랙티브 VR 애니메이션 <울브스 인더 월스>는 스토리에 중요한 지점마다 인터랙션 이벤트를 통해 향유자가 참여하도록 하여 강제적으로 시선을 유도하였다.

본 연구에서는 시선 유도를 통한 스토리텔링의 이해를 높여 멀미 유발을 줄이기 위한 시선 유도 연출을 제안 하였으며 기존의 시선 유도 연출 방법, 인터랙티브 VR에서 쓰인 이벤트 연출, 게임의 GUI를 이용하여 제안하였다.

첫 번째, 멀미의 원인을 줄이기 위해 가이드를 할 수 있는 캐릭터에 ‘움직임’ 요소를 이용하여 향유자의 시선을 연출자의 의도대로 움직일 필요가 있다. 추가적으로 캐릭터에 시선의 인터랙션이 일어났을 때 움직여야 정확한 시선의 유도가 이뤄질 것이다. 캐릭터의 움직임의 속도와 정확한 지점으로의 향유자의 시선 유도는 공간의 인지 과정에서 향유자의 고개를 돌리는 속도 조절과 불필요한 고개의 회전을 막아줌으로써 멀미 유발을 감소시킬 수 있다.

두 번째, 스토리 텔링의 주요한 지점에 인터랙션이 벤트를 추가하여 직접 참여하지 않으면 스토리가 진행되지 않게끔 하는 방법이며, 이는 <울브스 인더 월스> 에서도 사용한 방법이다. 하지만 가상공간의 시간을 멈춤으로써 부자연스러운 상황이 나타났다. 이 부분을 자연스럽게 만들기 위하여 인터랙션을 기다리는 동안 캐릭터의 자연스런 행동과 향유자의 행동을 유도하는 연출에 대한 연구가 필요하다.

게임의 FPS에서 쓰이는 GUI를 활용하여 향유자를 스토리에 참여시키는 방법을 이용하여 VR 애니메이션에서 스토리텔링에 주요한 프레임으로 향유자의 시선을 이동시킬 수 있는 방법으로 제안하였다. 이 방법은 게임을 해본 향유자에게는 친숙하고 게임을 해보지 않은 향유자에게도 직관적인 표시를 해주는 방법이기 때문에 확실한 방법으로 사료된다.

본 논문에서 제안한 방법은 문헌 연구와 VR 애니메이션에서 연출된 방법을 응용하였다. 향후 연구에서는 시선 유도를 통한 멀미 유발의 감소와 스토리텔링의 이해도가 향상되는지를 확인하기 위한 실험연구를 진행하고자 한다.