혼합증강현실에서 라이브 행동자와 실체 표현을 위한 표준 모델

Standard Model for Live Actor and Entity Representation in Mixed and Augmented Reality

Abstract

혼합증강현실 기술은 순수 현실세계와 순수 가상세계를 제외한 증강현실과 증강 가상을 포함하여 현실세계와 가상세계를 혼합하는 내용을 다룬다. 혼합증강현실에서 현실세계에서 움직이는 라이브행동자와 실체(LAE: live actor and entity)가 3D 가상공간과 혼합하여 자연스럽게 표현될 수 있으면, 원격 3D 몰입 회의, 3D 가상 체험 교육 서비스 등이 가능하다. 따라서 본 논문에서는 LAE를 3D 가상공간에 자연스럽게 혼합하고, 서로서로 상호작용할 수 모델을 표준 제안한다. 제안한 모델을 기반으로 LAE의 혼합과 상호작용이 수행될 수 있다.

Mixed and augmented reality technique deals with mixing content between real world and virtual world containing augmented reality and augmented virtuality excluding of pure real and pure virtual world. In mixed and augmented reality, if a live actor and entity moving in real world can be embedded more naturally in 3D virtual world, various advanced applications such 3D tele-presence, 3D virtual experience education and etc can be serviced. Therefore, in this paper, we propose a standard model which is supporting to embed the live actor and entity into 3D virtual space, and to interact with each other. And also the natural embedding and interaction of live actor and entity can be performed based on the proposed model.

Ⅰ. 서 론

컴퓨터와 정보 통신 기술의 발전으로 우리는 현실세계와 가상세계를 공존하면서 살아가고 있다. 일반적으로 카메라를 통해 현실세계의 정보를 담아낸다. 이러한 현실세계의 정보와 가상세계의 정보를 연결하기 위해 증강현실(augmented reality) 기술[1-5]이 태동되었으며, 대다수의 증강현실 기술은 카메라로부터 얻어진 현실세계의 객체를 보다 잘 설명하기 위해 가상의 객체를 증강하고 있다. 증강현실의 상반된 개념으로 가상공간에 현실세계에서 얻어진 영상 정보를 통합하여 나타내는 증강가상(augmented virtuality) 기술[6]이 있다. 이처럼 현실세계와 가상세계를 혼합하기 다양 연구가 진행되고 있다.

최근들어 ISO/CD 18039[7]에서는 순수 현실세계와 순수 가상세계를 제외한 증강현실과 증강 가상을 포함하여 표현하는 혼합증강현실(MAR: mixed and augmented reality)에 대한 참조 모델 표준이 제안되었다. MAR 참조모델 표준에서는 <그림 1>과 같이 라이브 비디오(live video)와 같은 “All Physical, No Virtual”와 컴퓨터 그래픽스 장면과 같은 “All Virtual, No Physical”사이에 존재하는 혼합증강현실 관련 기술을 다룬다. 이러한 혼합증강현실 참조 모델은 컴퓨터그래픽스 참조모델[8], VRML[9]와 X3D[10]을 기반으로 만들어 지고 있다.

그림 1.혼합 증강 현실[7] Fig. 1. Mixed and augmented reality(MAR)[7]

증강가상을 표현하는 <그림 1>의 왼쪽으로부터 세 번째 그림에서는 현실세계에 존재하는 사람을 가상세계에 통합하여 보여주고 있다. 그러한 증강가상 기술에서 가장 중요한 항목으로 현실세계에서 생동감 있게 움직이는 객체로 정의되는 LAE(live actor and entity)을 가상세계와 혼합하여 자연스럽게 표현하는 것이다. LAE의 가장 대표적인 예로는 현실세계에 존재하는 사람, 동물, 자동차 혹은 비행기 등이다. 일반적으로 이러한 LAE는 카메라를 통해 촬영된 영상으로부터 추출된다. 예를 들어, <그림 2>가 사람을 나타내는 LAE를 가상세계에 혼합한 결과를 보여준다. 그림에서 보는 바와 같이 카메라로부터 얻어진 두 명의 여성인 LAE가 도서관과 같은 교육 공간을 묘사하고 있는 3D 가상공간에 참여하고 있다. 가상공간에 참여하고 있는 두 LAE는 실제와 동일하게 상호협력하면서 원하는 역할을 수행한다. 만약 LAE를 영어 교육의 학습자와 교수자라고 가정하면, 현실과 같은 상황의 영어 대화가 가능해 교수자와 학습자 모두에게 보다 강화된 몰입감과 상호작용이 가능할 것이다. 이러한 시스템은 혼합증강현실환경에서 3D 비디오 화상회의, 3D 가상 체험형 스포츠와 3D 가상훈련 등과 같은 시스템으로 확장될 수 있다.

그림 2.혼합증강현실 세계에서 LAE의 예 Fig. 2. An example of real character representation in an MAR world

MAR에서 LAE가 3D 가상 세계에 통합되면 그들의 위치, 움직임과 상호작용이 3D 가상세계에서 정확하게 표현되어야 한다. 그러나 대다수의 관련 시스템이 독립적으로 개발되고 있어 범용적으로 사용되고 있지 못한다. 이러한 현상을 극복하고 널리 사용될 수 있는 시스템을 만들기 위해서는 표준화 모델이 필요하다. 최근 ISO/IEC JTC1 SC24 WG9에서 이에 대한 표준 모델[11]을 제정하기 시작하였고, 현재 NP(New Proposal) 단계이다. 본 논문에서는 이 표준에서 다루는 핵심적인 내용을 소개하고 이를 이용하여 구현한 사례를 소개하고자 한다. 본 논문의 제 II장에서는 MAR 환경에서 LAE를 표현하기 위한 개념 모델을 소개하고, 제 III장에서는 LAE를 가상공간과 혼합하고 상호작용하기 위한 모델을 소개한다. 그리고 제 IV장에서는 본 논문에서 제시한 표준 모델을 적용하여 구현한 사례를 소개하고, 마지막 장에서는 본 논문의 연구 결과와 향후 연구 내용에 대해 논의한다.

 

Ⅱ. 혼합증강현실에서의 LAE 표현을 위한 개념 모델

LAE는 사람 혹은 동물과 같이 현실세계에서 활동하는 살아 있는 객체를 의미한다. 이러한 LAE는 분명 현실 세계에서 활동하지만 현실세계의 제약으로 인해 3D 가상 세계, 즉 혼합증강현실에서 원하는 행동을 하고자 한다. 이 번장에서는 MAR 환경에서 LAE가 가상공간과 어떻게 혼합하고 상호작용하는지를 표현하는 개념 모델을 제시한다. <그림 3>에서 보는 바와 같이 제시한 모델은 LAE의 입력 센싱 모듈(sensor), LAE의 추적과 인식 모듈(recognizer/ tracker), LAE를 3D 가상공간과 통합하는 공간매핑모듈(spatial mapper), LAE와 3D 가상 공간과의 상호작용을 처리하는 이벤트 매핑 모듈(event mapper), 그리고 LAE의 공간 매핑과 이벤트 매핑을 완료한 결과를 3D 가상 장면과 합성하여 렌더링하는 모듈(render/simulator)로 구성된다. 특히, 공간 매핑과 이벤트 매핑을 처리하기 위해 LAE의 트래킹과 행동의 인식이 필수적으로 요구된다.

그림 3.MAR 세계에서 LAE를 표현하기 위한 개념 모델 Fig. 3. A conceptual model for representing LAEs in an MAR world

<그림 3>과 같이 제시된 개념 모델을 구현하기 위해서는 시스템 구현 관점에서 모두 세부적인 구현 모델이 제시되어야 하며, 그 구현 모델로 <그림 4>와 같이 제시한다.

그림 4.MAR 세계에서 LAE를 표현하기 위한 시스템 프레임워크 Fig. 4. System framework for representing LAEs in an MAR world

1. LAE 입력 모듈

MAR 세계에서 LAE를 표현하기 위한 요구되는 LAE의 입력 정보로는 두 가지 부류가 있다. 먼저 첫 번째 부류의 입력 항목으로는 LAE 그 자체이다. 일반적으로 현실 세계에 존재하는 LAE는 일반카메라를 통해 단지 2차원 영상으로 입력되거나 혹은 키넥트(Kinect) 등[12]과 같은 깊이 카메라를 통해 깊이정보를 포함한 2차원영상으로 입력된다. 두번째 부류로는 현실세계에서 LAE가 가지고 있는 입력 기기를 통해 얻어지는 센싱 정보이다. 이러한 센싱 정보는 MAR 환경에서 사용될 것이다. 예를 들어, LAE가 가지고 있는 스마트 기기로부터 얻어지는 GPS와 같은 위치 정보, 좌우 흔들기와 같은 운동 정보, 그리고 스마트 기기의 제어정도를 표현하는 정보 등이 있을 수 있다.

2. 입력 정보의 전처리 모듈

입력정보의 전처리 모듈에서는 LAE를 포함한 캡쳐 영상과 깊이 정보, GPS등과 같은 센싱 정보에 입력받아 입력정보의 추적과 인식을 용이하게 하도록 하기 위해 요구되는 전처리 모듈이다. 그 예로는 LAE를 포함하는 센싱된 입력 영상과 비디오로부터 LAE를 추출하기 위한 Chromakey- ing[13] 작업이다. 따라서 이 모듈은 LAE 정보와 센싱 인터페이스 정보를 효과적으로 추출할 수 있도록 제공해주는 작업이다.

3. 트래킹 모듈(Tracking Module)

트래킹 모듈은 현실 환경에서 연속적으로 센싱되는 입력정보에 대해 LAE의 움직임과 센싱 인터페이스 정보를 지속적으로 얻어내는 기능을 담당한다. 현실 환경에서 얻어진 트래킹 결과인 LAE 정보와 센싱 인터페이스 정보는 이들 정보를 3D 가상공간에 배치하는 공간 매퍼(Spatial Mapper) 모듈의 입력 정보로 활용된다.

4. 인식 모듈(Recognizing Module)

인식 모듈은 현실 환경에서 연속적으로 센싱되는 입력 정보에 대해 LAE의 움직임과 센싱 인터페이스 정보를 지속적으로 인식하는 기능을 담당한다. 현실 환경에서 얻어진 인식 결과인 LAE의 움직임 정보와 센싱인터페이스정보는 이들 정보를 이용하여 3D 가상공간과 상호작용을 처리하기 위한 이벤트 매퍼(Event Mapper) 모듈의 입력 정보로 활용된다.

5. 공간 매핑 모듈(Spatial Mapping Module)

현실 환경에서 얻어진 LAE의 트래킹 결과가 3D 가상 공간에 어디에 배치되어야 할 것을 결정하는 모듈로, 이를 위해 LAE의 위치(position) 및 움직임 방향(direction) 정보를 3차원 가상 공간에 배치한 후 그 결과를 실행하는 기능을 담당한다. 이 모듈의 결과는 통합 렌더링 모듈의 입력으로 활용된다.

6. 이벤트 매핑 모듈(Spatial Mapping Module)

현실 환경에서 얻어진 LAE와 센싱 인터페이스 장치 정보의 인식 결과가 3D 가상 공간에 존재하는 가상 카메라, 가상 객체와 증강 현실 콘텐츠와 어떻게 상호작용할지를 결정하여 실행하는 모듈이다. 이 모듈에서 처리해야 하는 기능으로는 먼저 LAE의 행동과 센싱 인터페이스 장치의 동작 인식 기능, 인식된 동작에 따른 해당 상호작용 동작과 이를 실행하는 기능으로 구성된다. 이 모듈의 결과는 통합렌더링 모듈의 입력으로 활용된다.

7. 통합 렌더링 모듈(Composite Rendering Module)

통합 렌더링 모듈에서는 공간 매핑 모듈과 이벤트 매핑 모듈의 결과를 받아 주어진 3D 가상 공간과 통합하여 렌더링하는 모듈이다. 이 모듈은 결과는 다양한 디스플레이 장치(PC 모니터, 3D 모니터, HMD(Head Mounted Display) 등)에 나타날 수 있다.

 

Ⅲ. 혼합증강현실에서의 LAE의 혼합과 상호작용

3D 가상공간과 LAE의 혼합은 LAE를 포함하는 입력 영상과 깊이 정보의 처리, 처리 결과와 가상공간간의 공간 매핑을 통해 이루어진다. 이러한 과정은 <그림 5>에 잘 설명되어 있다.

그림 5.MAR 세계에서 3D 가상공간과 LAE의 혼합 Fig. 5. An embedding between a 3D virtual space and live actor/entity in an MAR world

가상공간에서 LAE를 표현하기 위해 우선적으로 WebCam 혹은 Kinect와 같은 카메라로부터 LAE 이미지를 캡처 받아야 한다. 캡처된 LAE를 3D 가상공간에 혼합하기 위해서는 LAE의 움직임을 3D 가상공간에 자연스럽게 표현할 수 있어야 한다. 이를 위해 LAE를 추출하는 Chromakeying작업을 수행한다. 다음으로 실시간에 LAE의 움직임을 자연스럽게 3D 가상공간에 혼합하기 위해서는 현실세계에서움직이는 LAE의 위치 정보를 얻어야 하고, 이러한 위치정보가 3D 가상공간의 어디에 위치되어야 하는지를 결정해야 한다. 본 표준에서는 이러한 과정을 공간 맵퍼에서수행하도록 제안하였다. 본 표준에서는 LAE 동작을 통해 3D 가상공간과 상호작용할 수 있는 인터페이스를 제공하였다. 이러한 상호작용 인터페이스로 LAE의 동작과 LAE가 가지고 있는 디바이스로부터 얻어진 센싱 정보를 사용할 수 있도록 하였다. 본 표준에서 고려한 LAE와 관련한 인터페이스 정보로는 다음과 같은 항목이 있다.

본 표준에서 LAE 이벤트를 처리하기 위한 전체적인 과정은 <그림 6>과 같다.

그림 6.MAR 세계에서 LAE의 이벤트 처리 과정 Fig. 6. An event processing procedure of live actor/entity in an MAR world

<그림 6>에서와 같이 입력 장치로부터 데이터를 받아 이를 이벤트 인식(Event Recognizer) 모듈로 보낸다. 이 모듈에서는 사용될 이벤트를 관리하고 있는 이벤트 DB와 입력 데이터를 이용하여 이벤트를 인식하기 위한 방법을 기술한 Script DB를 활용하여 이벤트를 인식하여 그 결과를 제공한다. 인식된 이벤트 결과는 이벤트 실행기(Event Executer)에 전달된다. 본 표준에서 제시한 이벤트 처리 모듈에서는 3D 가상공간과 LAE간의 상호작용 이벤트 유형으로 카메라 제어 이벤트, 객체 제어 이벤트와 AR 객체 제어 이벤트를 제공한다. 카메라 제어 이벤트는 3D 가상 공간에 존재하는 가상 카메라를 움직이기 위한 제공한다. 가상카메라의 움직임은 카메라의 위치와 방향을 조정하는 이벤트를 이용하여 표현될 수 있다. 객체를 제어하는 기능으로는 3D 가상 공간에 존재하는 객체를 선택하는 기능, 선택한 객체를 이동, 회전과 크기를 조정하는 이벤트와 애니메이션을 실행하는 이벤트가 있을 수 있다. AR 객체 제어 이벤트로는 AR 객체를 3D 가상공간의 특정한 위치로 가져오는 이벤트, AR 객체를 사라지게 하는 이벤트, AR 객체를 이동, 회전과 크기를 조정하는 이벤트, AR 객체에 대해 애니메이션을 실행하는 이벤트가 있을 수 있다. 이러한 이벤트를 실행하기 위해 먼저 위에서 설명한 세 종류의 이벤트를 제어하기 위한 이벤트 제어 함수(event control function)를 제공한다. 이 함수에서는 이벤트 인식 단계에서 얻어진 이벤트 번호와 유형에 따라 실행되어질 세 종류의 객체에 대한 실행명령을 제공한다. 실행 명령은 등록된 이벤트에 대한 인식 결과에 따라 실행된다. 실행될 함수는 이벤트 콜백(event callback) 함수의 등록을 통해 처리된다.

 

Ⅳ. 표준 모델 적용 결과

이 번장에서는 앞에서 소개한 표준 모델을 기반으로 구현한 결과를 제시한다. <그림 7> (a)와 (b)는 각각 3D 가상방과 3D 가상 전시관에 사람을 나타나는 LAE를 공간 매핑하여 렌더링한 결과를 각각 보여준다. <그림 7> (c)는 객체 제어의 예로 전시관에 있는 전시 소개 책자를 LAE가 직접 가져와 보는 장면을 보여주고 있다. <그림 7> (d)는 LAE에 의한 객체 증강의 예로 LAE의 행동 이벤트에 따라 손에서 불빛이 증강되는 장면을 보여주고 있다.

그림 7.MAR 세계에서 LAE 표현 적용 결과 Fig. 7. Application Results of LAE representation in an MAR world

 

Ⅴ. 결 론

본 논문은 ISO/IEC NP 18040[11] 표준에서 제시한 LAE를 표현하기 기법을 소개하였다. 본 표준에서는 현실세계에서 움직이는 LAE를 3D 가상공간에 효과적으로 혼합할 수 있도록 하였으며, 3D 가상공간과 LAE간에 손쉽게 상호작용할 수 기법을 소개하였다. 향후 본 논문에서 제시한 모델을 기반으로 LAE가 3D 가상공간에서 작동하는 다양한 응용서비스를 개발하고자 한다.