An Integrated VR Platform for 3D and Image based Models: A Step toward Interactivity with Photo Realism

상호작용 및 사실감을 위한 3D/IBR 기반의 통합 VR환경

Traditionally, three dimension model s have been used for building virtual worlds, and a data structure called the "scene graph" is often employed to organize these 3D objects in the virtual space. On the other hand, image-based rendering has recently been suggested as a probable alternative VR platform for its photo-realism, however, due to limited interactivity. it has only been used for simple navigation systems. To combine the merits of these two approaches to object/scene representations, this paper proposes for a scene graph structure in which both 3D models and various image-based scenes/objects can be defined. traversed, and rendered together. In fact, as suggested by Shade et al. [1]. these different representations can be used as different LOD's for a given object. For in stance, an object might be rendered using a 3D model at close range, a billboard at an intermediate range. and as part of an environment map at far range. The ultimate objective of this mixed platform is to breath more interactivity into the image based rendered VE's by employing 3D models as well. There are several technical challenges in devising such a platform : designing scene graph nodes for various types of image based techniques, establishing criteria for LOD/representation selection. handling their transition s. implementing appropriate interaction schemes. and correctly rendering the overall scene. Currently, we have extended the scene graph structure of the Sense8's WorldToolKit. to accommodate new node types for environment maps. billboards, moving textures and sprites, "Tour-into-the-Picture" structure, and view interpolated objects. As for choosing the right LOD level, the usual viewing distance and image space criteria are used, however, the switching between the image and 3D model occurs at a distance from the user where the user starts to perceive the object's internal depth. Also. during interaction, regardless of the viewing distance. a 3D representation would be used, if it exists. Finally. we carried out experiments to verify the theoretical derivation of the switching rule and obtained positive results.

가상세계를 저작하기 위한 일반적인 방법은 3차원 모델을 사용하여 객체를 만들고, 그 3차원 객체들을 조직하기 위하여 "장면 그래프(scene graph)"라는 자료구조를 사용하는 것이다. 최근 가상현실의 또 다른 플랫폼으로 이미지 기반 렌더링이 대두되고 있는데, 이 것은 사진과 같은 사실감을 줄 수 있다는 큰 장점을 가진 반면 상호작용의 한계로 인하여 아직까지는 간단한 항해 시스템 등에서만 사용하고 있다. 이 논문은 객체/장면 표현에 대한 위의 두 접근방법의 장점 병합하여, 3차원 모델과 다양한 이미지 기반 객체/장면을 정의하고 이 것들을 함께 렌더링 할 수 있는 장면 그래프 구조를 제안하였다. 또한 Shade등 [1]이 이미 제안한 것처럼, 한 객체에 대한 여러 단계의 LOD(level of detail)를 표현하기 위하여, 서로 다른 다양한 표현방법을 사용하였다. 예를 들면, 동일한 객체지만 가까운 거리에 위치할 때는 3차원 모델을 보여주고, 중간정도 떨어져 있는 경우 빌보드(billboard)의 형태로 보여주며, 아주 멀리 있을 때는 환경 맵(environment map)의 한 부분으로 보여줄 수 있다. 이러한 혼합된 플랫폼을 사용하는 가장 큰 목적은 이미지 기반의 가상환경에 3차원 모델을 포함시킴으로써 상호작용의 한계를 극복하는 것이다. 이러한 플랫폼을 만들기 위하여 몇 가지 선행해야 할 기술적인 과제들이 있다. 다양한 이미지 기반 기술을 유지할 수 있는 장면 그래프의 노드를 디자인하고, 적절한 LOD나 표현을 선택할 수 있는 기준을 정립하며, 그들 사이의 전환을 처리해야 함은 물론, 적절한 상호작용 방법을 구현하고, 전체적인 장면을 올바르게 렌더링 하는 것을 보장할 수 있어야 한다. 현재 우리는 Sense8사의 WorldToolKit 의 장면 그래프 구조에 환경 맵, 빌보드, 움직이는 텍스쳐(moving textures)와 스프라이트(sprites), 그림 속으로의 여행(Tour-into-the-Picture)", view interpolated 객체를 위한 새로운 노드를 추가하였다. 시점으로부터의 거리나 이미지 공간상의 척도를 사용하여 적절한 LOD를 선택하였으며, 사용자가 객체의 내부깊이를 인지하는 거리를 기준으로 객체를 3차원 모델로 보여줄 것인지 이미지로 보여줄 것인지 결정하였다. 또한 상호작용 중에는 객체가 얼마나 떨어져 있는지에 관계없이 3차원 모델이 있다면 그것을 사용하도록 하였다. 마지막으로, 이론적으로 유도한 스위칭 규칙이 유효한지 실험을 하였으며, 긍정적인 결과를 얻었다.