가상세계를 저작하기 위한 일반적인 방법은 3차원 모델을 사용하여 객체를 만들고, 그 3차원 객체들을 조직하기 위하여 "장면 그래프(scene graph)"라는 자료구조를 사용하는 것이다. 최근 가상현실의 또 다른 플랫폼으로 이미지 기반 렌더링이 대두되고 있는데, 이 것은 사진과 같은 사실감을 줄 수 있다는 큰 장점을 가진 반면 상호작용의 한계로 인하여 아직까지는 간단한 항해 시스템 등에서만 사용하고 있다. 이 논문은 객체/장면 표현에 대한 위의 두 접근방법의 장점 병합하여, 3차원 모델과 다양한 이미지 기반 객체/장면을 정의하고 이 것들을 함께 렌더링 할 수 있는 장면 그래프 구조를 제안하였다. 또한 Shade등 [1]이 이미 제안한 것처럼, 한 객체에 대한 여러 단계의 LOD(level of detail)를 표현하기 위하여, 서로 다른 다양한 표현방법을 사용하였다. 예를 들면, 동일한 객체지만 가까운 거리에 위치할 때는 3차원 모델을 보여주고, 중간정도 떨어져 있는 경우 빌보드(billboard)의 형태로 보여주며, 아주 멀리 있을 때는 환경 맵(environment map)의 한 부분으로 보여줄 수 있다. 이러한 혼합된 플랫폼을 사용하는 가장 큰 목적은 이미지 기반의 가상환경에 3차원 모델을 포함시킴으로써 상호작용의 한계를 극복하는 것이다. 이러한 플랫폼을 만들기 위하여 몇 가지 선행해야 할 기술적인 과제들이 있다. 다양한 이미지 기반 기술을 유지할 수 있는 장면 그래프의 노드를 디자인하고, 적절한 LOD나 표현을 선택할 수 있는 기준을 정립하며, 그들 사이의 전환을 처리해야 함은 물론, 적절한 상호작용 방법을 구현하고, 전체적인 장면을 올바르게 렌더링 하는 것을 보장할 수 있어야 한다. 현재 우리는 Sense8사의 WorldToolKit 의 장면 그래프 구조에 환경 맵, 빌보드, 움직이는 텍스쳐(moving textures)와 스프라이트(sprites), 그림 속으로의 여행(Tour-into-the-Picture)", view interpolated 객체를 위한 새로운 노드를 추가하였다. 시점으로부터의 거리나 이미지 공간상의 척도를 사용하여 적절한 LOD를 선택하였으며, 사용자가 객체의 내부깊이를 인지하는 거리를 기준으로 객체를 3차원 모델로 보여줄 것인지 이미지로 보여줄 것인지 결정하였다. 또한 상호작용 중에는 객체가 얼마나 떨어져 있는지에 관계없이 3차원 모델이 있다면 그것을 사용하도록 하였다. 마지막으로, 이론적으로 유도한 스위칭 규칙이 유효한지 실험을 하였으며, 긍정적인 결과를 얻었다.

수작업으로 이루어지는 셀 애니메이션에 툰 렌더링과 같은 비사실적 렌더링 기법을 사용하면 더 적은 노력으로 훨씬 높은 화질의 영상을 얻어낼 수가 있다. 이와 같은 이유로 오늘날 툰 렌더링은 셀 애니메이션 영상산업에서 많이 사용되고 있다. 그러나 기존의 툰 렌더링 방법들에 의한 영상생성은 실시간 처리에 한계가 있어서 가상현실, 게임과 같은 즉각적인 반응을 필요로 하는 분야에서는 사용할 수가 없었다. 본 논문에서는 이와 같은 한계를 극복하여 다양한 분야로의 확장사용이 가능하도록 실시간 윤곽선 검출과 퐁 쉐이딩을 통해 실시간으로 수행되는 툰 렌더링을 구현하였다. 또한 빠른 그림자 생성 알고리즘을 사용해 장면에 그림자를 추가시킴으로써 여전히 실시간 수행이 가능하면서도 효과적인 결과 영상을 생성하였다.

영상기반 모델링 및 렌더링의 주된 흐름중의 하나는 plenoptic function을 어떻게 구현할 것인가에 집중되고 있다. 본 논문은 임의의 위치에 배치된 파노라마 군을 이용하여 plenoptic function을 구현하는 새로운 기법을 제안한다. 이 기법은 우선 간단한 컴퓨터 비전 기술을 사용하여 주변 환경에 대한 개괄적인 깊이 정보를 추출한 뒤, 이를 이용하여 파노라마 영상 데이터를 보정/보간하여 새로운 시점에서의 렌더링을 수행한다. 본 기법을 사용한 결과 실시간에 부드러운 네비게이션을 구현할 수 있었다.

본 논문은 평면 위의 n 개의 점에 대한 $L_{\infty}(L_1)$ 거리의 동적 디루니 삼각분할을 구축하는 방법을 소개한다. 이 방법은 $L_{\infty}(L_1)$ 거리 상에서 사분면 근접 그래프가 디루니 삼각분할에 포함되고 디루니 삼각분할에 있는 각 삼각형의 최소한 한 선분이 사분면 근접 그래프에 포함됨을 발견하고 이를 이용하여 레인지 트리 방법으로 동적 디루니 삼각분할을 구축한다. 본 방법은 $L_1(L_{\infty})$ 거리의 디루니 삼각분할에서 삽입과 삭제를 한 점 당 $O(log^2n)$ amortized 시간과 O(log n)의 expected 시간에 처리한다.

이 논문에서는 평행이동곡면 (surface of extrusion) 과 임의의 자유곡면 사이의 교차곡선의 구조를 분석하고 이를 계산하는 방법에 대해 설명한다. 평행이동곡면의 이동방향에 대하여 다른 곡면의 윤곽곡선 (silhouette curve) 을 구하고, 이를 평행이동곡면의 기준곡선과 교차시킴으로써 교차곡선의 구조를 분석한다. 또한, 교차곡선이 존재하는 범위와 특이점을 구함으로써 교차곡선 전체를 안정적이고 효율적으로 계산하는 알고리즘을 제시한다.

3차원 텍스춰 매핑은 얇은 종이를 부자연스럽게 물체에 붙이는 것과는 달리 마치 원래의 재료로부터 조각을 한 것과 같은 매우 자연스러운 시각적 효과를 내는 장점이 있다. 하지만 빠른 텍스춰 매핑을 위하여 샘플링을 통하여 생성한 3차원 텍스춰를 실시간 계산을 위하여 메모리에 올리는 것은 일반적으로 텍스춰의 방대한 크기 때문에 실용적이지 못하다. 최근 [11]에서는 실용적인 실시간 3차원 텍스춰 매핑 기법을 제안하였는데 여기서는 웨이블릿에 기반한 압축 기법을 사용하여 메모리 문제를 해결하려 하였다. 이 논문에서는 이러한 압축 기반 실시간 3D 텍스춰 매핑에 사용될 수 있는 또 다른 압축 기법에 대하여 살펴보았다. 특히 벡터양자화 방법과 FXT1 방법을 3차원 텍스춰 압축에 적합하도록 확장을 하고 그 성능을 비교 분석을 하였다.