본 논문은 사용자가 카메라와 트래커가 부착된 HMD를 착용하고, 햅틱 장비를 사용하여 혼합현실 환경 상에서 기계적 상황훈련을 수행하는 시스템에 대하여 설명한다. 본 시스템은 발달장애인들의 시지각 협응능력 향상을 위해 도출된 기계적 상황훈련에 대한 시나리오를 기반으로 한다. 사용자는 HMD를 통해 보여 지는 가상의 핀을 햅틱으로 제어하여 작업판에 꽃는 상황훈련을 수행하고, 시스템은 FSM(Finite State Machine)기반으로 사용자의 행동에 맞는 피드백을 전달한다. 또한, 상황훈련에 대한 현실감을 높여 훈련 효과를 증대시키기 위해 가상 환경에 실제 사용자의 손을 삽입하고, 햅틱을 통해 촉감을 전달한다.

본 논문에서는 캐릭터의 의견을 고려한 카메라의 파라미터를 결정하는 방법을 제안한다. 기본적인 아이디어는 캐릭터의 각각의 링크가 화면상의 평면에 투영되었을 때의 움직임을 면적으로 계산하여 이를 활용하는 것이다. 우리는 이러한 면적을 '모션 면적'이라고 정의하였다. 모션 면적을 이용하면 실시간 혹은 오프라인 상에서 캐릭터의 모션에 대한 적절한 카메라 경로 혹은 고정된 카메라의 위치를 결정할 수 있다. 우리는 실험을 통해서 제안하는 방법으로 만들어진 카메라 경로가 부드럽게 움직임과 동시에 캐릭터의 모션을 보다 역동적으로 보이게끔 한다는 사실을 관측하였다. 또한 제안하는 방법은 카메라의 시선이 장애물과 충돌하지 않도록 하는 제어 기법과 쉽게 합쳐져서 사용될 수 있다. 우리는 또한 제안하는 방법이 역동적으로 움직이는 캐릭터를 포함하는 장면에서의 시각적 품질을 측정하늘 도구로써 다른 일반적인 카메라 제어 기법과 함께 쓰일 수 있을 것으로 기대한다.

이 논문에서는 각기 다른 스케일에서 각각의 구조를 띤 텍스처를 합성하는 기법을 제안한다. 우리의 기법은 GPU로 실시간으로 수행되는 병렬 텍스처 합성 기법에 기반을 두었다. 새로 도입된 좌표 변환 연산자를 이용하면 이미 합성된 좌표 맵을 다른 스케일의 입력 텍스처로의 좌표 공간으로 변환할 수 있다. 이 연산자는 작은 룩업 테이블로 미리 연산될 수 있기 때문에 본 기법을 도입함으로써 생기는 오버헤드는 매우 적다. 우리의 업샘플 기법은 텍스처가 두드러전 이미지의 해상도를 높일 때 특히 유용하다. 그리고, 우리의 기법을 이용하여 저해상도 컨트롤 이미지를 이용한 텍스처 디자인도 가능하다. 이 디자인 툴은 지형을 특정한 스타일로 디자인하는 데에 유용하며 일반적인 높낮이 조절 브러시를 이용할 수 있으므로 직관적이다.

본 논문에서는 입력으로 들어온 사람의 얼굴 영상으로부터 간략하면서도 인물의 특성이 잘 반영되도록 스타일화된 일러스트레이션 영상을 만드는 방법을 제시한다. 이를 위해 입력으로 들어온 영상으로부터 얼굴 영역 및 각 구성요소들을 인식하고, 그 결과를 효과적인 스타일화에 이용한다. 실제 스타일화는 크게 주요 부분을 간단한 톤으로 표현해주는 톤 그리기 부분과 해당 부분을 적은 선으로 효과적으로 묘사하는 선 그리기 부분으로 나뉘며, 이 두 부분에 머리카락이 나 옷 부분 등에 추가적인 효과를 더하여 이루어진다. 이러한 스타일화 과정은 일반적으로 사람이 그린 그림과 같이 극도의 추상화과정을 거쳐 보다 적은 표현으로 대상의 특징을 잘 살려주는 것을 목적으로 한다. 이를 위해 여백을 살리는 간단한 표현으로도 대상을 효과적으로 묘사하는 동양화 기법을 응용한다.

H-Anim은 웹3D 컨소시엄의 휴머노이드 애니메이션 워킹 그룹 (Humanoid Animation Working Croup)에서 제정한 휴먼애니메이션에 필요한 인체 구조를 정의한 국제 표준안이다. 이 구조에 따라 인체를 움직이기 위한 다양한 라이브러리가 제작되고 있으나 인체의 사실적인 움직임을 표현하는 데에는 한계를 갖는다. 본 연구에서는 H-Anim 구조를 바탕으로 인체 애니메이션 생성에 필요한 모션 정의를 위해 모션 캡처 데이터를 활용하여 인체의 사실적인 움직임을 생성하는 방법을 제안한다. 이를 위해 기존의 H-Anim 명세와는 달리 모션 캡처 데이터를 입력 받을 수 있도록 휴머노이드 모션을 위한 데이터 형식을 정의하고 이를 입력 받아 모션을 디스플레이하는 브라우저를 개발하였다. 본 연구에서의 휴머노이드 모션 데이터 형식은 X3D 기반의 데이터 형식으로서 네트워크상 혹은 서로 다른 브라우저들 사이에서 호환성을 갖도록 하는 것을 목적으로 한다.