본 연구에서는 가상 공간(VR) 사용자에게 반응형 페인팅 경험을 제공하기 위한 포스 피드백 기반 햅틱 페인팅 인터페이스를 제안한다. 제안하는 시스템에서는 헤드 마운트 디스플레이(HMD)를 착용한 사용자가 스타일러스 타입의 햅틱 장비를 이용하여 시각적 피드백과 햅틱 인터페이스의 촉각적 피드백을 동시에 활용하며 가상 공간에서의 표면기반 3차원 페인팅을 생성해낼 수 있다. 특히 햅틱 인터페이스는 가상 공간 상에서 페인팅 브러시와 페인팅과의 물리적 상호작용을 구현하여 VR 페인팅의 반응형 피드백을 제공한다. 이는 가상 공간에서 사용자의 공간적 인지력 향상에 도움을 주고 부족한 시각적 피드백을 보완할 수 있다. 이를 통해 사용자는 불필요한 반복적 페인팅 작업을 줄여 페인팅 작업의 효율을 높이고 페인팅의 결과물을 향상시킬 수 있으며 결과적으로 보다 실감나는 VR 페인팅을 경험할 수 있다.

캐릭터의 자세가 변할 때 마다 캐릭터의 무게 중심(COM) 위치도 변하게 된다. 이 때 무게 중심의 위치 변화는 걷기, 뛰기, 쭈그려 앉기 등 다양한 동작 각각에 대응되는 독자적인 패턴을 가지므로 이를 이용하면 원래 동작의 정보를 알아낼 수 있다. 본 논문에서는 캐릭터의 무게 중심의 위치 변화를 토대로 동작을 예측하는 모션 생성 기법을 제안한다. 이 방법을 이용하면 무게 중심 정보를 통해 원래 동작의 유형에 대한 별도의 라벨 없이도 다양한 동작을 생성할 수 있다. 그러므로 네트워크의 학습 및 실행을 위한 데이터셋을 만들 때 사람의 손을 거칠 필요 없이 전처리를 비롯한 모든 과정을 자동으로 진행할 수 있다. 본 논문에서 제안하는 신경망 모델은 캐릭터의 모션 이력(history) 정보와 무게 중심 정보들을 입력 받아 현재 프레임에서의 포즈 정보를 출력하며, 연속적인 시계열 모션 데이터를 다루기 위해 1차원 Convolution을 수행하는 간단한 형태의 Convolutional Neural Network(CNN)를 사용하여 학습되었다.