손 위치 트래킹 기반의 프로젝션 매핑 시스템 및 응용

Hand Tracking Based Projection Mapping System and Applications

본 논문은 빛을 이용한 영상 투사 매체인 프로젝터와 사용자의 신체를 인식하는 키넥트 센서를 이용하여 움직이는 사람의 손에 영상을 프로젝션 매핑하는 시스템 개발을 제안한다. 기존 프로젝션 매핑은 고정된 물체에 영상을 투사하는 경우가 대부분이지만, 본 시스템은 움직이는 손을인식해 손바닥의 중심점에 영상을 투사하여 사용자에게 새로운 인지 경험을 제공하기 위해 개발되었다. 본 논문에서는 시스템 제작 과정과 이를 기반으로 제작된 콘텐츠와 응용 예에 대해 설명한다. 하드웨어구성과 조립방법을 구체적으로 제시하고객체지향개발 방법을 통한 오픈 소프트웨어 구조 개발과정에 대해 자세히 서술한다. 안정적인 사영을위해 3차원 공간상에서 프로젝터와 키넥트 센서 좌표 캘리브레이션, 그리고 키넥트 센서 좌표 노이즈, 손떨림으로 인해 발생하는 노이즈 감소 방법을 실험 결과와 함께 제시한다.

In this paper we present a projection mapping system onto human's moving hand by a projector as information delivery media and Kinect to recognize hand motion. Most traditional projection mapping techniques project a variety of images onto stationary objects, however, our system provides new user experience by projecting images onto the center of the moving palm. We explain development process of the system, and production of content as applications on our system. We propose hardware organization and development process of open software architecture based on object oriented programming approach. For stable image projection, we describe a device calibration method between the projector and Kinect in three dimensional space, and a denoising technique to minimize artifacts from Kinect coordinates vibration and unstable hand tremor.