Robust Dynamic Projection Mapping onto Deforming Flexible Moving Surface-like Objects

유연한 동적 변형물체에 대한 견고한 다이내믹 프로젝션맵핑

Projection Mapping, also known as Spatial Augmented Reality(SAR) has attracted much attention recently and used for many division, which can augment physical objects with projected various virtual replications. However, conventional approaches towards projection mapping have faced some limitations. Target objects' geometric transformation property does not considered, and movements of flexible objects-like paper are hard to handle, such as folding and bending as natural interaction. Also, precise registration and tracking has been a cumbersome process in the past. While there have been many researches on Projection Mapping on static objects, dynamic projection mapping that can keep tracking of a moving flexible target and aligning the projection at interactive level is still a challenge. Therefore, this paper propose a new method using Unity3D and ARToolkit for high-speed robust tracking and dynamic projection mapping onto non-rigid deforming objects rapidly and interactively. The method consists of four stages, forming cubic bezier surface, process of rendering transformation values, multiple marker recognition and tracking, and webcam real time-lapse imaging. Users can fold, curve, bend and twist to make interaction. This method can achieve three high-quality results. First, the system can detect the strong deformation of objects. Second, it reduces the occlusion error which reduces the misalignment between the target object and the projected video. Lastly, the accuracy and the robustness of this method can make result values to be projected exactly onto the target object in real-time with high-speed and precise transformation tracking.

프로젝션 맵핑(공간증강현실)은 현실세계에서 다양한 가상의 환영(幻影)을 만들어내는 것으로 최근에 많은 분야에 사용되고 있다. 기존의 프로젝션 맵핑에서는 사용자와의 자연스러운 상호작용으로서 접히거나 구부러지는 것 과 같은 유연한 물체의 기하학적인 변형 속성(예: 용지)의 움직임을 고려하지 않았다. 또한, 정적 물체에 대한 프로젝션 맵핑에 대한 많은 연구가 있었지만, 유연한 타깃의 움직임을 추적하고 사용자와의 상호작용 측면에서 모양이 변형된 물체에 맵핑을 정확히 하는 다이내믹 프로젝션 맵핑은 여전히 도전해야할 연구 분야이다. 따라서 본 논문에서는 Unity3D와 ARToolkit을 이용한 실험을 통해 단단하지 않은 물체에 대한 견실한 추적과 정확한 맵핑 방법을 제안한다. 제안하는 방법은 큐빅 베지어 곡면 형성, 움직임 변형 값 렌더링 과정, 멀티플 마커 인식과 트래킹 과정, 실시간 웹캠 지속 촬영의 4가지 실험 단계로 구성된다. 사용자는 물체에 변형을 주기 위해 직접 접고, 휘고, 구부리고 비틀 수 있다. 제안 방법은 세 가지 긍정적인 결과를 도출할 수 있다. 첫째, 물체의 형태가 강하게 변형되어 있어도 감지 가능하다. 둘째, 사용자가 직접 물체에 변형을 주는 과정에서 물체의 일부분을 차단하고 있을 때의 Occlusion오류를 줄일 수 있어 정확한 트래킹을 할 수 있다. 셋째, 제안 방법의 견실하고 정확함은 빠른 속도로 물체의 움직임을 감지하게 하므로 실시간으로 결과 값을 물체에 투영할 수 있다.