Abstract
Recently many researches have been focused on the use of the markerless augmented reality system using face, foot, and hand of user's body to alleviate many disadvantages of the marker based augmented reality system. In addition, most existing augmented reality systems have been utilized rigid objects since they just desire to insert and to basic interaction with virtual object in the augmented reality system. In this paper, unlike restricted marker based augmented reality system with rigid objects that is based in display, we designed and implemented the markerless augmented reality system using deformable objects to apply various fields for interactive situations with a user. Generally, deformable objects can be implemented with mass-spring modeling and the finite element modeling. Mass-spring model can provide a real time simulation and finite element model can achieve more accurate simulation result in physical and mathematical view. In this paper, the proposed markerless augmented reality system utilize the mass-spring model using tetraheadron structure to provide real-time simulation result. To provide plausible simulated interaction result with deformable objects, the proposed method detects and tracks users hand with Kinect SDK and calculates the external force which is applied to the object on hand based on the position change of hand. Based on these force, 4th order Runge-Kutta Integration is applied to compute the next position of the deformable object. In addition, to prevent the generation of excessive external force by hand movement that can provide the natural behavior of deformable object, we set up the threshold value and applied this value when the hand movement is over this threshold. Each experimental test has been repeated 5 times and we analyzed the experimental result based on the computational cost of simulation. We believe that the proposed markerless augmented reality system with deformable objects can overcome the weakness of traditional marker based augmented reality system with rigid object that are not suitable to apply to other various fields including healthcare and education area.
최근 제한적인 마커기반 증강현실의 여러 가지 단점들을 보완하기 위해 사용자의 얼굴, 발, 손 등을 활용한 비 마커기반 증강현실 시스템에 관한 연구들이 활발하게 진행되고 있는 추세이다. 또한 대부분의 기존 증강현실 시스템들은 사용자에게 보여주는 것과 기본적인 상호작용에 목표를 두고 강체를 증강하여 수행되는 경우가 많았다. 본 논문에서는 단지 보여주는 것에 국한되는 것이 아니라 여러 분야에서 활용이 가능한 변형물체를 사용자와의 상호작용을 바탕으로 시뮬레이션을 제공하는 비 마커기반의 증강현실 시스템을 설계 및 구현하였다. 변형물체는 질량-스프링 모델, 유한 요소 모델 두 가지 방법을 주로 사용하여 구현한다. 질량-스프링 모델은 실시간 시뮬레이션에 장점이 있으며 유한 요소 모델은 변형물체의 정밀함을 나타낼 때 장점을 가진다. 본 논문에서는 실시간으로 시뮬레이션을 목표로 하고 있기 때문에 질량-스프링 모델을 기반으로 하는 테트라헤드론 구조를 이용하여 변형물체를 구현하였다. 변형물체의 자연스러운 움직임을 실시간으로 시뮬레이션하기 위해 키넥트 SDK를 통해 사용자의 손의 위치를 추적 하고, 손의 위치 변화량을 바탕으로 힘을 계산한다. 이를 바탕으로 $4^{th}$ order Runge-Kutta Integration 수치적분법을 이용하여 물체의 다음 위치를 계산하여 시뮬레이션 하도록 하였다. 그리고 자연스러운 동작을 표현하기 위해서 사용자의 손을 통해 물체에 작용하는 힘이 너무 많이 작용하지 않기 위해 제스처에 임계값을 정하였으며 해당 임계값을 넘는 힘이 작용할 경우 임계값으로만 적용되도록 설정하였다. 각 실험을 5회씩 반복하였으며 실험에 따른 시뮬레이션 연산속도를 분석하였다. 본 논문을 통해 구현한 변형물체를 활용한 비 마커기반 증강현실 시스템을 바탕으로 기존의 강체 기반의 증강현실에서 활용하기 힘들었던 의료, 교육 및 다양한 방면으로 시뮬레이션이 가능할 것으로 기대한다.
