Mixed-Reality Based Situation Training System for the Developmental Disabled

발달장애인을 위한 혼합현실 기반 상황훈련 시스템

This paper presents a design of a situation training system supporting mixed-reality for the developmental disabled. The training scenario is developed for the disabled to improve the sense of sight and perception. The user sticks a virtual pin into a hole in the working board according to the direction and the appropriate feedback is delivered based on the FSM(Finite State Machine). In order to improve the reality and the training effect, the user's hand is inserted in the virtual training environments and the tactile sensation is provided using the haptic device.

본 논문은 사용자가 카메라와 트래커가 부착된 HMD를 착용하고, 햅틱 장비를 사용하여 혼합현실 환경 상에서 기계적 상황훈련을 수행하는 시스템에 대하여 설명한다. 본 시스템은 발달장애인들의 시지각 협응능력 향상을 위해 도출된 기계적 상황훈련에 대한 시나리오를 기반으로 한다. 사용자는 HMD를 통해 보여 지는 가상의 핀을 햅틱으로 제어하여 작업판에 꽃는 상황훈련을 수행하고, 시스템은 FSM(Finite State Machine)기반으로 사용자의 행동에 맞는 피드백을 전달한다. 또한, 상황훈련에 대한 현실감을 높여 훈련 효과를 증대시키기 위해 가상 환경에 실제 사용자의 손을 삽입하고, 햅틱을 통해 촉감을 전달한다.