Abstract
In this paper, we proposed a contents of Chinese characters learning based on gesture recognition using HMM(hidden markov model) algorithm. Input image of the system is obtained in 3-dimensional information from the TOF camera, and the method of gesture recognition is consisted of part of forecasting user's posture in two infrared images and part of recognizing gestures from continuous poses. In the communication between human and computer, this system provided convenience that user can manipulate it easily by not using any further equipment but action. Because this system raise immersion and interest by using two large display and various multimedia factor, it can maximize information transmission. The edutainment Chinese character contents proposed in this paper provide educational effect that use can master Chinese character naturally with interest, and it can be expected a synergy effect via content experience because it is based on gesture recognition.
본 논문에서는 HMM을 이용한 제스처 인식을 입력 인터페이스로 사용한 한자 학습 콘텐츠에 대해 제안한다. 제안한 시스템의 입력정보는 TOF 카메라 영상으로부터 3차원 정보를 받으며, 제스처 인식 방법은 사용자의 포즈를 예측하는 부분과 연속된 포즈들로부터 제스처를 인식하는 부분으로 구성되어 있다. 사용자와 컴퓨터사이의 의사소통에서, 별도의 추가 장비를 사용하지 않고 사용자의 행동에 의한 조작을 통해 사용자가 쉽게 조작할 수 있도록 편리함을 제공하였다. 또한 대형 디스플레이와 다양한 멀티미디어 요소를 이용하여 몰입과 흥미를 유발시킬 수 있기 때문에 정보 전달을 극대화할 수 있다. 본 논문에서 제안한 에듀테인먼트 한자 학습 콘텐츠는 교육적 내용를 제공하고 사용자가 흥미를 느끼도록 하여 자연스레 한자를 습득할 수 있고, 제스처 인식을 기반으로 하므로 사용자에게 콘텐츠 체험을 통한 시너지 효과를 기대할 수 있다.
