Journal of the Korean Institute of Intelligent Systems (한국지능시스템학회논문지)

Korean Institute of Intelligent Systems (한국지능시스템학회)
권호 표지
DOI QR코드

DOI QR Code

HMM-based Intent Recognition System using 3D Image Reconstruction Data

3차원 영상복원 데이터를 이용한 HMM 기반 의도인식 시스템

  • 고광은 (중앙대학교 전자전기공학부) ;
  • 박승민 (중앙대학교 전자전기공학부) ;
  • 김준엽 (중앙대학교 전자전기공학부) ;
  • 심귀보 (중앙대학교 전자전기공학부)
  • Received : 2011.11.19
  • Accepted : 2012.04.09
  • Published : 2012.04.25
Download PDF
⟨ Previous Next ⟩

Abstract

The mirror neuron system in the cerebrum, which are handled by visual information-based imitative learning. When we observe the observer's range of mirror neuron system, we can assume intention of performance through progress of neural activation as specific range, in include of partially hidden range. It is goal of our paper that imitative learning is applied to 3D vision-based intelligent system. We have experiment as stereo camera-based restoration about acquired 3D image our previous research Using Optical flow, unscented Kalman filter. At this point, 3D input image is sequential continuous image as including of partially hidden range. We used Hidden Markov Model to perform the intention recognition about performance as result of restoration-based hidden range. The dynamic inference function about sequential input data have compatible properties such as hand gesture recognition include of hidden range. In this paper, for proposed intention recognition, we already had a simulation about object outline and feature extraction in the previous research, we generated temporal continuous feature vector about feature extraction and when we apply to Hidden Markov Model, make a result of simulation about hand gesture classification according to intention pattern. We got the result of hand gesture classification as value of posterior probability, and proved the accuracy outstandingness through the result.

대뇌 상의 mirror neuron system은 시각 정보에 기반한 모방학습 기능을 담당한다. 관측자의 mirror neuron system 영역을 관찰할 때, 행위자가 수행하는 목적성 행위의 전체가 아닌, 부분적으로 가려지거나 보이지 않는 영역을 포함하는 경우에도 해당 영역의 뉴런이 발화되는 과정을 통해 전체 행동의 의도를 유추할 수 있다. 이러한 모방학습 기능을 3D 비전 기반 지능 시스템에 적용하는 것이 본 논문의 목표이다. 본 연구실에서 선행 연구된 스테레오 카메라를 기반으로 획득된 3차원 영상에 대한 복원을 수행한다. 이 때 3차원 입력영상은 부분적으로 가려진 영역을 포함하는 손동작의 순차적 연속영상이다. 복원 결과를 기반으로 가려진 영역을 내포한 행위에 대하여 LK optical flow, unscented Kalman filter를 이용한 특징검출을 수행하고 의도인식의 수행을 위해, Hidden Markov Model을 활용한다. 순차적 입력데이터에 대한 동적 추론 기능은 가려진 영역을 포함한 손동작 인식 수행에 있어 적합한 특성을 가진다. 본 논문에서 제안하는 의도 인식을 위해 선행 연구에서 복원 영상에서의 객체의 윤곽선 및 특징 검출을 시뮬레이션 하였으며, 검출 특징에 대한 시간적 연속 특징벡터를 생성하여 Hidden Markov Model에 적용함으로써, 의도 패턴에 따른 손동작 분류 시뮬레이션을 수행하였다. 사후 확률 값의 형태로 손 동작 분류 결과를 얻을 수 있었으며, 이를 통한 성능의 우수함을 입증하였다.

Keywords

References

  1. L. Xia, C.-C. Chen, and J. K. Aggarwal, "Human Detection Using Depth Information by Kinect", International Workshop on Human Activity Understanding from 3D Data in conjunction with CVPR (HAU3D) , Colorado Springs, CO, 2011.
  2. G. Buccino, F. Binkofski, and L. Riggio, "The mirror neuron system and action recognition," Brain and Language, vol. 89, no. 2, pp. 370-376, 2004. https://doi.org/10.1016/S0093-934X(03)00356-0
  3. 박준형, 박승민, 심귀보, "3차원 재구성과 추정된 옵티컬 플로우 기반 가려진 객체 움직임 추적방법," 한국지능시스템학회 논문지, vol. 21, no. 5, pp. 537-542, 2011.
  4. R. Poppe, "Vision-based human motion analysis: An overview," Computer Vision and Image Understanding, vol. 108, pp. 4-18, 2007. https://doi.org/10.1016/j.cviu.2006.10.016
  5. Y. Chen, T. Huang, "Parametric contour tracking using unscented Kalman filter," in Proc. IEEE Int'l Conf. on Image Processing 2002, 2002.
  6. M. Musrshed, M. A. A. Dewan, O. Chae, "Moving object tracking-a prametric edge tracking approach," in Proc. Int'l Conf. on Computer and Information Technology 2009, 2009.
  7. 고광은, 박승민, 박준형, 심귀보, "ASM-LK Optical Flow 기반 최적 얼굴정서 특징분석 기법", 한국지능시스템학회 논문지, vol.21, no.4, pp. 512-517, 2011
  8. J. K. Kearney, W.B. Thompson, "Optical flow estimation: an error analysis of gradient-based methods with local optimization," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. PAMI-9, no. 2, 1987.
  9. C. H. Han, C. S. Oh, B. W. Choi, "Recognition of Fighting Motion using a 3D-Chain Code and HMM," Journal of Institute of Control, Robotics, and Systems, vol. 16, no. 8, pp. 756-760, 2010. https://doi.org/10.5302/J.ICROS.2010.16.8.756
  10. T-K. Kim, S-F. Wong and R. Cipolla, Tensor Canonical Correlation Analysis for Action Classification, In Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR) , Minneapolis, MN, 2007.
  11. 고광은, 박준형, 심귀보, "3차원 영상복원 데이터를 이용한 HMM 기반 의도인식 시스템," 한국지능시스템학회 2011년도 추계학술대회, vol. 21, no. 2, pp. 15-16, 2011.

Cited by

  1. Robust Video-Based Barcode Recognition via Online Sequential Filtering vol.14, pp.1, 2014, https://doi.org/10.5391/IJFIS.2014.14.1.8
  2. Analyzing Human's Motion Pattern Using Sensor Fusion in Complex Spatial Environments vol.24, pp.6, 2014, https://doi.org/10.5391/JKIIS.2014.24.6.597