Abstract
In this paper, we present a hybrid neural network model for dynamic hand gesture recognition. The model consists of two modules, feature extraction module and pattern classification module. We first propose a modified CNN(convolutional Neural Network) a pattern recognition model for the feature extraction module. Then we introduce a weighted fuzzy min-max(WFMM) neural network for the pattern classification module. The data representation proposed in this research is a spatiotemporal template which is based on the motion information of the target object. To minimize the influence caused by the spatial and temporal variation of the feature points, we extend the receptive field of the CNN model to a three-dimensional structure. We discuss the learning capability of the WFMM neural networks in which the weight concept is added to represent the frequency factor in training pattern set. The model can overcome the performance degradation which may be caused by the hyperbox contraction process of conventional FMM neural networks. From the experimental results of human action recognition and dynamic hand gesture recognition for remote-control electric home appliances, the validity of the proposed models is discussed.
본 연구에서는 동영상으로부터 동적 수신호 패턴을 효과적으로 인식하기 위한 방법론으로서 복합형 신경망 모델을 제안한다. 제안된 모델은 특징추출 모듈과 패턴분류 모듈로 구성되는데, 이들 각각을 위하여 수정된 구조의 CNN 모델과, WFMM 모델을 도입한다. 또한 목표물의 움직임 정보에 기초한 시공간적 템플릿 구조의 데이터표현을 소개한다. 본 논문에서는 우선 수신호 패턴 데이터에서 특징점의 시간적 변이 및 공간적 변이에 의한 영향을 보완하기 위하여 3차원 수용영역 구조로 확장된 CNN 모델을 제시한다. 이어서 패턴분류 단계를 위하여 가중치를 갖는 구조의 FMM 신경망 모델을 소개하고, 신경망의 구조와 동작특성에 관해 기술한다. 또한 제안된 모델이 기존의 FMM 신경망에서 중첩 하이퍼박스의 축소과정에서 발생하는 학습효과의 왜곡현상을 개선할 수 있음을 보인다. 응용으로 가전제품 원격제어 문제를 전제하여 간략화된 수신호패턴 인식 문제에 적용한 실험결과로부터 제안된 이론의 타당성을 고찰한다.