• 인터넷정보학회논문지
• /
• 제21권5호
• /
• pp.67-73
• /
• 2020

In this paper, we present a CNN-based gesture recognition approach which reduces the memory burden of input data. Most of the neural network-based gesture recognition methods have used a sequence of frame images as input data, which cause a memory burden problem. We use a motion history image in order to define a meaningful gesture. The motion history image is a grayscale image into which the temporal motion information is collapsed by synthesizing silhouette images of a user during the period of one meaningful gesture. In this paper, we first summarize the previous traditional approaches and neural network-based approaches for gesture recognition. Then we explain the data preprocessing procedure for making the motion history image and the neural network architecture with three convolution layers for recognizing the meaningful gestures. In the experiments, we trained five types of gestures, namely those for charging power, shooting left, shooting right, kicking left, and kicking right. The accuracy of gesture recognition was measured by adjusting the number of filters in each layer in the proposed network. We use a grayscale image with 240 × 320 resolution which defines one meaningful gesture and achieved a gesture recognition accuracy of 98.24%.

• 대한인간공학회지
• /
• 제34권5호
• /
• pp.411-426
• /
• 2015

Objective: The goal of this thesis is to design the interaction structure and framework of system to recognize sign language. Background: The sign language of meaningful individual gestures is combined to construct a sentence, so it is difficult to interpret and recognize the meaning of hand gesture for system, because of the sequence of continuous gestures. This being so, in order to interpret the meaning of individual gesture correctly, the interaction structure and framework are needed so that they can segment the indication of individual gesture. Method: We analyze 700 sign language words to structuralize the sign language gesture interaction. First of all, we analyze the transformational patterns of the hand gesture. Second, we analyze the movement of the transformational patterns of the hand gesture. Third, we analyze the type of other gestures except hands. Based on this, we design a framework for sign language interaction. Results: We elicited 8 patterns of hand gesture on the basis of the fact on whether the gesture has a change from starting point to ending point. And then, we analyzed the hand movement based on 3 elements: patterns of movement, direction, and whether hand movement is repeating or not. Moreover, we defined 11 movements of other gestures except hands and classified 8 types of interaction. The framework for sign language interaction, which was designed based on this mentioned above, applies to more than 700 individual gestures of the sign language, and can be classified as an individual gesture in spite of situation which has continuous gestures. Conclusion: This study has structuralized in 3 aspects defined to analyze the transformational patterns of the starting point and the ending point of hand shape, hand movement, and other gestures except hands for sign language interaction. Based on this, we designed the framework that can recognize the individual gestures and interpret the meaning more accurately, when meaningful individual gesture is input sequence of continuous gestures. Application: When we develop the system of sign language recognition, we can apply interaction framework to it. Structuralized gesture can be used for using database of sign language, inventing an automatic recognition system, and studying on the action gestures in other areas.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2004년도 ICCAS
• /
• pp.1106-1110
• /
• 2004

A human sign language is generally composed of both static and dynamic gestures. Each gesture is represented by a hand shape, its position, and hand movement (for a dynamic gesture). One of the problems found in automated sign language translation is on segmenting a hand movement that is part of a transitional movement from one hand gesture to another. This transitional gesture conveys no meaning, but serves as a connecting period between two consecutive gestures. Based on the observation that many dynamic gestures as appeared in Thai sign language dictionary are of quasi-periodic nature, a method was developed to differentiate between a (meaningful) dynamic gesture and a transitional movement. However, there are some meaningful dynamic gestures that are of non-periodic nature. Those gestures cannot be distinguished from a transitional movement by using the signal quasi-periodicity. This paper proposes a hybrid method using a combination of the periodicity-based gesture segmentation method with a HMM-based gesture classifier. The HMM classifier is used here to detect dynamic signs of non-periodic nature. Combined with the periodic-based gesture segmentation method, this hybrid scheme can be used to identify segments of a transitional movement. In addition, due to the use of quasi-periodic nature of many dynamic sign gestures, dimensionality of the HMM part of the proposed method is significantly reduced, resulting in computational saving as compared with a standard HMM-based method. Through experiment with real measurement, the proposed method's recognition performance is reported.

• 한국지능시스템학회논문지
• /
• 제27권2호
• /
• pp.126-131
• /
• 2017

본 논문에서는 손짓을 이용하여 로봇에게 명령을 내릴 때, 사용자의 여러 가지 손짓 중 의미 있는 동작을 추출하기 위한 방법을 제시한다. 로봇에게 명령을 내릴 때, 사람들의 손짓은 준비동작, 본 동작, 마무리 동작으로 구분할 수 있다. 여기에서 본 동작이 로봇에게 명령을 전달하는 의미 있는 동작이고 다른 동작은 그 동작을 위한 의미 없는 보조 동작이다. 따라서 연속적인 손짓에서 본 동작만을 추출해야 한다. 또한 사람들은 무위식적으로 손을 움직일 수 있는데 이러한 동작들 역시 의미가 없는 동작으로 로봇이 판단하여야 한다. 본 연구에서는 키넥트 센서를 이용하여 획득한 거리영상에서 사람의 골격자료를 획득하여 손을 추출하고, 칼만필터를 이용하여 손의 위치를 추적하면서 의미 있는 손동작과 의미 없는 손동작을 구분하고 은닉 마코프 모델을 이용하여 손짓을 인식한다.

• 한국콘텐츠학회논문지
• /
• 제13권4호
• /
• pp.64-72
• /
• 2013

본 연구에서는 다차원의 데이터 인식에 유리한 SVM을 이용한 동적 동작인식 알고리즘을 제안한다. 우선, Kinect 비디오 프레임에서 동작의 시작과 끝을 찾아 의미있는 동작 프레임을 분할하고, 프레임 수를 동일하게 정규화시킨다. 정규화된 프레임에서 인체 모델에 기반한 인체 부위의 위치와 부위 사이의 관계를 이용한 동작 특징을 추출하여 동작인식을 수행한다. 동작인식기인 C-SVM는 각 동작에 대해 positive 데이터와 negative 데이터로 구성된 학습 데이터로 학습된다. 최종 동작 선정은 각 C-SVM의 결과값 중 가장 큰 값을 갖는 동작으로 한다. 제안하는 동작인식 알고리즘은 플래시 구연동화에서 더 나아가 유아가 능동적으로 구연동화에 참여할 수 있도록 고안된 체감형 동화 콘텐츠에 동작 인터페이스로 적용되었다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제1권2호
• /
• pp.127-136
• /
• 2012

각종 지능형 전자장비의 개발과 사용자 편의성 증대를 위해 영상기반의 손 동작 인식시스템이 다양하게 개발, 적용되고 있다. 손 동작 인식을 위해 손의 3차원 위치를 계산하고 오 동작 방지를 위해 명령 동작을 다른 유사동작과 구분하여 정확히 검출해야 한다. 본 논문에서는 설치가 쉽고 저렴한 비용으로 3차원 위치를 계산하는 시스템과 다양한 유사 동작 중 정의된 동작만을 검출해 내는 방법에 대해 다룬다. 팬/틸트 가능한 두 대의 USB 카메라와 표식을 이용하여 카메라를 임의의 위치에 두더라도 부착된 표식을 통해 자동으로 두 카메라간 상대위치를 구해 3차원 위치를 계산할 수 있다. 사용자의 명령 동작을 다른 유사 동작과 구분하기 위해 퍼지 가비지 모델을 개발 하였는데 퍼지 명령모델과 가비지 모델 두 가지를 이용하여 행동 인식에 대한 가변적 문턱 값을 구할 수 있다. 또한 두 단계의 적응 과정을 통해 각 사용자마다 다르게 나타나는 행동 특성 및 동일 사용자가 환경에 따라 다르게 나타내는 행동 특성을 반영 하여 성능을 개선한다. 개발된 시스템을 5명의 사용자를 대상으로 실험을 실시하였는데 명령 동작과 하나의 유사동작만 있을 경우 95% 이상, 다양한 유사동작이 혼재되어 있을 경우 85%이상의 인식률(명령 동작 검출)을 보였다.

• 한국컴퓨터정보학회논문지
• /
• 제22권5호
• /
• pp.51-56
• /
• 2017

The purpose of this study was to identify differences in cognitive function according to the presence or absence of apraxia and the tasks most relevant to the cognitive function among the various types of tasks in the apraxia test. The subjects were 42 community residents who participated in a cognitive rehabilitation program related to dementia in a Chungbuk area. MMSE-K and BCoS(Birmingham Cognitive Screen) apraxia test were administered to all subjects. The apraxia test includes three types of tasks, gesture production tasks that make meaningful movements according to verbal instructions, gesture recognition tasks that display behavior after make sense of meanings, and meaningless imitation task. Apraxia group(n=30, MMSE-K mean score: 25) showed lower cognitive function than group without apraxia(n=12, MMSE-K mean score: 28). All tasks in the apraxia test showed a significant correlation with cognitive function, but the meaningless imitation task had a negligible correlation. The apraxia test is a good way to assess cognitive function, and it may be more effective to use meaningful behavior to replace cognitive testing.

• 한국멀티미디어학회논문지
• /
• 제10권8호
• /
• pp.981-996
• /
• 2007

본 논문에서는 연속적인 제스처 영상으로 부터 주 인자 분석을 통해 얻어진 동작 특징 정보를 이용하여 제스처를 인식하는 방법에 대해 기술한다. 제안된 방법은 먼저, 인간의 신체 영상이 포함된 연속적인 입력영상에서 2차원 실루엣 제스처 영역을 분할한 다음 전역특징정보와 지역특징정보를 추출한다. 여기서 전역특징정보는 요인 분석을 통하여 제스처를 효과적으로 표현하는 의미 있는 소수의 핵심 특징을 선택하여 이용한다. 추출 된 특징정보로 부터 제스처의 시간 변화를 나타내는 특징히스토리정보를 얻어 저 차원 제스처공간을 구성한다. 마지막으로 제스처 공간상에 투영된 모델 특징 값은 은닉마르코프 모델의 입력 기호로 이용되기 위해 군집화 알고리즘을 통해 특정한 상태 기호로 구성되며 임의의 입력 동작은 확률 값이 가장 높은 해당 제스처 모델로 인식된다. 주 인자 분석으로부터 제스처에 기여도가 높은 특징인자로 모델을 구성하기 때문에 외관기반방법에서 몸의 형상 정보만을 특징 값으로 이용하거나 직관적인 방법으로 특징을 추출하는 방법보다 복잡한 동작에서 비교적 우수한 인식률을 나타낸다.

• 한국멀티미디어학회논문지
• /
• 제8권9호
• /
• pp.1177-1186
• /
• 2005

키보드나 조이스틱 대신 카메라를 통해 입력되는 사용자의 제스처를 이용하는 시각 기반 비디오 게임 인터페이스를 사용할 때 자연스러운 동작을 허용하기 위해서는, 연속 제스처를 인식할 수 있고 사용자의 의미없는 동작이 허용되어야 한다. 본 논문에서는 비디오 게임 인터페이스를 위한 인식과 분할을 결합한 제스처 인식 방법을 제안하며, 이는 주어진 연속 영상에서 의미있는 동작을 인식함과 동시에 의미없는 동작을 구별하는 방법이다. 제안된 방법을 사용자의 상체 제스처를 게임의 명령어로 사용하는 1인칭 액션 게임인 Quke II 게임에 적용한 결과, 연속 제스처에 대해 평균 $93.36\%$의 분할 결과로써 비디오 게임 인터페이스에서 유용한 성능을 낼 수 있음을 보였다.

• 대한인간공학회지
• /
• 제31권4호
• /
• pp.593-599
• /
• 2012

Objective: This study aims to implement a non-contact gesture-based interface for presentation purposes and to analyze the effect of the proposed interface as information transfer assisted device. Background: Recently, research on control device using gesture recognition or speech recognition is being conducted with rapid technological growth in UI/UX area and appearance of smart service products which requires a new human-machine interface. However, few quantitative researches on practical effects of the new interface type have been done relatively, while activities on system implementation are very popular. Method: The system presented in this study is implemented with KINECT$^{(R)}$ sensor offered by Microsoft Corporation. To investigate whether the proposed system is effective as a presentation support tool or not, we conduct experiments by giving several lectures to 40 participants in both a traditional lecture room(keyboard-based presentation control) and a non-contact gesture-based lecture room(KINECT-based presentation control), evaluating their interests and immersion based on contents of the lecture and lecturing methods, and analyzing their understanding about contents of the lecture. Result: We check that whether the gesture-based presentation system can play effective role as presentation supporting tools or not depending on the level of difficulty of contents using ANOVA. Conclusion: We check that a non-contact gesture-based interface is a meaningful tool as a sportive device when delivering easy and simple information. However, the effect can vary with the contents and the level of difficulty of information provided. Application: The results presented in this paper might help to design a new human-machine(computer) interface for communication support tools.