• 제어로봇시스템학회논문지
• /
• 제18권4호
• /
• pp.328-336
• /
• 2012

In this paper, we propose a robust fingertip extraction and extended Continuously Adaptive Mean Shift (CAMSHIFT) based robust hand gesture recognition for natural human-like HRI (Human-Robot Interaction). Firstly, for efficient and rapid hand detection, the hand candidate regions are segmented by the combination with robust $YC_bC_r$ skin color model and haar-like features based adaboost. Using the extracted hand candidate regions, we estimate the palm region and fingertip position from distance transformation based voting and geometrical feature of hands. From the hand orientation and palm center position, we find the optimal fingertip position and its orientation. Then using extended CAMSHIFT, we reliably track the 2D hand gesture trajectory with extracted fingertip. Finally, we applied the conditional density propagation (CONDENSATION) to recognize the pre-defined temporal motion trajectories. Experimental results show that the proposed algorithm not only rapidly extracts the hand region with accurately extracted fingertip and its angle but also robustly tracks the hand under different illumination, size and rotation conditions. Using these results, we successfully recognize the multiple hand gestures.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제36권12호
• /
• pp.1028-1033
• /
• 2009

본 논문은 컴퓨터 마우스를 제어하기 위한 실시간 손 제스처 인식 방법을 제안한다. 다양한 제스처를 표현하기 위해, 손 제스처를 연속적인 손 모양의 시퀀스로 정의하고, 이러한 손 제스처를 인식하기 위한 계층적 베이지안 네트워크를 디자인한다. 제안하는 방법은 손 포스처와 제스처 인식을 위한 계층적 구조를 가지며, 이는 특징 추출과정에서 발생하는 잡음에 강인하다는 장점을 가진다. 제안하는 방법의 유용성을 증명하기 위해, 제스처 기반 가상 마우스 인터페이스를 개발하였다. 실험에서 제안한 방법은 단순한 배경에서는 94.8%, 복잡한 배경에서는 88.1%의 인식률을 보였으며, HMM 기반의 기존 방법보다 우수한 성능을 보였다.

• 방송공학회논문지
• /
• 제23권2호
• /
• pp.246-252
• /
• 2018

제스처는 스마트 글라스 등 웨어러블 기기의 NUI(Natural User Interface)로 주목받고 있다. 최근 MPEG에서는 IoT(Internet of Things) 및 웨어러블 환경에서의 효율적인 미디어 소비를 지원하기 위한 IoMT(Internet of Media Things) 표준화를 진행하고 있다. IoMT에서는 손 제스처 검출과 인식이 별도의 기기에서 수행되는 것을 가정하고 이들 모듈간의 인터페이스 규격을 제공하고 있다. 한편, 최근 인식률 개선을 위하여 딥러닝 기반의 손 제스처 인식 기법 또한 활발히 연구되고 있다. 본 논문에서는 IoMT의 유스 케이스(use case)의 하나인 웨어러블 기기에서의 미디어 소비 등 다양한 응용을 위하여 CNN(Convolutional Neural Network) 기반의 손 제스처 인식 기법을 제시한다. 제시된 기법은 스마트 글래스로 획득한 스테레오 비디오로부터 구한 깊이(depth) 정보와 색 정보를 이용하여 손 윤곽선을 검출하고, 검출된 손 윤곽선 영상을 데이터 셋으로 구성하여 CNN을 학습한 후, 이를 바탕으로 입력 손 윤곽선 영상의 제스처를 인식한다. 실험결과 제안기법은 95%의 손 제스처 인식율를 얻을 수 있음을 확인하였다.

• 대한인간공학회지
• /
• 제34권5호
• /
• pp.411-426
• /
• 2015

Objective: The goal of this thesis is to design the interaction structure and framework of system to recognize sign language. Background: The sign language of meaningful individual gestures is combined to construct a sentence, so it is difficult to interpret and recognize the meaning of hand gesture for system, because of the sequence of continuous gestures. This being so, in order to interpret the meaning of individual gesture correctly, the interaction structure and framework are needed so that they can segment the indication of individual gesture. Method: We analyze 700 sign language words to structuralize the sign language gesture interaction. First of all, we analyze the transformational patterns of the hand gesture. Second, we analyze the movement of the transformational patterns of the hand gesture. Third, we analyze the type of other gestures except hands. Based on this, we design a framework for sign language interaction. Results: We elicited 8 patterns of hand gesture on the basis of the fact on whether the gesture has a change from starting point to ending point. And then, we analyzed the hand movement based on 3 elements: patterns of movement, direction, and whether hand movement is repeating or not. Moreover, we defined 11 movements of other gestures except hands and classified 8 types of interaction. The framework for sign language interaction, which was designed based on this mentioned above, applies to more than 700 individual gestures of the sign language, and can be classified as an individual gesture in spite of situation which has continuous gestures. Conclusion: This study has structuralized in 3 aspects defined to analyze the transformational patterns of the starting point and the ending point of hand shape, hand movement, and other gestures except hands for sign language interaction. Based on this, we designed the framework that can recognize the individual gestures and interpret the meaning more accurately, when meaningful individual gesture is input sequence of continuous gestures. Application: When we develop the system of sign language recognition, we can apply interaction framework to it. Structuralized gesture can be used for using database of sign language, inventing an automatic recognition system, and studying on the action gestures in other areas.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2008년도 춘계종합학술대회 A
• /
• pp.585-588
• /
• 2008

본 논문은 손동작 인식을 위한 형태 유사도 측정 방법을 제안한다. 이를 위해 손 영역 획득과 유사도 측정 단계로 나눈다. 손 영역 획득은 YCbCr 칼라 공간을 이용하여 손 영역을 추출하며, filter와 Histogram분석을 통하여 노이즈를 제거한다. 그리고 손 형태 유사도 측정은 윤곽선을 추출한 후 인접 간선들 사이의 거리와 각도 관계로 TSR을 적용하여 손동작의 유사성을 측정하였다. 파악된 특징점으로부터 형태 유사도 값을 측정한 후, 이를 손동작을 인식하는데 활용한다.

• 한국멀티미디어학회논문지
• /
• 제21권5호
• /
• pp.626-637
• /
• 2018

Human exchanges information not only through words, but also through body gesture or hand gesture. And they can be used to build effective interfaces in mobile, virtual reality, and augmented reality. The past 2D gesture recognition research had information loss caused by projecting 3D information in 2D. Since the recognition of the gesture in 3D is higher than 2D space in terms of recognition range, the complexity of gesture recognition increases. In this paper, we proposed a real-time gesture recognition deep learning model and application in 3D space using deep learning technique. First, in order to recognize the gesture in the 3D space, the data collection is performed using the unity game engine to construct and acquire data. Second, input vector normalization for learning 3D gesture recognition model is processed based on deep learning. Thirdly, the SELU(Scaled Exponential Linear Unit) function is applied to the neural network's active function for faster learning and better recognition performance. The proposed system is expected to be applicable to various fields such as rehabilitation cares, game applications, and virtual reality.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2005년도 추계종합학술대회
• /
• pp.553-556
• /
• 2005

We present a vision-based hand gesture recognition system for object manipulation in virtual space. Most conventional hand gesture recognition systems utilize a simpler method for hand detection such as background subtractions with assumed static observation conditions and those methods are not robust against camera motions, illumination changes, and so on. Therefore, we propose a statistical method to recognize and detect hand regions in images using geometrical structures. Also, Our hand tracking system employs multiple cameras to reduce occlusion problems and non-synchronous multiple observations enhance system scalability. Experimental results show the effectiveness of our method.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권9호
• /
• pp.4491-4509
• /
• 2017

The present paper proposes a novel dynamic system for hand gesture recognition. The approach involved is comprised of three main steps: detection, tracking and recognition. First, the gesture contour captured by a 2D-camera is detected by combining the three-frame difference method and skin-color elliptic boundary model. Then, the trajectory of the hand gesture is extracted via a gesture-tracking algorithm based on an occlusion-direction oriented linear extrapolation predictor, where the gesture coordinate in next frame is predicted by the judgment of current occlusion direction. Finally, to overcome the interference of insignificant trajectory segments, the longest common subsequence (LCS) is employed with the aid of velocity information. Besides, to tackle the subgesture problem, i.e., some gestures may also be a part of others, the most probable gesture category is identified through comparison of the relative LCS length of each gesture, i.e., the proportion between the LCS length and the total length of each template, rather than the length of LCS for each gesture. The gesture dataset for system performance test contains digits ranged from 0 to 9, and experimental results demonstrate the robustness and effectiveness of the proposed approach.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 추계학술대회
• /
• pp.518-520
• /
• 2021

본 논문에서는 텍스트 분류에 사용된 textNAS를 다변수 시계열 데이터에 적용 가능하도록 수정하여 이를 통한 손동작 인식 방법을 제안한다. 이를 사용하면 다변수 시계열 데이터 분류를 통한 행동 인식, 감정 인식, 손동작 인식 등 다양한 분야에 적용 가능하다. 그리고 분류에 적합한 딥러닝 모델을 학습을 통해 자동으로 찾아줘 사용자의 부담을 덜어주며 높은 성능의 클래스 분류 정확도를 얻을 수 있다. 손동작 인식 데이터셋인 DHG-14/28과 Shrec'17 데이터셋에 제안한 방법을 적용하여 기존의 모델보다 높은 클래스 분류 정확도를 얻을 수 있었다. 분류 정확도는 DHG-14/28의 경우 98.72%, 98.16%, Shrec'17 14 class/28 class는 97.82%, 98.39%를 얻었다.

• 한국정보통신학회논문지
• /
• 제25권12호
• /
• pp.1770-1776
• /
• 2021

손 표현 인식을 위해서는 손의 정적인 형태를 기반으로 하는 손 자세 인식과 손의 움직임을 기반으로 하는 손 동작 인식이 함께 사용된다. 본 논문에서는 가상의 칠판 위에서 움직이는 손의 궤적을 기반으로 기호를 인식하는 손 표현인식 방법을 제안하였다. 손으로 가상의 칠판에 그린 기호를 인식하기 위해서는 손의 움직임으로부터 기호를 인식하는 방법은 물론, 데이터 입력의 시작과 끝을 찾아내기 위한 손 자세 인식 역시 필요하다. 본 논문에서는 손 자세 인식을 위해 미디어파이프를, 시계열 데이터에서 손 동작을 인식하기 위해 순환 신경망의 한 종류인 LSTM(Long Short Term Memory)을 사용하였다. 제안하는 방법의 유효성을 보이기 위해 가상 칠판에 쓰는 숫자 인식에 제안하는 방법을 적용하였을 때 약 94%의 인식률을 얻을 수 있었다.