• 전자공학회논문지
• /
• 제50권6호
• /
• pp.238-245
• /
• 2013

제스처 인식은 자연스러운 사용자 인터페이스를 위해 활발히 연구되는 중요한 분야이다. 본 논문에서는 키넥트 카메라로부터 입력되는 사용자의 3차원 관절(joint) 정보를 해석하여 제스처를 인식하는 방법이 제안된다. 대상으로 하는 제스처의 분포 특성에 따라 분류 트리를 설계하고 입력 패턴을 분류한다. 그리고 제스처를 리샘플링 및 정규화 하여 일정한 구간으로 나누고 각 구간의 체인코드 히스토그램을 추출한다. 트리의 각 노드별로 분류된 제스처에 다중 클래스 SVM(Multiclass Support Vector Machine)를 적용하여 학습한다. 이후 입력 데이터를 구성된 트리로 분류한 다음, 학습된 다중 클래스 SVM을 적용하여 제스처를 분류한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (2)
• /
• pp.384-386
• /
• 1998

The use of hand gesture provides an attractive alternative to cumbersome interface devices for human-computer interaction(HCI). Many methods hand gesture recognition using visual analysis have been proposed such as syntactical analysis, neural network(NN), Hidden Markov Model(HMM) and so on. In our research, a HMMs is proposed for alphabetical hand gesture recognition. In the preprocessing stage, the proposed approach consists of three different procedures for hand localization, hand tracking and gesture spotting. The hand location procedure detects the candidated regions on the basis of skin-color and motion in an image by using a color histogram matching and time-varying edge difference techniques. The hand tracking algorithm finds the centroid of a moving hand region, connect those centroids, and thus, produces a trajectory. The spotting a feature database, the proposed approach use the mesh feature code for codebook of HMM. In our experiments, 1300 alphabetical and 1300 untrained gestures are used for training and testing, respectively. Those experimental results demonstrate that the proposed approach yields a higher and satisfying recognition rate for the images with different sizes, shapes and skew angles.

• 한국멀티미디어학회논문지
• /
• 제15권10호
• /
• pp.1196-1204
• /
• 2012

본 논문에서는 다양한 멀티미디어 매체의 제어 및 인터랙션을 위하여 별도의 입력장치 없이 사용자의 경험기반의 동작 인식을 통하여 멀티미디어 콘텐츠를 제어 하는 알고리즘을 제안하였다. 본 논문에서 제안한 사용자 경험 기반 멀티미디어 콘텐츠 제어를 위한 휴먼 동작 인식 방법은 먼저, 카메라로부터 입력받은 영상을 조명의 변화에 크게 영향을 받지 않는 YCbCr컬러 영역으로 변환하여 피부색 추출과 모폴로지에 의한 잡음제거, Boundary Energy 및 Depth 영상을 이용하여 손 영역을 검출하였다. 검출된 손 영상에서 PCA 알고리즘을 이용하여 손 모양을 인식하고 차영상 및 모멘트 이론을 이용하여 손의 중심점 검출 및 궤적을 획득한 후, 손의 궤적을 시간을 기준으로 8분할하여 8방향 체인코드를 이용하여 심볼화하였다. 심볼화된 정보로 부터 HMM 알고리즘을 이용하여 손동작을 인식, 사용자의 동작 인식을 통하여 멀티미디어 콘텐츠를 제어하도록 하였다. 제안한 알고리즘을 실험에 적용한 결과 손 영역 검출은 94.25%, 손 모양 인식은 92.6%, 손 동작 인식은 85.86%, 얼굴 검출은 89.58%의 성능을 나타내었으며 이를 기반으로 컴퓨터 환경에서 생성 구축된 영상, 음성, 동영상, MP3, e-book 등과 같은 다양한 콘텐츠들을 동작인식만으로 제어할 수 있도록 하였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권5_6호
• /
• pp.430-443
• /
• 2003

본 논문은 카메라로부터 획득된 영상 시퀀스로부터 얻어진 제스처 궤적 정보를 바탕으로 가장 기본적인 방향, 속도 및 공간 특징을 추출한 후, 각각의 특징 정보들의 인식 결과를 비교하여 어떠한 정보가 가장 유용한지 평가한다. 이를 위해 제스처 궤적 추적을 위해선 컬러 정보 및 모션 정보를 사용하였고, 인식모델로는 시간 데이타 처리에 적합한 HMM을 구성하였다. 실험을 위한 제스처 DB로는 인식하고자 하는 그래픽, 숫자, 알파벳모양의 48개 제스처에 대해 20명으로부터 5개씩 총 4800개의 데이타를 구축하였다.

• 제어로봇시스템학회논문지
• /
• 제18권4호
• /
• pp.328-336
• /
• 2012

In this paper, we propose a robust fingertip extraction and extended Continuously Adaptive Mean Shift (CAMSHIFT) based robust hand gesture recognition for natural human-like HRI (Human-Robot Interaction). Firstly, for efficient and rapid hand detection, the hand candidate regions are segmented by the combination with robust $YC_bC_r$ skin color model and haar-like features based adaboost. Using the extracted hand candidate regions, we estimate the palm region and fingertip position from distance transformation based voting and geometrical feature of hands. From the hand orientation and palm center position, we find the optimal fingertip position and its orientation. Then using extended CAMSHIFT, we reliably track the 2D hand gesture trajectory with extracted fingertip. Finally, we applied the conditional density propagation (CONDENSATION) to recognize the pre-defined temporal motion trajectories. Experimental results show that the proposed algorithm not only rapidly extracts the hand region with accurately extracted fingertip and its angle but also robustly tracks the hand under different illumination, size and rotation conditions. Using these results, we successfully recognize the multiple hand gestures.

• 한국멀티미디어학회논문지
• /
• 제19권8호
• /
• pp.1225-1235
• /
• 2016

This paper presents a method for computer-assisted slide presentation using vision-based gesture recognition. The proposed method consists of a sequence of steps, first detecting a hand in the scene of projector beam, then estimating the smooth trajectory of a hand or a pointing finger using Kalman Filter, and finally interfacing to an application system. Additional slide navigation control includes moving back and forth the pages of the presentation. The proposed method is to help speakers for an effective presentation with natural improved interaction with the computer. In particular, the proposed method of using finger pointing is believed to be more effective than using a laser pointer since the hand, the pointing or finger are more visible and thus can better grab the attention of the audience.

• 한국멀티미디어학회논문지
• /
• 제11권6호
• /
• pp.807-815
• /
• 2008

A simple efficient method of spotting and recognizing hand gestures in video is presented using a network of hidden Markov models and dynamic programming search algorithm. The description starts from designing a set of isolated trajectory models which are stochastic and robust enough to characterize highly variable patterns like human motion, handwriting, and speech. Those models are interconnected to form a single big network termed a spotting network or a spotter that models a continuous stream of gestures and non-gestures as well. The inference over the model is based on dynamic programming. The proposed model is highly efficient and can readily be extended to a variety of recurrent pattern recognition tasks. The test result without any engineering has shown the potential for practical application. At the end of the paper we add some related experimental result that has been obtained using a different model - dynamic Bayesian network - which is also a type of stochastic model.

• 정보처리학회논문지B
• /
• 제16B권5호
• /
• pp.347-358
• /
• 2009

손동작을 인식하는 연구가 오랫동안 이뤄져 왔지만 대개의 시스템들이 값비싼 깊이 카메라를 사용하거나 여러 개의 카메라를 사용해 분석하는 등 그 비용이 크며 작동이 가능한 작업 공간이 지극히 제한적이었다. 본 논문에서는 가전제품을 원격 제어하기 위한 목적으로 두 개의 회전 모터를 사용해 작업 공간을 확대하고 저렴한 일반 카메라를 사용해서 효율적으로 손동작을 인식하기 위한 시스템을 제안한다. 이 시스템은 입력된 카메라의 자세 정보와 이미지상의 2차원적 손가락 위치 정보를 이용하여 3차원 궤적을 추정하고 이를 동작 평면으로 투영시켜 의미 있는 선형 동작 패턴으로 복원한다. 또한 본 논문에서는 개발된 시스템을 테스트하여 주어진 목적에 맞는 정확도를 가지는 작업 영역을 정의한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제2권10호
• /
• pp.723-730
• /
• 2013

본 논문에서는 Kinect 센서를 이용한 팔 제스처 인식 시스템의 설계에 대해 소개한다. 제스처 인식을 위한 기존의 연구들에서는 동적 시간 왜곡(DTW)에서 은닉 마코프 모델(HMM)에 이르기까지 다양한 방법들이 적용되어 왔다. 본 논문에서 제안하는 제스처 인식 시스템은 Kinect 센서를 통해 얻을 수 있는 순차적인 팔 관절 위치 데이터로부터 각 제스처 별 고유한 은닉 마코프 모델을 학습한다. 동일한 제스처를 수행하더라도 Kinect 센서에 포착되는 각 관절의 위치 좌표 값들은 팔의 길이와 방향에 따라 크게 달라질 수 있다는 문제점이 있다. 본 논문에서 제안하는 시스템에서는 다양한 환경 조건에서도 높은 제스처 인식 성능을 얻기 위해, 팔 관절들의 좌표 값으로 구성된 특징 벡터를 팔 관절들 간의 각도 값으로 변환하는 특징 변환 과정을 수행한다. 또한, 본 시스템에서는 은닉 마코프 모델의 학습과 적용의 효율성을 높이기 위해, 고차원 실수 관측 벡터들에 k-평균 군집화를 적용하여 이산 은닉 마코프 모델들을 위한 1차원 정수 시퀀스들을 구한다. 이와 같은 차원 축소와 이산화를 통해, 실시간 환경에서도 은닉 마코프 모델들을 효율적으로 제스처 인식에 이용할 수 있다. 끝으로, 서로 다른 두 가지 데이터 집합을 이용한 실험을 통해, 본 논문에서 제안한 시스템의 높은 인식 성능을 입증해 보인다.

• 한국정보통신학회논문지
• /
• 제25권12호
• /
• pp.1770-1776
• /
• 2021

손 표현 인식을 위해서는 손의 정적인 형태를 기반으로 하는 손 자세 인식과 손의 움직임을 기반으로 하는 손 동작 인식이 함께 사용된다. 본 논문에서는 가상의 칠판 위에서 움직이는 손의 궤적을 기반으로 기호를 인식하는 손 표현인식 방법을 제안하였다. 손으로 가상의 칠판에 그린 기호를 인식하기 위해서는 손의 움직임으로부터 기호를 인식하는 방법은 물론, 데이터 입력의 시작과 끝을 찾아내기 위한 손 자세 인식 역시 필요하다. 본 논문에서는 손 자세 인식을 위해 미디어파이프를, 시계열 데이터에서 손 동작을 인식하기 위해 순환 신경망의 한 종류인 LSTM(Long Short Term Memory)을 사용하였다. 제안하는 방법의 유효성을 보이기 위해 가상 칠판에 쓰는 숫자 인식에 제안하는 방법을 적용하였을 때 약 94%의 인식률을 얻을 수 있었다.