• Proceedings of the Korean Information Science Society Conference
• /
• 2005.11b
• /
• pp.577-579
• /
• 2005

본 논문에서는 손 제스처를 사용한 2족 보행로봇 제어방법을 제안한다. 제안된 방법은 연속된 입력 영상으로부터 사용자의 손을 검출하기 위해, 피부색 정보와 Hue의 불변 모멘트 정보를 사용한다. 검출된 손 영역은 Active Contour Model를 사용하여 추적한다. 손 제스처를 인식하기 위해 Hue의 불변 모멘 정보로부터, 검출된 손의 모양을판단하고 그 결과를 미리 정해둔 심벌 중에 하나로 할당한다. 이렇게 연속적으로 할당된 심벌들은 HMM(Hidden Markov Model) 인식기를 통해 인식 되고 로봇 명령어를 출력하며, 출력된 명령어에 따라 로봇이 제어된다. 제안된 방법의 효율성을 증명하기 위해, 자체 제작한 2족 보행로봇(KAI)으로 6개의 손 제스처를 이용하여 사용자가 원격지에 있는 로봇의 보행을 제어하는 원격 로봇 보행 제어 시스템에 응용해 보았다. 실험 결과, $94\%$의 인식률을 보였다.

• Journal of KIISE:Computing Practices and Letters
• /
• v.16 no.5
• /
• pp.621-625
• /
• 2010

This paper presents a hand motion tracking method for hand gesture interface using a camera in mobile devices such as a smart phone and PDA. When a camera moves according to the hand gesture of the user, global optical flows are generated. Therefore, robust hand movement estimation is possible by considering dominant optical flow based on histogram analysis of the motion direction. A continuous hand gesture is segmented into unit gestures by motion state estimation using motion phase, which is determined by velocity and acceleration of the estimated hand motion. Feature vectors are extracted during movement states and hand gestures are recognized at the end state of each gesture. Support vector machine (SVM), k-nearest neighborhood classifier, and normal Bayes classifier are used for classification. SVM shows 82% recognition rate for 14 hand gestures.

• Journal of KIISE:Software and Applications
• /
• v.35 no.4
• /
• pp.265-279
• /
• 2008

The idea of using hand gestures for human-computer interaction is not new and has been studied intensively during the last dorado with a significant amount of qualitative progress that, however, has been short of our expectations. This paper describes a dynamic Bayesian network or DBN based approach to both two-hand gestures and one-hand gestures. Unlike wired glove-based approaches, the success of camera-based methods depends greatly on the image processing and feature extraction results. So the proposed method of DBN-based inference is preceded by fail-safe steps of skin extraction and modeling, and motion tracking. Then a new gesture recognition model for a set of both one-hand and two-hand gestures is proposed based on the dynamic Bayesian network framework which makes it easy to represent the relationship among features and incorporate new information to a model. In an experiment with ten isolated gestures, we obtained the recognition rate upwards of 99.59% with cross validation. The proposed model and the related approach are believed to have a strong potential for successful applications to other related problems such as sign languages.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.06a
• /
• pp.34-35
• /
• 2014

본 논문에서는 손가락 제스처 인식을 위해서 깊이 영상 카메라를 이용하여 손 영역을 추적하고 손가락 끝점을 찾는 방법을 제시하고자 한다. 실시간 영역 추적을 위해 적은 연산량으로 손 영역의 중심점을 검출하고 추적이 가능하여야 하며, 다양한 제스처를 효과적으로 인식하기 위해서는 손 모양에서 손가락을 인식하여야 하기 때문에 손가락 끝점을 찾는 방법도 함꼐 제시하고자 한다. 또한 손가락이 정확히 검출되었는지를 확인하기 위해서 손가락의 이동과 손가락의 클릭 제스처를 마우스에 연동하여 검출 결과를 테스트 하였다.

• Journal of Satellite, Information and Communications
• /
• v.9 no.1
• /
• pp.57-64
• /
• 2014

Recently, many human-friendly communication methods have been studied for human-machine interface(HMI) without using any physical devices. One of them is the vision-based gesture recognition that this paper deals with. In this paper, we define some gestures for interaction with objects in a predefined virtual world, and propose an efficient method to recognize them. For preprocessing, we detect and track the both hands, and extract their silhouettes from the low-resolution hand images captured by a webcam. We modeled skin color by two Gaussian distributions in RGB color space and use blob-matching method to detect and track the hands. Applying the foodfill algorithm we extracted hand silhouettes and recognize the hand shapes of Thumb-Up, Palm and Cross by detecting and analyzing their modes. Then, with analyzing the context of hand movement, we recognized five predefined one-hand or both-hand gestures. Assuming that one main user shows up for accurate hand detection, the proposed gesture recognition method has been proved its efficiency and accuracy in many real-time demos.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.10b
• /
• pp.715-717
• /
• 2004

본 논문에서는 HTPC를 제어하기 위한 제스처 기반의 인터페이스를 제안한다. 제안된 인터페이스를 이용하여 사용자는 HTPC와 떨어진 장소에서 쉽게 HTPC를 제어할 수 있다. 제스처를 인식하기 위해 인터페이스는 실시간 연속 영상으로부터 사용자의 손을 검출하고, 손의 움직임, 모양, 위치 정보를 추출한다. 사용자의 제스처를 인식하기 위해 추출된 정보와 HMMs 을 사용한다. 실험 결과는 제안한 인터페이스가 멀티미디어 응용프로그램뿐만 아니라 다른 종류의 컴퓨터 응용프로그램에서 사용자와 HTPC간에 상호작용하여 접근할 수 있음을 보인다.

• Broadcasting and Media Magazine
• /
• v.22 no.1
• /
• pp.10-18
• /
• 2017

본 연구는 비접촉식 센서 기반의 웨어러블 디바이스를 이용한 딥러닝 기반의 제스처 인식에 대한 연구이다. 이를 위하여 Flexible MSG 센서를 기반으로 한 Flexible Epidermal Tactile Sensor를 사용하였으며, Flexible Epidermal Tactile Sensor는 손, 손가락 제스처를 취했을 때 손목, 손가락과 연결되어 있는 근육들의 움직임에 따라 발생하는 피부 표면의 전극을 취득하는 센서이다. 실험을 위하여 7가지 손, 손가락 제스처를 정의하였으며, 손목의 꺾임, 손목의 뒤틀림, 손가락의 오므림과 펴짐, 아무 동작도 취하지 않은 기본 상태에 대한 제스처로 정의하였다. 실험 데이터 수집에는 손목이나 손가락에 부상, 장애등이 없는 일반적인 8명의 참가자가 참가하였으며 각각 한 제스처에 대하여 20번씩 반복하여 1120개의 샘플을 수집하였다. 입력신호에 대한 제스처를 학습하기 위해 본 논문에서는 1차원 Convolutional Neural Network를 제안하였으며, 성능 비교를 위해 신호의 크기를 반영하는 특징벡터인 Integral Absolute Value와 Difference Absolute Mean Value를 입력신호에서 추출하고 Support Vector Machine을 사용하여 본 논문에서 제안한 1차원 CNN과 성능비교를 하였다. 그 결과 본 논문에서 제안한 1차원 CNN의 분류 정확도가 우수한 성능을 나타냈다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2013.11a
• /
• pp.1653-1656
• /
• 2013

본 논문에서는 키넥트를 사용하여 제스처를 인식해 프리젠테이션이 가능한 인터페이스를 제작하였다. 키넥트 카메라는 Microsoft Kinect SDK1.7 라이브러리를 사용해서 신체의 좌표값을 받아 손의 위치와 손의 제스처를 인식하는데 사용했으며, 파워포인트를 제어하기 위해 후킹 기능을 사용한다. 기존 키넥트에서 사용하던 제스처인 sweep을 기본으로, grip과 push 제스처로 프리젠테이션에 필요한 기능을 추가했다. 제스처 인식의 결과를 후킹을 통해 파워포인트로 전달해서, 슬라이드의 이동 뿐 아니라 메모 기능과 지우기 기능이 추가된 인터페이스를 제공한다. 인터페이스는 발표자의 발표능력 향상과 더불어, 제스처 인식 인터페이스를 타 콘텐츠에 적용이 가능하므로 추후 콘텐츠의 제작 및 상용화가 가능하다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.1037-1043
• /
• 2006

본 논문에서는 유비쿼터스 컴퓨팅 오피스 환경에서 가장 직관적인 HCI 수단인 손 제스처를 사용하여 대형 스크린 상의 응용 프로그램들을 쉽게 제어할 수 있는 시스템을 제안한다. 손 제스처는 손 영역의 정보, 손 중심점의 위치 변화값과 손가락 형상을 이용하여 시스템 제어에 필요한 종류들을 미리 정의해 둔다. 먼저 효율적으로 손 영역 획득을 위해 적외선 카메라를 사용하여 연속된 영상을 획득한다. 획득된 영상 프레임으로부터 구조적 템플레이트 매칭 방법을 사용하여 손의 중심(centroid) 및 손가락끝(fingertip)을 검출한다. 인식과정에서는 양손의 Euclidean distance와 손가락 형상 정보를 이용하여 미리 정의된 제스처와 비교하여 인식을 행한다. 본 논문에서 제안한 비전 기반 hand gesture 제어 시스템은 인간과 컴퓨터의 상호작용을 이해하는데 많은 이점을 제공할 수 있다. 실험 결과를 통해 본 논문에서 제안한 방법의 효율성을 입증한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2012.11a
• /
• pp.594-596
• /
• 2012

본 논문에서는 손 모션에 대하여 피부색 검출을 기반으로 전역적인 모션을 추적하고 모션 벡터를 생성하여 제스처를 인식하는 방법을 제안한다. 추적을 위하여 Shi-Tomasi 특징점 검출 방법과 Lucas-Kanade 옵티컬 플로우 추정 방법을 사용한다. 손 모션을 추적하는 경우 손의 모양이 다양하게 변화하므로 초기에 검출된 특징점을 계속적으로 추적하는 일반적인 방법으로는 손의 모션을 제대로 추적할 수 없다. 이에 본 논문에서는 프레임마다 새로운 특징점을 검출한 후 옵티컬 플로우를 추정하고 이상치(outlier)를 제거하여 손 모양의 변화에도 추적을 통한 모션 벡터 생성이 가능하도록 한다. 모션 벡터들로 인공 신경망을 사용한 판별 과정을 수행하여 최종적으로 손 모션 제스처에 대한 인식이 가능하도록 한다.