• Journal of the Korean Institute of Intelligent Systems
• /
• v.27 no.2
• /
• pp.126-131
• /
• 2017

In this paper, we propose a method to extract meaningful motion among various kinds of hand gestures on giving commands to robots using hand gestures. On giving a command to the robot, the hand gestures of people can be divided into a preparation one, a main one, and a finishing one. The main motion is a meaningful one for transmitting a command to the robot in this process, and the other operation is a meaningless auxiliary operation to do the main motion. Therefore, it is necessary to extract only the main motion from the continuous hand gestures. In addition, people can move their hands unconsciously. These actions must also be judged by the robot with meaningless ones. In this study, we extract human skeleton data from a depth image obtained by using a Kinect v2 sensor and extract location data of hands data from them. By using the Kalman filter, we track the location of the hand and distinguish whether hand motion is meaningful or meaningless to recognize the hand gesture by using the hidden markov model.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2000.11a
• /
• pp.344-348
• /
• 2000

인간의 손동작 인식은 오랫동안 언어로서의 역할을 해왔던 통신수단의 한 방법이다. 현대의 사회가 정보화 사회로 진행됨에 따라 보다 빠르고 정확한 의사소통 및 정보의 전달을 필요로 하는 가운데 사람과 컴퓨터간의 상호 연결 혹은 사람의 의사 표현에 있어 기존의 장치들이 가지는 단점을 보안하며 이 부분에 사람의 두 손으로 표현되는 자유로운 몸짓을 이용하려는 연구가 최근에 많이 진행되고 있는 추세이다. 본 논문에선 2차원의 입력 영상으로부터 동적인 손동작의 인식을 위해 복잡하고 시간이 많이 소요되는 기존의 방법과는 다르게 부가적인 특별한 장치의 사용 없이 손의 특징을 이용한 새로운 인식 알고리즘을 제안하고, 보다 높은 인식률과 실 시간적 처리를 위해 Radial Basis Function Network 및 부가적인 특징점을 통한 손동작의 인식을 구현하였다. 또한 인식된 손동작의 의미를 바탕으로 인식률 및 손동작 표현의 의미성에 대한 정확도를 판별하기 위해 로봇의 제어에 적용한 실험을 수행하였다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.11 no.1
• /
• pp.28-32
• /
• 2001

인간의 손동작 인식은 오랫동안 언어로서의 역할을 해왔던 통신수단의 한 방법이다. 현대의 사회가 정보화 사회로 진행됨에 따라 보다 빠르고 정확한 의사소통 및 정보의 전달을 필요로 하는 가운데 사람과 컴퓨터간의 상호 연결 혹은 사람의 의사 표현에 있어 기존의 장치들이 가지는 단점을 보안하며 이 부분에 사람의 두 손으로 표현되는 자유로운 몸짓을 이용하려는 연구가 최근에 많이 진행되고 있는 추세이다. 본 논문에선 2차원 입력 영상으로부터 동적인 손동작의 사용 없이 손의 특징을 이용한 새로운 인식 알고리즘을 제안하고, 보다 높은 인식률과 실 시간적 처리를 위해 Radial Basis Function Network 및 부가적인 특징점을 통한 손동작의 인식을 구현하였다. 또한 인식된 손동작의 의미를 바탕으로 인식률 및 손동작 표현의 의미성에 대한 정확도를 판별하기 위해 로봇의 제어에 적용한 실험을 수행하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.11b
• /
• pp.811-813
• /
• 2005

최근 아동들이 흥미와 이해, 창의적인 교육을 위한 도구로 게임을 주목하고 있다. 그러나 기존의 아동용 게임은 키보드와 마우스 같은 한정된 입력 장치를 사용하고 있어 아동들이 보다 편리하고 용이하게 게임을 즐길 수 있는 인터페이스의 개발이 요구된다. 본 논문에서는 기존의 입력 장치를 손동작을 이용한 실감형 인터페이스로 대치하는 아동용 게임설계를 제안한다. 카메라를 통해 들어온 동영상에서 손동작을 인식 및 추적하고 추적된 손동작의 의미를 기존 입력 장치의 입력 값으로 변경하여 게임의 입력 값으로 전달한다. 본 논문에서는 제안된 손동작 인터페이스를 아동용 게임에 적용시킴으로써 그 효용성을 증명한다.

• Journal of Korea Multimedia Society
• /
• v.9 no.8
• /
• pp.1067-1075
• /
• 2006

This paper proposes a advanced representation method of hand motion by cheremes analysis in korean sign language. The proposed method is the representation method which apply to the hand motion used in KSL(Korean Sign Language) to represent rich and united hand motion. Words or sentences in KSL are completed by combination of elements called as Cheremes, that is, a hand movement orientation, a finger shape, a hand position, etc. In this paper, Cheremes composing the KSL is divided and represented by 5 elements: the hand movement orientation(HMO), finger shape(FS), hand orientation(HO), hand position(HP) and number of using hand (HN). Each cheremes is expressed by more various characteristics. For example, The hand movement orientation means orientations which the hand move while the sign language is done and can be expressed by 17orientation components. The finger shape means various shapes which fingers can take and represented by 17 components. The Orientation of hand is expressed by 2 characteristics according to whether we use the palm of the hand or the back. The position of hand means specific regions in body which hand(s) is placed while the sign language is done and divided by 8 regions. Finally, the number of hand means whether use only one hand or both hands and is expressed by 2 characteristics. The proposed method has been tested with KSL words and sentences and the results have shown that they can be expressed completely by the proposed representation method.

• Journal of KIISE:Software and Applications
• /
• v.36 no.1
• /
• pp.82-91
• /
• 2009

Sign language spotting is the task of detecting and recognizing the signs in a signed utterance. The difficulty of sign language spotting is that the occurrences of signs vary in both motion and shape. Moreover, the signs appear within a continuous gesture stream, interspersed with transitional movements between signs in a vocabulary and non-sign patterns(which include out-of-vocabulary signs, epentheses, and other movements that do not correspond to signs). In this paper, a novel method for designing a threshold model in a conditional random field(CRF) model is proposed. The proposed model performs an adaptive threshold for distinguishing between signs in the vocabulary and non-sign patterns. A hand appearance-based sign verification method, a short-sign detector, and a subsign reasoning method are included to further improve sign language spotting accuracy. Experimental results show that the proposed method can detect signs from continuous data with an 88% spotting rate and can recognize signs from isolated data with a 94% recognition rate, versus 74% and 90% respectively for CRFs without a threshold model, short-sign detector, subsign reasoning, and hand appearance-based sign verification.

• 한국HCI학회:학술대회논문집
• /
• 2006.02b
• /
• pp.112-117
• /
• 2006

웨어러블 컴퓨터는 사용자를 중심으로 의복과 기술이 결합된 기기로서 직관적이며 유연한 인터페이스가 요구된다. 현재 직관적인 입력방식으로 음성인식과 동작인식에 대한 연구가 활발하게 진행되고 있다. 동작인식의 경우 손동작을 이용한 장갑형태가 가장 많으며, 대부분 사용자 행동의 의미를 고려하지 않은 인위적인 제스처로 학습을 필요로 한다. 본 연구에서는 사용자가 일상적으로 하는 행동에서 의미를 추출하고, 웨어러블 컴퓨터의 인터페이스로서 적용가능성을 보고자 한다. 행동은 자극에 대한 신체의 움직임이다. 문헌을 통하여 신체의 움직임에 대한 66개의 동사를 추출하고 구체적인 움직임에 구문조사를 실시하였다. 조사된 구문에 대한 상황과 의미를 조사한 결과 행동은 의미에 따라 감정표현, 의사전달, 정보교류, 자기제어, 기기제어, 무의식적, 의례적의 7가지로 분류할 수 있었다. 그 중 의사소통과 대상을 제어하기 위한 행동을 중심으로 접근하였다. 행동의 의미와 현재 사용되고 있는 UI의 의미를 비교하여 인터페이스를 대응시켜 보았다.

• The KIPS Transactions:PartB
• /
• v.16B no.5
• /
• pp.347-358
• /
• 2009

In this thesis, we develop a vision based hand motion recognition system using a camera with two rotational motors. Existing systems were implemented using a range camera or multiple cameras and have a limited working area. In contrast, we use an uncalibrated camera and get more wide working area by pan-tilt motion. Given an image sequence provided by the pan-tilt camera, color and pattern information are integrated into a tracking system in order to find the 2D position and direction of the hand. With these pose information, we estimate 3D motion plane on which the gesture motion trajectory from approximately forms. The 3D trajectory of the moving finger tip is projected into the motion plane, so that the resolving power of the linear gesture patterns is enhanced. We have tested the proposed approach in terms of the accuracy of trace angle and the dimension of the working volume.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.681-687
• /
• 2007

첨단 기술의 발전과 함께 장애인 및 노약자의 삶의 질에 대한 관심이 증가함에 따라 사용자가 각종 시스템들을 보다 쉽게 제어할 수 있는 방법들이 많이 연구되고 있다. 그 중 하나로 정의된 손 움직임 동작을 인식하여 가전기기 혹은 환경 제어 시스템, 홈 로봇 등에 명령을 내리는 기술을 예로 들 수 있다. 하지만, 정의된 손 움직임이 일상생활에서 발생하는 동작과 비슷한 경우 오작동을 일으킬 가능성이 있으며, 이를 차단하기 위해 복잡한 동작을 명령어로 사용할 경우 사용자의 편의성을 떨어뜨린다. 본 논문에서는 이러한 문제를 해결하기 위해 비슷한 동작 중에서 특정 동작을 검출할 수 있는 퍼지 가비지 모델을 제안한다. 퍼지 가비지 모델이란 인식하고자 하는 특정 동작을 제외한 다른 유사 동작의 특성을 반영하여 구현한 퍼지 모델을 말한다. 따라서 사용자의 동작으로부터 특징 값을 구한 후 이를 특정 동작에 대한 퍼지 모델과 퍼지 가비지 모델에 각각 대입하여 얻은 결과를 비교해서 어떤 동작이 발생하였는지 결정한다. 또한 사용자의 행동 특성은 개인마다 다르게 나타나고 동일 사용자라 하더라도 경우에 따라 동작에 편차가 나타날 수 있기 때문에 특정 사용자에 대한 시스템의 적응이 필요하다. 이를 위해 다양한 경우를 고려하여 최적화된 값을 찾을 수 있는 진화 알고리즘을 이용하여 퍼지 모델 파라미터를 갱신하는 방법을 제안한다. 제안한 방법의 타당성을 검증하기 위해 5명의 사용자로부터 명령 동작과 의미 없는 유사 동작의 데이터를 획득하여 실험 결과를 보인다.

• Proceedings of the Korea Institute of Convergence Signal Processing
• /
• 2005.11a
• /
• pp.233-237
• /
• 2005

수화의 인식 및 표현 기술에 대한 관련 연구는 수화 인식을 통한 건청인과의 의사 전달, 가상현실에서의 손동작 인식 등을 대상으로 여러 방면으로의 접근 및 연구 결과를 도출하고 있다. 그러나 이들 연구의 대부분 데스크탑 PC기반의 수신호(Hand signal) 제어 및 수화 - 손 동작 인식에 목적을 두었고 수화 신호의 획득을 위하여 영상장비를 이용하였으며 이를 바탕으로 단어 위주의 수화 인식 및 표현에 중점을 둔 수화 인식 시스템의 구현을 통해 비장애인과의 자유로운 의사소통을 추구하고 있다. 따라서 본 논문에서는 햅틱 장치로부터 사용자의 의미있는 수화 제스처를 획득하기 위한 접근 방식을 차세대 착용형 PC 플랫폼 기반의 유비쿼터스 환경으로 확대, 적용시켜 제스처 데이터 입력 모듈로부터 새로운 정보의 획득에 있어 한계성을 극복하고 사용자의 편의를 도모할 수 있는 효율적인 데이터 획득 방안을 제시한다. 또한 퍼지 알고리즘 및 RDBMS 모듈을 이용하여 언제, 어디에서나 사용자의 의미 있는 문장형 수화 제스처를 실시간으로 인식하고 표현하는 수화 제스처 인식기를 구현하였다. 본 논문에서는 수화 제스처 입력 모듈(5th Data Glove System과 $Fastrak{\circledR}$)과 차세대 착용형 PC 플랫폼(embedded I.MX21 board)간의 이격거리를 반경 10M의 타원 형태로 구성하고 규정된 위치로 수화 제스처 데이터 입력모듈을 이동시키면서 5인의 피실험자에 대하여 연속적으로 20회의 반복 실험을 수행하였으며 사용자의 동적 제스처 인식 실험결과 92.2% 평균 인식률을 도출하였다.