• Journal of KIISE:Computing Practices and Letters
• /
• v.16 no.4
• /
• pp.482-486
• /
• 2010

Recently, gesture recognition methods based on dynamic time warping (DTW) have been actively investigated as more mobile devices have equipped the accelerometer. DTW has no additional training step since it uses given samples as the matching templates. However, it is difficult to apply the DTW on mobile environments because of its computational complexity of matching step where the input pattern has to be compared with every templates. In order to address the problem, this paper proposes a gesture recognition method based on DTW that uses localized subset of templates. Here, the k-means clustering algorithm is used to divide each class into subclasses in which the most centered sample in each subclass is employed as the localized template. It increases the recognition speed by reducing the number of matches while it minimizes the errors by preserving the diversities of the training patterns. Experimental results showed that the proposed method was about five times faster than the DTW with all training samples, and more stable than the randomly selected templates.

• Journal of Korea Game Society
• /
• v.5 no.3
• /
• pp.3-10
• /
• 2005

We present the computer table tennis game using player's swing motion. We need to transform a real world coordinate into a virtual world coordinate in order to hit the virtual ball. We can not get a correct 3-dimension position of racket in environment that using one camera or simple image processing. Therefore we use Augmented Reality (AR) concept to develop the game. This paper shows the AR table tennis game using gesture and method to develop the 3D interaction game that only using one camera without any motion detection device or stereo cameras. Also, we use a scan line method to recognize gesture for speedy processing. The game is developed using ARtoolkit and DirectX that is popular tool of SDK for game development.

• Proceedings of the Korea Institute of Convergence Signal Processing
• /
• 2006.06a
• /
• pp.57-62
• /
• 2006

휴대용 단말기의 소형화 및 지능화와 더불어 차세대 PC 기반의 유비쿼터스 컴퓨팅에 대한 관심이 높아짐에 따라 최근에는 펜이나 음성 입력 멀티미디어 등 여러 가지 대화 모드를 구비한 멀티 모달 상호작용 (Multi-Modal Interaction MMI)에 대한 연구가 활발히 진행되고 있다. 따라서, 본 논문에서는 잡음 환경에서의 명확한 의사 전달 및 휴대용 단말기에서의 음성-제스처 통합 인식을 위한 인터페이스의 연구를 목적으로 Voice-XML과 Wearable Personal Station(WPS) 기반의 음성 및 내장형 수화 인식기를 통합한 멀티 모달 명령어 인식 시스템 (Multi-Modal Instruction Recognition System : MMIRS)을 제안하고 구현한다. 제안되어진 MMIRS는 한국 표준 수화 (The Korean Standard Sign Language : KSSL)에 상응하는 문장 및 단어 단위의 명령어 인식 모델에 대하여 음성뿐만 아니라 화자의 수화제스처 명령어를 함께 인식하고 사용함에 따라 잡음 환경에서도 규정된 명령어 모델에 대한 인식 성능의 향상을 기대할 수 있다. MMIRS의 인식 성능을 평가하기 위하여, 15인의 피험자가 62개의 문장형 인식 모델과 104개의 단어인식 모델에 대하여 음성과 수화 제스처를 연속적으로 표현하고, 이를 인식함에 있어 개별 명령어 인식기 및 MMIRS의 평균 인식율을 비교하고 분석하였으며 MMIRS는 문장형 명령어 인식모델에 대하여 잡음환경에서는 93.45%, 비잡음환경에서는 95.26%의 평균 인식율을 나타내었다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.666-671
• /
• 2006

'Multi modal 인터페이스'란 인간과 기계의 통신을 위해 음성, 키보드, 펜을 이용, 인터페이스를 하는 방법을 말한다. 최근 들어 많은 휴대용 단말기가 보급 되고, 단말기가 소형화, 지능화 되어가고, 단말기의 어플리케이션도 다양해짐에 따라 사용자가 보다 편리하고 쉽게 사용할 수 있는 입력 방법에 기대치가 높아가고 있다. 현재 휴대용 단말기에 가능한 입력장치는 단지 단말기의 버튼이나 터치 패드(PDA 경우)이다. 하지만 장애인의 경우 버튼이나 터치 패드를 사용하기 어렵고, 휴대용 단말기로 게임을 하는데 있어서도, 어려움이 많으며 새로운 게임이나 어플리케이션 개발에도 많은 장애요인이 되고 있다. 이런 문제점들은 극복하기 위하여, 본 논문에서는 휴대용 단말기의 새로운 Multi Modal 인터페이스를 제시 하였다. PDA(Personal Digital Assistants)를 이용하여 더 낳은 재미와 실감을 줄 수 있는 Multi Modal 인터페이스를 개발하였다. 센서를 이용하여 휴대용 단말기를 손목으로 제어를 가능하게 함으로서, 사용자에게 편리하고 색다른 입력 장치를 제공 하였다. 향후 음성 인식 기능이 추가 된다면, 인간과 인간 사이의 통신은 음성과 제스처를 이용하듯이 기계에서는 전통적으로 키보드 나 버튼을 사용하지 않고 인간처럼 음성과 제스처를 통해 통신할 수 있을 것이다. 또한 여기에 진동자를 이용하여 촉감을 부여함으로써, 그 동안 멀티 모달 인터페이스에 소외된 시각 장애인, 노약자들에게도 정보를 제공할 수 있다. 실제로 사람은 시각이나 청각보다 촉각에 훨씬 빠르게 반응한다. 이 시스템을 게임을 하는 사용자한테 적용한다면, 능동적으로 게임참여 함으로서 좀더 실감나는 재미를 제공할 수 있다. 특수한 상황에서는 은밀한 정보를 제공할 수 있으며, 앞으로 개발될 모바일 응용 서비스에 사용될 수 있다.

• Journal of the Institute of Electronics Engineers of Korea CI
• /
• v.41 no.3
• /
• pp.103-114
• /
• 2004

This paper deals with a system that is capable of recognizing hand-signals in 3-dimensional space. The system uses 2 color cameras as input devices. Vision-based gesture recognition system is known to be user-friendly because of its contact-free characteristic. But as with other applications using a camera as an input device, there are difficulties under complex background and varying illumination. In order to detect hand region robustly from a input image under various conditions without any special gloves or markers, the paper uses previous position information and adaptive hand color model. The paper defines a hand-signal as a combination of two basic elements such as 'hand pose' and 'hand trajectory'. As an extensive classification method for hand pose, the paper proposes 2-stage classification method by using 'small group concept'. Also, the paper suggests a complementary feature selection method from images from two color cameras. We verified our method with a hand-signal application to our driving simulator.

• Journal of the Korea Academia-Industrial cooperation Society
• /
• v.20 no.9
• /
• pp.525-531
• /
• 2019

Efforts to utilize human gestures to effectively implement a more natural and interactive interface between humans and computers have been ongoing in recent years. In this paper, we propose a new algorithm that accepts consecutive three-dimensional (3D) depth images, defines a hand model, and robustly extracts the human hand region based on six palm joints and 15 finger joints. Then, the 3D depth images are adaptively binarized to exclude non-interest areas, such as the background, and accurately extracts only the hand of the person, which is the area of interest. Experimental results show that the presented algorithm detects only the human hand region 2.4% more accurately than the existing method. The hand region extraction algorithm proposed in this paper is expected to be useful in various practical applications related to computer vision and image processing, such as gesture recognition, virtual reality implementation, 3D motion games, and sign recognition.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2013.11a
• /
• pp.1676-1679
• /
• 2013

컴퓨터의 발달과 함께 입력 형태 또한 다양해졌다. 가령, Kinect는 움직이는 동작이나 원근거리, 그리고 소리까지 입력받을 수 있다. 이 연구는 Kinect를 통하여 손가락의 움직임을 입력받은 후, 그에 따른 게임의 결과를 출력한다. MindWave를 사용하여 EEG 데이터의 시각화를 통하여 사용자가 출력 내용을 이해하기 쉽게 구현하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.938-939
• /
• 2023

코로나-19로 인해 비접촉 서비스의 중요성이 더욱 대두되고 있다. 키보드나 마우스와 같은 기존 입력 장치를 대체하기 위해 사람들은 디지털 기기에서 손을 사용하여 자연스럽고 간단한 입력을 할 수 있게 되었다. 본 논문에서는 미디어파이프(MediaPipe)와 LSTM(Long Short-Term Memory) 딥러닝을 활용하여 손 제스처를 학습하고 비접촉 입력 장치로 구현하는 방법을 제시한다. 이러한 기술은 가상현실(VR; Virtual Reality), 증강현실(AR; Augmented Reality), 메타버스, 키오스크 등에서 활용 가능성이 크다.

• Proceedings of the KAIS Fall Conference
• /
• 2010.11a
• /
• pp.88-91
• /
• 2010

최근 무선통신 기술의 발당과 인터넷의 발달로 웹캠을 활용하여 얼굴인식, 몸동작 인식, 제스처 인식 등의 연구가 활발히 진행되고 있다. 본 연구에서는 웹캠으로부터 입력되는 손동작 동영상을 처리하여 수화 패턴 신호를 인식하는 손동작 인식 알고리즘을 제안한다. 제안방법은 프레임간의 차 연산을 이용하여 움직이는 오브젝트를 추출하고, YCbCr로 변환하여 손 모양 영역을 추출하여 특정 크기의 정규화 영상으로 변화하며, 정규화 영상의 오브젝트의 무게중심점을 기준으로 원의 반지름을 결정하고 원을 탐색하여 손가락의 펴짐과 굽힘에 대한 패턴 비교를 통하여 손 모양을 인식한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.10a
• /
• pp.1679-1680
• /
• 2015

본 논문에서는 Depth 카메라를 이용하여 검지 끝을 인식하고 공간 터치 손 제스처를 인식하는 방법에 대해 제안한다. 제안된 방법은 손의 형태학적으로 엄지 끝을 추정하고 보정하는 방법을 제안하고, 추정된 검지와 엄지 끝의 위치를 이용해 마우스 이동, 클릭을 구현하여 문자 입력 시스템에 적용하였다. 제안된 방법을 실험하기 위하여 실제 디스플레이와 Depth 카메라를 하드웨어적으로 구성하고 마우스 기반 콘텐츠를 제작하여 이용하였다.