• 한국멀티미디어학회논문지
• /
• 제16권12호
• /
• pp.1393-1402
• /
• 2013

Hand gesture is one of the most popular communication methods in everyday life. In human-computer interaction applications, hand gesture recognition provides a natural way of communication between humans and computers. There are mainly two methods of hand gesture recognition: glove-based method and vision-based method. In this paper, we propose a vision-based hand gesture recognition method using Kinect. By using the depth information is efficient and robust to achieve the hand detection process. The finger labeling makes the system achieve pose classification according to the finger name and the relationship between each fingers. It also make the classification more effective and accutate. Two kinds of gesture sets can be recognized by our system. According to the experiment, the average accuracy of American Sign Language(ASL) number gesture set is 94.33%, and that of general gestures set is 95.01%. Since our system runs in real-time and has a high recognition rate, we can embed it into various applications.

• 한국멀티미디어학회논문지
• /
• 제13권7호
• /
• pp.1000-1015
• /
• 2010

본 논문에서는 손동작 인식을 위한 새로운 방법을 제안한다. 손 추출을 위한 방법으로는 피부색과 boundary energy 정보를 이용하고 moment method로 손바닥의 중심을 구하게 된다. 손동작 인식은 두 단계로 나눌 수 있다. 첫 번째 단계는 손 형상 인식으로 병렬 신경망을 이용하였다. 손 형상의 패턴을 추출하기 위해서 fitting ellipses method를 이용하였다. fitting ellipses method는 추출된 손 영역을 12개의 타원형으로 분류하고 타원 외곽선의 흰 픽셀 비율을 계산한다. 패턴은 12개의 입력 노드로 신경망에 입력되고 4개의 출력 노드로 출력되는데 각 출력 노드는 0~1사이의 값을 갖게 된다. 손 형상은 4개의 출력 노드의 구성으로 나타낼 수 있다. 두 번째 단계는 손동작 추적과 인식이다. 손동작 추적과 인식을 위해서는 손동작의 위치 정보를 예측 할 수 있는 Kalman Filter를 이용하였다. 실험은 Windows XP상에서 수행되었고 제안한 알고리즘의 효율성을 평가하였다. 손 형상을 인식하기 위해서 300개의 이미지를 인식기에 훈련시키고 200개의 이미지를 실험에 사용하였다. 194개 이상의 이미지가 정확하게 인식 되었다. 그리고 손동작 추적 인식을 실험하기 위해서 1200번의 손동작(각 동작은 400번)을 사용하였고 그 중 1002번의 손동작이 정확하게 인식 되었다.이러한 결과는 제안된 방법이 손 영역을 추출하고 손 동작을 인식하는데 유용함을 확인 할 수 있었다.

• 한국멀티미디어학회논문지
• /
• 제15권10호
• /
• pp.1196-1204
• /
• 2012

본 논문에서는 다양한 멀티미디어 매체의 제어 및 인터랙션을 위하여 별도의 입력장치 없이 사용자의 경험기반의 동작 인식을 통하여 멀티미디어 콘텐츠를 제어 하는 알고리즘을 제안하였다. 본 논문에서 제안한 사용자 경험 기반 멀티미디어 콘텐츠 제어를 위한 휴먼 동작 인식 방법은 먼저, 카메라로부터 입력받은 영상을 조명의 변화에 크게 영향을 받지 않는 YCbCr컬러 영역으로 변환하여 피부색 추출과 모폴로지에 의한 잡음제거, Boundary Energy 및 Depth 영상을 이용하여 손 영역을 검출하였다. 검출된 손 영상에서 PCA 알고리즘을 이용하여 손 모양을 인식하고 차영상 및 모멘트 이론을 이용하여 손의 중심점 검출 및 궤적을 획득한 후, 손의 궤적을 시간을 기준으로 8분할하여 8방향 체인코드를 이용하여 심볼화하였다. 심볼화된 정보로 부터 HMM 알고리즘을 이용하여 손동작을 인식, 사용자의 동작 인식을 통하여 멀티미디어 콘텐츠를 제어하도록 하였다. 제안한 알고리즘을 실험에 적용한 결과 손 영역 검출은 94.25%, 손 모양 인식은 92.6%, 손 동작 인식은 85.86%, 얼굴 검출은 89.58%의 성능을 나타내었으며 이를 기반으로 컴퓨터 환경에서 생성 구축된 영상, 음성, 동영상, MP3, e-book 등과 같은 다양한 콘텐츠들을 동작인식만으로 제어할 수 있도록 하였다.

• 한국정보기술응용학회:학술대회논문집
• /
• 한국정보기술응용학회 2005년도 6th 2005 International Conference on Computers, Communications and System
• /
• pp.153-156
• /
• 2005

Skin region detection in images is an important process in many computer vision applications targeting humans such as hand gesture recognition and face identification. It usually starts at a pixel-level, and involves a pre-process of color spae transformation followed by a classification process. A color space transformation is assumed to increase separability between skin classes and other classes, to increase similarity among different skin tones, and to bring a robust performance under varying imaging conditions, without any complicated analysis. In this paper, we examine if the color space transformation actually brings those benefits to the problem of skin region detection on a set of human hand images with different postures, backgrounds, people, and illuminations. Our experimental results indicate that color space transfomation affects the skin detection performance. Although the performance depends on camera and surround conditions, normalized [R, G, B] color space may be a good choice in general.

• Journal of Multimedia Information System
• /
• 제6권4호
• /
• pp.329-332
• /
• 2019

Recently, smart lighting systems are the combination between sensors and lights. These systems turn on/off and adjust the brightness of lights based on the motion of object and the brightness of environment. These systems are often applied in places such as buildings, rooms, garages and parking lot. However, these lighting systems are controlled by lighting sensors, motion sensors based on illumination environment and motion detection. In this paper, we propose an automatic lighting control system using one single camera for buildings, rooms and garages. The proposed system is one integration the results of digital image processing as motion detection, hand gesture detection to control and dim the lighting system. The experimental results showed that the proposed system work very well and could consider to apply for automatic lighting spaces.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권9호
• /
• pp.3924-3940
• /
• 2020

Dynamic hand gesture recognition(d-HGR) plays an important role in human-computer interaction(HCI) system. With the growth of hand-pose estimation as well as 3D depth sensors, depth, and the hand-skeleton dataset is proposed to bring much research in depth and 3D hand skeleton approaches. However, it is still a challenging problem due to the low resolution, higher complexity, and self-occlusion. In this paper, we propose a hand-shape feature extraction(HSFE) network to produce robust hand-shapes. We build a hand-shape model, and hand-skeleton based on LSTM to exploit the temporal information from hand-shape and motion changes. Fusion between two models brings the best accuracy in dynamic hand gesture (DHG) dataset.

• 한국멀티미디어학회논문지
• /
• 제14권7호
• /
• pp.866-871
• /
• 2011

In this paper, an improved method of hand detecting and hand gesture recognition is proposed, it can be applied in different illumination condition and complex background. We use Adaptive Skin Threshold (AST) to detect the areas of hand. Then the result of hand detection is used to hand recognition through the improved HMM algorithm. At last, we design a simple program using the result of hand recognition for recognizing "stone, scissors, cloth" these three kinds of hand gesture. Experimental results had proved that the hand and gesture can be detected and recognized with high average recognition rate (92.41%) and better than some other methods such as syntactical analysis, neural based approach by using our approach.

• 산업기술연구
• /
• 제29권A호
• /
• pp.47-54
• /
• 2009

In this paper, we proposed hand detection and hand gesture recognition from USB camera video. Firstly, we extract hand region extraction using skin color information from a difference images. Background image is initially stored and extracted from the input images in order to reduce problems from complex backgrounds. After that, 16-directional chain code sequence is computed from the tracking of hand motion. These chain code sequences are compared with pre-trained models using DP matching. Our hand gesture recognition system can be used to control PowerPoint slides or applied to multimedia education systems. We got 92% hand region extraction accuracy and 82.5% gesture recognition accuracy, respectively.

• 융합신호처리학회논문지
• /
• 제11권1호
• /
• pp.13-18
• /
• 2010

멀티터치 관련 연구는 전반사 장애 현상(FTIR: Frustrated Total Internal Reflection)의 원리를 기반으로 기존 방법을 이용하여 단지 구현하는 것이 대부분이다. 또한 멀티 터치점(Blob-Points) 검출이나 사용자 제스쳐 인식에 있어서 성능 향상을 위한 소프트웨어적 해법에 관한 연구는 드문 실정이다. 따라서 본 논문에서는 확산 투광(DI: Diffused Illumination) 방식을 기반으로 개선된 터치점 검출과 사용자 제스쳐 인식에 의한 멀티터치 테이블-탑 디스플레이를 구현한다. 제안된 방법은 실행 중인 어플리케이션 내의 객체들을 위한 동시 변형 멀티터치 명령을 지원하며, 제안한 사전 테스팅(Pre-Testing) 방법에 의해서 멀티 터치점 검출 과정에서 시스템 지연 시간의 감소가 가능하다. 구현된 멀티터치 테이블-탑 디스플레이 장치는 OSC(Open Sound Control) 프로토콜을 기반으로 하는 TUIO(Tangib1e User Interface Object) 환경에서 Flash AS3 어플리케이션을 제작하여 시뮬레이션 한 결과 최대 37% 시스템 지연 시간의 감소와 멀티터치 제스쳐 인식에서 성공적인 결과를 보였다.

• 한국지능시스템학회논문지
• /
• 제23권6호
• /
• pp.551-557
• /
• 2013

지능형 로봇 연구 분야에 있어, 손을 이용한 제스처 인식은 매우 중요한 연구 분야로 간주 되고 있으며, 스마트 폰, 스마트 TV 등에 상용화 되어왔다. 제스처 인식에 있어, 강인한 손 검출 기술을 필수적인데, 손의 모양이 일정치 않고, 복잡한 배경이나 조명변화 아래서는 손 검출이 쉽지 않다는 어려움이 있다. 본 논문은 실내 환경에서 사용자가 가리키는 방향을 인식하기 위한 손 검출 알고리즘을 제안한다. 손 검출에 대한 오검출을 최대한 줄이기 위해, 머리-어깨 검출 결과를 기반으로 손 검색 영역을 한정시키고, 피부색을 이용해 최소한의 후보군들을 발생시켜, HOG-SVM을 이용하여 손을 검출하였다. 그리고 머리-어깨, 손 검출 결과를 통해 팔의 방향 각도를 추정하였다. 제안된 방법은 실제 실내 환경에서 추출된 영상을 통해 실험을 진행하였고, 강인한 성능을 확인하였다.