• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2017.11a
• /
• pp.58-59
• /
• 2017

손 제스처는 스마트 글라스 등 웨어러블 기기의 NUI(Natural User Interface)를 구현하기 위한 수단으로 주목받고 있다. 최근 손 제스처 인식에서의 인식률 개선을 위하여 다양한 인식기법이 제안되고 있으며, 딥러닝 기반의 손 제스처 인식 기법 또한 활발히 연구되고 있다. 본 눈문에서는 웨어러블 기기에서의 미디어 소비 등 다양한 응용을 위하여 CNN(Convolutional Neural Network) 기반의 손 제스처 인식 기법을 제시한다. 제시된 기법은 스테레오 영상으로부터 깊이 정보와 색 정보를 이용하여 손 윤곽선을 검출하고, 검출된 손 윤곽선 영상을 데이터 셋으로 구성하여 CNN 에 학습을 시킨 후, 이를 바탕으로 손 윤곽선 영상으로부터 제스처를 인식하는 알고리즘을 제안한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.11a
• /
• pp.33-35
• /
• 2016

손 제스처는 스마트 글라스 등 웨어러블 기기의 NUI(Natural User Interface)를 구현하기 위한 수단으로 각광받고 있다. 최근 MPEG 에서는 IoT(Internet of Things) 및 웨어러블 환경에서의 미디어 소비를 지원하기 위한 IoMTW(Internet of Media-Things and Wearables) 표준화를 진행하고 있다. 본 논문에서는 손 제스처를 웨어러블 기기의 NUI 로 사용하여 웨어러블 기기 제어 및 미디어 소비를 제어하기 위한 손 제스처 검출과 인식 기법를 제시한다. 제시된 기법은 스테레오 영상으로부터 깊이 정보와 색 정보를 이용하여 손 윤곽선을 검출하여 이를 베지어(Bezier) 곡선으로 표현하고, 표현된 손 윤곽선으로부터 손가락 수 등의 특징을 바탕으로 제스처를 인식한다.

• Journal of the Institute of Electronics Engineers of Korea CI
• /
• v.45 no.4
• /
• pp.34-40
• /
• 2008

This paper presents a vision based walking robot control system using hand shape recognition. To recognize hand shapes, the accurate hand boundary needs to be tracked in image obtained from moving camera. For this, we use an active contour model-based tracking approach with mean shift which reduces dependency of the active contour model to location of initial curve. The proposed system is composed of four modules: a hand detector, a hand tracker, a hand shape recognizer and a robot controller. The hand detector detects a skin color region, which has a specific shape, as hand in an image. Then, the hand tracking is performed using an active contour model with mean shift. Thereafter the hand shape recognition is performed using Hue moments. To assess the validity of the proposed system we tested the proposed system to a walking robot, RCB-1. The experimental results show the effectiveness of the proposed system.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.20 no.10
• /
• pp.1967-1972
• /
• 2016

This paper defines a distance graph for a hand region in a depth image and proposes an algorithm detecting finger using it. The distance graph is a graph expressing the hand contour with angles and Euclidean distances between the center of palm and the hand contour. Since the distance graph has local maximum at fingertips' position, we can detect finger points and recognize the number of them. The hand contours are always divided into 360 angles and the angles are aligned with the center of the wrist as a starting point. And then the proposed algorithm can well detect fingers without influence of the size and orientation of the hand. Under some limited recognition test conditions, the recognition test's results show that the recognition rate is 100% under 1~3 fingers and 98% under 4~5 fingers and that the failure case can also be recognized by simple conditions to be available to add.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.06a
• /
• pp.338-339
• /
• 2016

손 제스처는 스마트 글래스 등 웨어러블 기기의 NUI(Natural User Interface)로 부각되고 있으며 이를 위해서는 손 제스처 검출 및 인식 기능이 요구된다. 또한, 최근 MPEG 에서는 IoT(Internet of Thing) 환경에서의 미디어 소비를 위한 표준으로 IoMTW(Media-centric IoT and Wearable) 사전 탐색이 진행되고 있으며, 손 제스처를 표현하기 위한 메타데이터도 하나의 표준 기술요소로 논의되고 있다. 본 논문에서는 스마트 글래스 환경에서의 손 제스처 인식을 위한 과정으로 스테레오 영상을 통한 손 윤곽선 검출과 이를 메타데이터로 서술하기 위하여 베지에(Bezier) 곡선으로 표현하는 기법을 제시한다.

• Journal of Broadcast Engineering
• /
• v.23 no.2
• /
• pp.246-252
• /
• 2018

Hand gestures are attracting attention as a NUI (Natural User Interface) of wearable devices such as smart glasses. Recently, to support efficient media consumption in IoT (Internet of Things) and wearable environments, the standardization of IoMT (Internet of Media Things) is in the progress in MPEG. In IoMT, it is assumed that hand gesture detection and recognition are performed on a separate device, and thus provides an interoperable interface between these modules. Meanwhile, deep learning based hand gesture recognition techniques have been recently actively studied to improve the recognition performance. In this paper, we propose a method of hand gesture recognition based on CNN (Convolutional Neural Network) for various applications such as media consumption in wearable devices which is one of the use cases of IoMT. The proposed method detects hand contour from stereo images acquisitioned by smart glasses using depth information and color information, constructs data sets to learn CNN, and then recognizes gestures from input hand contour images. Experimental results show that the proposed method achieves the average 95% hand gesture recognition rate.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.897-902
• /
• 2007

인간과 컴퓨터간의 전통적인 인터페이스는 인간이 요구하는 다양한 인터페이스를 제공하지 못한다는 점에서 점차 사용하기 불편하게 되었고 이는 새로운 형태의 인터페이스에 대한 요구로 이어지게 되었다. 본 논문에서는 이러한 추세에 맞추어 카메라를 통해 인간의 손 제스처를 인식하는 새로운 인터페이스를 연구하였다. 손은 자유도가 높고 3차원의 view direction에 의해 형상이 매우 심하게 변한다. 따라서 윤곽선 기반방법과 같은 2차원으로 투영된 영상에서 contour나 edge의 정보로 손 제스처를 인식하는 데는 한계가 있다. 그러나 모델기반 방법은 3차원 정보를 이용하기 때문에 손 제스처를 인식하는데 좋으나 계산량이 많아 실시간으로 처리하기가 쉽지 않다. 이러한 문제점을 해결하기 위해 손 형상에 대한 대규모 데이터베이스를 구성하고 정규화된 공간에서 Feature 간의 연관성을 파악하여 훈련 데이터 모델을 구성하여 비교함으로써 실시간으로 손 포즈를 구별할 수 있다. 이러한 통계적 학습 기반의 알고리즘은 다양한 데이터와 좋은 feature의 검출이 최적의 성능을 구현하는 것과 연관된다. 따라서 배경으로부터 노이즈를 최대한 줄이기 위해 피부의 색상 정보를 이용하여 손 후보 영역을 검출하고 검출된 후보 영역으로부터 HLF(Haar-like Feature)를 이용하여 손 영역을 검출한다. 검출된 손 영역으로부터 패턴 분류 과정을 거쳐 손 포즈를 인식 하게 된다. 패턴 분류 과정은 HLF를 이용하여 손 포즈를 인식하게 되는데 미리 학습된 각 포즈에 대한 HLF를 이용하여 손 포즈를 인식하게 된다. HLF는 Violar가 얼굴 검출에 적용한 것으로 얼굴 검출에 좋은 결과를 보여 주었으며, 이는 적분 이미지로부터 추출한 HLF를 이용한 Adaboost 학습 알고리즘을 사용하였다. 본 논문에서는 피부색의 색상 정보를 이용 배경과 손 영상을 최대한 분리하여 배경의 대부분이 Adaboost-Haar Classifier의 첫 번째 스테이지에서 제거되는 방법을 이용하여 그 성능을 더 향상 시켜 손 형상 인식에 적용하였다.

• Journal of Korea Society of Industrial Information Systems
• /
• v.24 no.5
• /
• pp.129-137
• /
• 2019

Ubiquitous computing technology is emerging as information technology advances. In line with this, a number of studies are being carried out to increase device miniaturization and user convenience. Some of the proposed devices are user-friendly and uncomfortable with hand-held operation. To address these inconveniences, this paper proposed a virtual button that could be used in watching television. When watching a video on television, a camera is installed at the top of the TV, using the fact that the user watches the video from the front, so that the camera takes a picture of the top of the head. Extract the background and hand area separately from the filmed image, extract the outline to the extracted hand area, and detect the tip point of the finger. Detection of the end point of the finger produces a virtual button interface at the top of the image being filmed in front, and the button activates when the end point of the detected finger becomes a pointer and is located inside the button.

• Journal of the Korea Society of Computer and Information
• /
• v.18 no.8
• /
• pp.65-75
• /
• 2013

This paper proposes a method of tracking the hand region and detecting the fingertip using only depth images. In order to eliminate the influence of lighting conditions and obtain information quickly and stably, this paper proposes a tracking method that relies only on depth information, as well as a method of using region growing to identify errors that can occur during the tracking process and a method of detecting the fingertip that can be applied for the recognition of various gestures. First, the closest point of approach is identified through the process of transferring the center point in order to locate the tracking point, and the region is grown from that point to detect the hand region and boundary line. Next, the ratio of the invalid boundary, obtained by means of region growing, is used to calculate the validity of the tracking region and thereby judge whether the tracking is normal. If tracking is normal, the contour line is extracted from the detected hand region and the curvature and RANSAC and Convex-Hull are used to detect the fingertip. Lastly, quantitative and qualitative analyses are performed to verify the performance in various situations and prove the efficiency of the proposed algorithm for tracking and detecting the fingertip.

• Journal of the Korea Society of Computer and Information
• /
• v.19 no.11
• /
• pp.63-72
• /
• 2014

In this paper, we propose a sign language recognition system using SVM and depth camera. Especially, we focus on the Korean sign language. For the sign language system, we suggest two methods, one in hand feature extraction stage and the other in recognition stage. Hand features are consisted of the number of fingers, finger length, radius of palm, and direction of the hand. To extract hand features, we use Distance Transform and make hand skeleton. This method is more accurate than a traditional method which uses contours. To recognize hand posture, we develop the decision tree with the hand features. For more accuracy, we use SVM to determine the threshold value in the decision tree. In the experimental results, we show that the suggested method is more accurate and faster when extracting hand features a recognizing hand postures.