• 대한산업공학회지
• /
• 제41권5호
• /
• pp.461-469
• /
• 2015

The aim of this study is to find out the user's needs of a 3D hand gesture interface in the smart home environment. To find out the users' needs, we investigated which object the users want to use with a 3D hand gesture interface and why they want to use a 3D hand gesture interface. 3D hand gesture interfaces are studied to be applied to various devices in the smart environment. 3D hand gesture interfaces enable the users to control the smart environment with natural and intuitive hand gestures. With these advantages, finding out the user's needs of a 3D hand gesture interface would improve the user experience of a product. This study was conducted using a diary method to find out the user's needs with 20 participants. They wrote the needs of a 3D hand gesture interface during one week filling in the forms of a diary. The form of the diary is comprised of who, when, where, what and how to use a 3D hand gesture interface with each consisting of a usefulness score. A total of 322 data (209 normal data and 113 error data) were collected from users. There were some common objects which the users wanted to control with a 3D hand gesture interface and reasons why they want to use a 3D hand gesture interface. Among them, the users wanted to use a 3D hand gesture interface mostly to control the light, and to use a 3D hand gesture interface mostly to overcome hand restrictions. The results of this study would help develop effective and efficient studies of a 3D hand gesture interface giving valuable insights for the researchers and designers. In addition, this could be used for creating guidelines for 3D hand gesture interfaces.

• 한국정보통신학회논문지
• /
• 제10권4호
• /
• pp.674-679
• /
• 2006

본 논문에서는 3차원 손 특징 데이터를 이용한 동작 인식 시스템을 제안하고자 한다. 제안된 시스템은 3차원 센서에 의해 조밀한 범위의 영상을 생성하여 손 동작에 대한 3차원 특징을 추출하여 손 동작을 분류한다. 또한 다양한 조명과 배경하에서의 손을 견실하게 분할하고 색상 정보와 상관이 없어 수화와 같은 복잡한 손 동작에 대해서도 견실한 인식능력을 나타낼 수가 있다. 제안된 방법의 전체적인 순서는 3차원 영상 획득, 팔 분할, 손과 팔목 분할, 손 자세 추정, 3차원 특징 추출, 그리고 동작 분류로 구성되어 있고, 수화 자세에 대한 인식 실험으로 제안된 시스템의 효율성을 입증하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권9호
• /
• pp.3924-3940
• /
• 2020

Dynamic hand gesture recognition(d-HGR) plays an important role in human-computer interaction(HCI) system. With the growth of hand-pose estimation as well as 3D depth sensors, depth, and the hand-skeleton dataset is proposed to bring much research in depth and 3D hand skeleton approaches. However, it is still a challenging problem due to the low resolution, higher complexity, and self-occlusion. In this paper, we propose a hand-shape feature extraction(HSFE) network to produce robust hand-shapes. We build a hand-shape model, and hand-skeleton based on LSTM to exploit the temporal information from hand-shape and motion changes. Fusion between two models brings the best accuracy in dynamic hand gesture (DHG) dataset.

• 한국인터넷방송통신학회논문지
• /
• 제16권4호
• /
• pp.117-123
• /
• 2016

본 논문에서는 사용자의 손가락 제스쳐를 인식하여 증강현실(Augmented Reality) 환경에서 3D 객체를 조작하기 위한 핸드-제스쳐 인터페이스를 구현한다. 구현된 핸드-제스쳐 인터페이스는 입력된 실 영상으로부터 손 영역을 추출하고, 사용자의 핸드 제스쳐에 의한 핸드 마커에 의해서 증강 객체를 생성한다. 그리고 사용자 제스쳐에 상응하는 3D 객체 조작은 손 영역의 면적 비율, 손가락 개수, 손 영역 중심점의 변화 등의 상관 관계를 분석하여 수행한다. 구현된 증강현실 3D 객체 조작 인터페이스의 성능 평가를 위해서는 OpenGL로 3D 객체를 제작하고, OpenCV 라이브러리를 기반으로 C++언어를 사용하여 핸드 마커 및 제스쳐 인식의 모든 처리 과정을 구현하였다. 그 결과, 각 사용자 핸드-제스쳐 명령-모드별 평균 인식률이 90%이상으로 성공적인 인터페이스 기능을 보였다.

• 스마트미디어저널
• /
• 제9권1호
• /
• pp.23-29
• /
• 2020

This paper presents an approach for dynamic hand gesture recognition by using algorithm based on 3D Convolutional Neural Network (3D_CNN), which is later extended to 3D Residual Networks (3D_ResNet), and the neural network based key frame selection. Typically, 3D deep neural network is used to classify gestures from the input of image frames, randomly sampled from a video data. In this work, to improve the classification performance, we employ key frames which represent the overall video, as the input of the classification network. The key frames are extracted by SegNet instead of conventional clustering algorithms for video summarization (VSUMM) which require heavy computation. By using a deep neural network, key frame selection can be performed in a real-time system. Experiments are conducted using 3D convolutional kernels such as 3D_CNN, Inflated 3D_CNN (I3D) and 3D_ResNet for gesture classification. Our algorithm achieved up to 97.8% of classification accuracy on the Cambridge gesture dataset. The experimental results show that the proposed approach is efficient and outperforms existing methods.

• 한국게임학회 논문지
• /
• 제17권6호
• /
• pp.113-120
• /
• 2017

최근 가상현실 기술의 발전으로 가상의 3D 객체와 자연스러운 상호작용이 가능하도록 하는 사용자 친화적인 손 제스처 인터페이스에 대한 연구가 활발히 진행되고 있다. 그러나 대부분의 연구는 단순하고 적은 종류의 손 제스처만 지원되고 있는 실정이다. 본 논문은 가상환경에서 3D 객체와 보다 직관적인 방식의 손 제스처 인터페이스 방법을 제안한다. 손 제스처 인식을 위하여 먼저 전처리 과정을 거친 다양한 손 데이터를 이진 결정트리로 1차 분류를 한다. 분류된 데이터는 리샘플링을 한 다음 체인코드를 생성하고 이에 대한 히스토그램으로 특징 데이터를 구성한다. 이를 기반으로 학습된 MCSVM을 통해 2차 분류를 수행하여 제스처를 인식한다. 본 방법의 검증을 위하여 3D 블록을 손 제스처를 통하여 조작하는 'Virtual Block'이라는 게임을 구현하여 실험한 결과 16개의 제스처에 대해 99.2%의 인식률을 보였으며 기존의 인터페이스보다 직관적이고 사용자 친화적임을 알 수 있었다.

• 한국산학기술학회논문지
• /
• 제14권10호
• /
• pp.5169-5175
• /
• 2013

본 논문에서는 삼차원 핸드 제스쳐 디자인 및 모델링을 위한 프레임워크를 기술한다. 동작 인식, 평가, 등록을 지원하기위해 동적시간정합(Dynamic Time Warping, 이하 DTW)과 은닉마코브모델 (Hidden Markov Mode, 이하 HMM)을 활용 하였다. HMM은 제스쳐 인식에 활용되며 또한 제스쳐 디자인과 등록 과정에 활용된다. DTW은 HMM 훈련 데이터가 부족한 경우 제스쳐 인식에 활용되고, 수행된 동작이 기준 동작의 차이를 평가하는 데에 활용된다. 동작 움직임에 나타나는 위치 정보와 관성 정보를 모두 획득하기 위해 바디센서와 시각센서를 혼합하여 동작을 감지하였다. 18개의 예제 손동작을 디자인하고 다양한 상황에서 제안된 기법을 테스트하였다. 또한 제스쳐 수행시 나타나는 사용자간 다양성에 대해 토론한다.

• Journal of Information Processing Systems
• /
• 제6권3호
• /
• pp.347-358
• /
• 2010

This paper presents a measurement system for 3D hand-drawn gesture motion. Many pen-type input devices with Inertial Measurement Units (IMU) have been developed to estimate 3D hand-drawn gesture using the measured acceleration and/or the angular velocity of the device. The crucial procedure in developing these devices is to measure and to analyze their motion or trajectory. In order to verify the trajectory estimated by an IMU-based input device, it is necessary to compare the estimated trajectory to the real trajectory. For measuring the real trajectory of the pen-type device, a PHANToMTM haptic device is utilized because it allows us to measure the 3D motion of the object in real-time. Even though the PHANToMTM measures the position of the hand gesture well, poor initialization may produce a large amount of error. Therefore, this paper proposes a calibration method which can minimize measurement errors.

• 한국멀티미디어학회논문지
• /
• 제22권4호
• /
• pp.424-431
• /
• 2019

In this paper, we propose a real-time hand gesture recognition algorithm to eliminate the inconvenience of using hand controllers in VR applications. The user's 3D hand coordinate information is detected by leap motion sensor and then the coordinates are generated into two dimensional image. We classify hand gestures in real-time by learning the imaged 3D hand coordinate information through SSD(Single Shot multibox Detector) model which is one of CNN(Convolutional Neural Networks) models. We propose to use all 3 channels rather than only one channel. A sliding window technique is also proposed to recognize the gesture in real time when the user actually makes a gesture. An experiment was conducted to measure the recognition rate and learning performance of the proposed model. Our proposed model showed 99.88% recognition accuracy and showed higher usability than the existing algorithm.

• 아시아태평양융합연구교류논문지
• /
• 제4권2호
• /
• pp.1-12
• /
• 2018

Nowadays, the advent of smart devices equipped with the latest input technologies has changed the way users interact with smart devices. The gesture based user interface, as the natural user interface technologies, has attracted a lot of attention from researchers and developers. Gestures can be constituted in different ways; touching a screen, moving a pointing device, or making hand or body movements in a three-dimensional (3D) space. The various gesture input devices make application developers to maintain multiple source code families for the same applications adapting different gesture input devices. In this paper, we defined the gesture interface markup language (GIML) based on extensible markup language (XML) to describe gestures independently of the input devices. It also provides constraints necessary to determine which gesture has occurred and information required when UGesture platform interact with the gesture based application. The proposed GIML is based on our previous implemented the UGesture platform and the evaluation results, and so the GIML can be used to define new gestures for the UGesture platform and support new input hardwares.