• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권8호
• /
• pp.3136-3150
• /
• 2015

A vision-based 3D tracking of articulated human hand is one of the major issues in the applications of human computer interactions and understanding the control of robot hand. This paper presents an improved approach for tracking and recovering the 3D position and orientation of a human hand using the Kinect sensor. The basic idea of the proposed method is to solve an optimization problem that minimizes the discrepancy in 3D shape between an actual hand observed by Kinect and a hypothesized 3D hand model. Since each of the 3D hand pose has 23 degrees of freedom, the hand articulation tracking needs computational excessive burden in minimizing the 3D shape discrepancy between an observed hand and a 3D hand model. For this, we first created a 3D hand model which represents the hand with 17 different parts. Secondly, Random Forest classifier was trained on the synthetic depth images generated by animating the developed 3D hand model, which was then used for Haar-like feature-based classification rather than performing per-pixel classification. Classification results were used for estimating the joint positions for the hand skeleton. Through the experiment, we were able to prove that the proposed method showed improvement rates in hand part recognition and a performance of 20-30 fps. The results confirmed its practical use in classifying hand area and successfully tracked and recovered the 3D hand pose in a real time fashion.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.324-329
• /
• 2009

Proactive computing의 핵심 기술인 손동작 인식 (Hand Motion Recognition, HMR) 기술은 인간과 컴퓨터 사이의 상호작용(Human Computer Interaction, HCI) 분야에서 많은 연구가 진행되고 있다. 본 연구에서는 3축 가속도 센서를 부착한 data glove를 제작하고, 3차원 손 모델을 구현한 후, 이를 이용한 손동작 인식 기술을 개발하였다. Data glove는 가상현실에 대한 입력 장치로써 본 논문에서는 3축 가속도 센서를 사용하여 획득된 신호를 wireless communication으로 PC에 전송할 수 있도록 구현하였다. 손 모델링은 ellipsoid를 이용한 kinematic chain 이론 바탕의 3차원 손 모델을 구현하였으며, data glove에서 얻어진 가속도 정보에 rule 기반의 알고리즘을 적용하여 구현된 3차원 손 모델을 통하여 간단한 손동작(가위, 바위, 보)을 인식하였다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2007년도 심포지엄 논문집 정보 및 제어부문
• /
• pp.219-221
• /
• 2007

Recent changes to ubiquitous computing requires more natural human-computer(HCI) interfaces that provide high information accessibility. Hand-gesture, i.e., gestures performed by one 'or two hands, is emerging as a viable technology to complement or replace conventional HCI technology. This paper deals with hand-posture recognition. Hand-posture database construction is important in hand-posture recognition. Human hand is composed of 27 bones and the movement of each joint is modeled by 23 degrees of freedom. Even for the same hand-posture,. grabbed images may differ depending on user's characteristic and relative position between the hand and cameras. To solve the difficulty in defining hand-postures and construct database effective in size, we present a method using a 3D hand model. Hand joint angles for each hand-posture and corresponding silhouette images from many viewpoints by projecting the model into image planes are used to construct the ?database. The proposed method does not require additional equations to define movement constraints of each joint. Also using the method, it is easy to get images of one hand-posture from many vi.ewpoints and distances. Hence it is possible to construct database more precisely and concretely. The validity of the method is evaluated by applying it to the hand-posture recognition system.

• 대한인간공학회:학술대회논문집
• /
• 대한인간공학회 1997년도 추계학술대회논문집
• /
• pp.393-397
• /
• 1997

본 연구에서는 손동작(Hand Motion)과 수작업(Manual Task) 분석에 VR환경에서 사용되는 각도 측정 장갑(3-D Glove)을 이용하는 방법을 제안하였다. 본 연구에서 개발된 손동작(Hand Motion)과 수작업(Manual Task)의 분석 시스템은 18-sensor $Cyberglove^{TM}$정 시스템으로부터 측정된 angle data를 기초로 손동작이나 수작업에 대한 totalmuscle moment값과 total muscle excursion값을 구하고, digit와 joint의 moment값을 X,Y.Z방향별고 구하는 기능을 가지고 있다. 시스템의 구성은 : (1) $Cyberglove^{TM}$ System과 분석 시스템의 digital data 처리를 기반으로 하는 손동작의 측정 시스템 ; (2) $Cyberglove^{TM}$ System에서 얻어진 자료를 바탕으로 3차원 공간에서 손동작을 표현할 수 있는 Kinematic Hand Model ; (3) Hand Model과 $Cyberglove^{TM}$ Systme을 기반으로 3차원에서 손동작의 역학적 분석을 할 수 있는 3-D Hand Biomechanical Model ; 등으로 되어있다. 본 시스템은 Telerobotics, Medicine, Virtual Reality 등 다양한 분야에 응용이 가능하며, 수작업에 관련되는 Product Design, Manual Control Device, Computer I/O Device의 설계에도 도움이 될 것으로 기대된다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제35권12호
• /
• pp.780-788
• /
• 2008

손 포즈 모델링 및 추적은 컴퓨터 시각 분야에서 어려운 문제로 알려져 있다. 손 포즈 3차원 복원을 위한 방법에는 사용되는 카메라의 수에 따라 다중 카메라 또는 스테레오 카메라 기반 방식과 단일카메라 기반 방식이 있다. 다중 카메라의 경우 여러 대의 카메라를 설치하거나 동기화를 시키는 등에 대한 제약사항이 따른다. 본 논문에서는 확률 그래프 모델에서 신뢰 전파 (Belief Propagation) 알고리즘을 이용하여 단안 카메라에서 획득된 2차원 입력 영상으로부터 3차원 손 포즈를 추정하는 방법을 제안한다. 또한, 은닉 마르코프 모델(Hidden Markov Model)을 인식기로 하여 손가락 클릭 동작을 인식한다. 은닉 노드로 손가락의 관절 정보를 표현하고, 2차원 입력 영상에서 추출된 특징을 관측 노드로 표현한 확률 그래프 모델을 정의한다. 3차원 손 포즈 추적을 위해 그래프 모델에서의 신뢰 전파 알고리즘을 이용한다. 신뢰 전파 알고리즘을 통해 3차원 손 포즈를 추정 및 복원하고, 복원된 포즈로부터 손가락의 움직임에 대한 특징을 추출한다. 추출된 정보는 은닉 마르코프 모델의 입력값이 된다. 손가락의 자연스러운 동작을 위해 본 논문에서는 한 손가락의 클릭 동작 인식에 여러 손가락의 움직임을 함께 고려한다. 제안한 방법을 가상 키패드 시스템에 적응한 결과 300개의 동영상 테스트 데이타에 대해 94.66%의 높은 인식률을 보였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권9호
• /
• pp.3924-3940
• /
• 2020

Dynamic hand gesture recognition(d-HGR) plays an important role in human-computer interaction(HCI) system. With the growth of hand-pose estimation as well as 3D depth sensors, depth, and the hand-skeleton dataset is proposed to bring much research in depth and 3D hand skeleton approaches. However, it is still a challenging problem due to the low resolution, higher complexity, and self-occlusion. In this paper, we propose a hand-shape feature extraction(HSFE) network to produce robust hand-shapes. We build a hand-shape model, and hand-skeleton based on LSTM to exploit the temporal information from hand-shape and motion changes. Fusion between two models brings the best accuracy in dynamic hand gesture (DHG) dataset.

• 한국의류학회지
• /
• 제48권2호
• /
• pp.312-327
• /
• 2024

In this study, a rehabilitation 3D printed wearable device was developed by combining an assembly-type robot hand and an integral-type robot hand through fused deposition 3D printing manufacturing with various hardness TPU (Thermoplastic Polyurethane) filaments. The hardware configuration of the robot hand includes a controller designed with four motors, one small servo motor, and a circuit board. In the case of the assembly-type robot hand model, a 3D printed robot hand was assembled using samples printed with TPU of hardness 87A and 95A. It was observed that TPU with a hardness of 95A was suitable for use due to shape stability. For the integrated-type robot hand model, the external sample using TPU of hardness 95A could be modified through a cutting method, and the hardware configuration is the same as the assembly-type. The system structure of the 3D printed robot hand was improved from an individual control method to a simultaneous transmission method.Furthermore, the system architecture of an integrated 3D printed robotic hand rehabilitation device and the application of the rehabilitation device were developed.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제37권1호
• /
• pp.80-84
• /
• 2010

손 추적 기술은 인간과 기계와의 효율적인 의사소통을 위한 손동작 인식 기술의 핵심 기반 기술이다. 최근의 손 추적 연구는 3차원 손 모델을 이용한 연구 방향에 초점을 맞추고 있고, 기존의 2차원 손 모델을 이용한 방법보다 강인한 추적 성능을 보이고 있다. 본 논문에서는 결합된 파티클 필터에 기반한 새로운 3차원 손 추적 방법을 제안한다. 이는 전역적 손 형상과 지역적 손가락 움직임을 분리하여 추정하고, 각각의 추정 결과를 서로의 사전 정보로 이용하여 기존의 방법보다 빠르고 강인한 추적을 가능하게 한다. 또한, 추적 성능 향상을 위해 색상과 에지를 함께 고려한 다중 증거 결합 방법을 적용한다. 실험결과, 제안하는 방법은 복잡한 배경이나 동작에서도 강인한 추적 결과를 보였다.

• 한국멀티미디어학회논문지
• /
• 제22권4호
• /
• pp.424-431
• /
• 2019

In this paper, we propose a real-time hand gesture recognition algorithm to eliminate the inconvenience of using hand controllers in VR applications. The user's 3D hand coordinate information is detected by leap motion sensor and then the coordinates are generated into two dimensional image. We classify hand gestures in real-time by learning the imaged 3D hand coordinate information through SSD(Single Shot multibox Detector) model which is one of CNN(Convolutional Neural Networks) models. We propose to use all 3 channels rather than only one channel. A sliding window technique is also proposed to recognize the gesture in real time when the user actually makes a gesture. An experiment was conducted to measure the recognition rate and learning performance of the proposed model. Our proposed model showed 99.88% recognition accuracy and showed higher usability than the existing algorithm.

• 정보처리학회논문지B
• /
• 제17B권4호
• /
• pp.287-294
• /
• 2010

TOF(Time of Flight) 기술은 물체의 3차원 깊이 정보 추출을 가능케 하는 기술 중의 하나이다. 하지만, TOF의 카메라의 출력인 깊이 영상을 이용한 물체의 3차원 위치 추출은 몸이나 손 등 크기가 큰 물체의 경우에는 비교적 신뢰성 있는 결과를 얻을 수 있는데 비하여 크기가 작은 손 끝의 경우에는 신뢰할 수 있는 값을 얻기 힘들다. 본 논문에서는 TOF 카메라에서 육면체 손 모델을 이용하여 수정된 손의 영상에서의 위치 정보와 팔 모델을 이용하여 손 끝의 3차원 좌표를 추정한다. 제안된 방법으로 실험을 한 결과 TOF 카메라의 깊이 영상만을 사용하여 인식한 손 끝의 3차원 위치정보와 비교하여 훨씬 더 향상된 결과를 얻을 수 있었다.