• Proceedings of the Korean Information Science Society Conference
• /
• 2004.04b
• /
• pp.775-777
• /
• 2004

본 논문에서는 테트리스 게임을 위한 비젼 기반의 인터페이스를 제안하고 있다 제안된 인터페이스는 카메라로부터 실시간으로 입력되는 연속 영상에서 손의 제스처를 인식하고, 인식된 제스처를 게임의 명령으로 사용한다 테트리스 게임에 필요만 6개의 명령은 손의 자세로 정의되는 세 종류의 정적 제스처와 손의 자세와 움직임으로 정의되는 세 종류의 동적 제스처 정의된다. 손의 자세는 손 영역의 불변 모멘트로 표현하였고, 입력된 손 영역의 자세는 미리 학습된 불변 모멘트 값들과의 거리차이를 비교하여 분류한다. 실험 결과에서 제안된 시스템이 실시간 테트리스 게임의 인터페이스로 적용가능함을 보였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.11a
• /
• pp.1048-1051
• /
• 2020

본 논문에서는 사람의 손에 관한 개별적으로 분리되어 진행되고 있는 손 위치 추정, 손 자세 추정, 손 동작 인식 작업을 통합하는 Faster-RCNN기반의 프레임워크를 제안하였다. 제안된 프레임워크에서는 RGB 동영상을 입력으로 하여, 먼저 손 위치에 대한 박스를 생성하고, 생성된 박스 정보를 기반으로 손 자세와 동작을 인식하도록 한다. 손 위치, 손 자세, 손 동작에 대한 정답을 동시에 모두 가지는 데이터셋이 존재하지 않기 때문에 Egohands, FPHA 데이터를 동시에 효과적으로 사용하는 방안을 제안하였으며 제안된 프레임워크를 FPHA데이터에 평가하였다., 손 위치 추정 정확도는 mAP 90.3을 기록했고, 손 동작 인식은 FPHA의 정답을 사용한 정확도에 근접한 70.6%를 기록하였다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.25 no.10
• /
• pp.1323-1329
• /
• 2021

For hand expression recognition, hand pose recognition based on the static shape of the hand and hand gesture recognition based on the dynamic hand movement are used together. In this paper, we propose a hierarchical hand pose model based on finger position and shape for hand expression recognition. For hand pose recognition, a finger model representing the finger state and a hand pose model using the finger state are hierarchically constructed, which is based on the open source MediaPipe. The finger model is also hierarchically constructed using the bending of one finger and the touch of two fingers. The proposed model can be used for various applications of transmitting information through hands, and its usefulness was verified by applying it to number recognition in sign language. The proposed model is expected to have various applications in the user interface of computers other than sign language recognition.

• Journal of the Korea Society of Computer and Information
• /
• v.17 no.7
• /
• pp.155-166
• /
• 2012

This paper proposes a new method of estimating the hand pose through the Mean-Shift tracking algorithm using the fusion of color and depth information for marker-less augmented reality. On marker-less augmented reality, the most of previous studies detect the hand region using the skin color from simple experimental background. Because finger features should be detected on the hand, the hand pose that can be measured from cameras is restricted considerably. However, the proposed method can easily detect the hand pose from complex background through the new Mean-Shift tracking method using the fusion of the color and depth information from 3D sensor. The proposed method of estimating the hand pose uses the gravity point and two random points on the hand without largely constraints. The proposed Mean-Shift tracking method has about 50 pixels error less than general tracking method just using color value. The augmented reality experiment of the proposed method shows results of its performance being as good as marker based one on the complex background.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.07a
• /
• pp.31-34
• /
• 2022

본 논문에서는 손목 부착형 웨어러블(Wearable) RGB 카메라를 통해 취득한 손 이미지에 최적화된 손 자세 추정모델과 학습방법을 제안한다. 최근 의료분야에서 활발하게 인공지능이 사용되고 있으며 그 중 이미지 인식을 중심으로 하는 진단 분야[1]가 괄목할만한 성과를 보인다. 본 연구에서는 웨어러블 카메라를 통해 얻은 손 자세를 활용하여 질병 진단에 적용할 계획이다. 또한, 본 연구수행을 통해 질병진단에 필요한 데이터 측정비용 절감 및 개인 맞춤형 진단서비스를 제공할 것으로 기대된다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.23 no.12
• /
• pp.1528-1534
• /
• 2019

Recently, due to the popularization of 3D depth cameras, new researches and opportunities have been made in research conducted on RGB images, but estimation of human hand pose is still classified as one of the difficult topics. In this paper, we propose a robust estimation method of human hand pose from various input 3D depth images using a learning algorithm. The proposed approach first generates a skeleton-based hand model and then aligns the generated hand model with three-dimensional point cloud data. Then, using a random forest-based learning algorithm, the hand pose is strongly estimated from the aligned hand model. Experimental results in this paper show that the proposed hierarchical approach makes robust and fast estimation of human hand posture from input depth images captured in various indoor and outdoor environments.

• Proceedings of the ESK Conference
• /
• 1997.10a
• /
• pp.23-30
• /
• 1997

근골격계 질환은 부적절한 작업 자세, 중량물의 무리한 취급, 과도한 작업 부하 등과 같은 작업 환경 에서 기인한다. 현장의 대부분의 공구사용작업에 있어서, 쪼그려앉아서 작업하는 경우가 매우 빈번하게 발생한다. 본 연구에서는 쪼그려 앉은자세에서 사용하는 공구를 설계하는데 필요 요소인 악력의 최대치 를 조사하는 것을 목적으로 한다. 23세-29세의 남자 8명을 피실험자로 실험하였다. 실험모델로는 쪼그려 앉기에서 1) 0 .deg. 외전된 어깨와 정위치의 손목에서 어깨 굴곡이 180 .deg. , 135 .deg., 90 .deg. 와 45 .deg. 의 조합된 자세에서의 악력, 2) 0 .deg. 외전된 어깨와 정위치의 손목에서 팔꿈치 굴곡이 135 .deg. , 90 .deg. 와 45 .deg. 조합된 자세에서의 악력을 조사하였다. 조사결과 쪼그려 앉은 자세에서 어깨굴곡이 45 .deg. 인 자세에서 최대의 악력이 발휘되는 것으로 나타났으며, 인체부위 중에서 손너비, 손목둘레, 팔길이, 손두께, 팔꿈치-손목까지의 길이 등이 쪼그려 앉은자세와 깊은 상관관계가 있는 것으로 나타났다.

• Journal of Broadcast Engineering
• /
• v.19 no.1
• /
• pp.83-95
• /
• 2014

Hand posture recognition is an important technique to enable a natural and familiar interface in HCI(human computer interaction) field. In this paper, we introduce a hand posture recognition method by using a depth camera. Moreover, the hand posture recognition method is incorporated with MPEG-U based advanced user interaction (AUI) interface system, which can provide a natural interface with a variety of devices. The proposed method initially detects positions and lengths of all fingers opened and then it recognizes hand posture from pose of one or two hands and the number of fingers folded when user takes a gesture representing a pattern of AUI data format specified in the MPEG-U part 2. The AUI interface system represents user's hand posture as compliant MPEG-U schema structure. Experimental results show performance of the hand posture recognition and it is verified that the AUI interface system is compatible with the MPEG-U standard.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.25 no.12
• /
• pp.1770-1776
• /
• 2021

For hand expression recognition, hand pose recognition based on the static shape of the hand and hand gesture recognition based on hand movement are used together. In this paper, we proposed a hand expression recognition method that recognizes symbols based on the trajectory of a hand movement on a virtual blackboard. In order to recognize a sign drawn by hand on a virtual blackboard, not only a method of recognizing a sign from a hand movement, but also hand pose recognition for finding the start and end of data input is also required. In this paper, MediaPipe was used to recognize hand pose, and LSTM(Long Short Term Memory), a type of recurrent neural network, was used to recognize hand gesture from time series data. To verify the effectiveness of the proposed method, it was applied to the recognition of numbers written on a virtual blackboard, and a recognition rate of about 94% was obtained.

• Journal of the Korea Computer Graphics Society
• /
• v.11 no.3
• /
• pp.1-9
• /
• 2005

본 논문에서는 피부 변형 방법의 일종으로 스플라인 곡선과 곡면을 이용한 손 형상의 모델링 및 변형 기술을 소개하다. 손 형상의 골격 구조를 근사하는 스윕에 손 형상 메쉬 정점들을 바인딩 하여 관절의 변화에 따라 변형된 손 형상을 얻고, 손 자세 변형에 따라 손바닥 형상이 돌출되고 손금이 생기는 등 기존 연구에서 부족했던 손바닥 형상 변형의 사실성을 얻기 위해 손바닥 형상 변형을 제어하는 넙스 곡면을 생성하고 이용하였다. 손바닥 표면의 정 점들을 보간하여 생성된 넙스 곡면은 사실적인 손바닥 변형을 위해 소수의 보간 점들만 미리 정의된 방법으로 변경하면 되기 때문에 사용하기가 용이하다. 손금은 손바닥 곡면에 대한 차이 값으로 구현되어 손형상 자세에 부합하게 변형되며, 사람에 따라 다른 다양한 손금 형태를 지원할 수 있다. 연구 결과는 사실적인 형상 변형 결과를 보였으며, 실시간 실행이 가능하다.