• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.696-700
• /
• 2009

테이블탑 인터페이스 환경에서는 기존의 데스크탑 환경에서 보다 손쉽고 자연스러운 인터렉션이 가능하기 때문에 다양한 어플리케이션들이 개발되고 있다. 특히, 테이블탑 인터페이스 환경은 사용자가 조작하는 공간과 디스플레이 공간이 동일하기 때문에 제스처 인터렉션과 같이 사용자가 보다 자연스럽게 인터렉션을 할 수 있는 공간을 제공한다. 하지만, 인터페이스 환경의 변화에도 불구하고 대부분의 어플리케이션에 활용되는 인터렉션 방법은 데스크탑 환경과 마찬가지로 시스템이 정의한 입력형태(제스처)와 그에 따른 시스템의 출력(기능) 간의 관계(규칙)를 숙지해야 한다는 점에서 기존 데스크탑 환경의 인터렉션 방법과 크게 다르지 않다. 본 연구는 테이블탑 인터페이스 환경에서 사용자가 실제 환경에서 물체를 조작하는 것과 같이 미리 정해지지 않은 실생활의 제스처들을 통해 자연스럽게 인터렉션을 할 수 있도록 하는 프레임워크와 이를 위한 지식모델를 제시한다. 사용자 제스처를 이해하기 위한 지식모델은 제스처의 특징들과 제스처에 대해 시스템이 어떻게 반응해야 하는지에 관한 지식들을 패턴을 활용하여 표현한다. 이를 통해 사용자는 인터렉션 규칙을 숙지해야 하는 부담을 줄일 수 있으며, 보다 다양한 제스처 인터렉션을 수행할 수 있다.

• 대한인간공학회지
• /
• 제31권4호
• /
• pp.507-513
• /
• 2012

Objective: This study developed a hierarchy of conditions of applications(devices), situations and functions which are applicable to gesture interface. Background: Gesture interface is one of the promising interfaces for our natural and intuitive interaction with intelligent machines and environments. Although there were many studies related to developing new gesture-based devices and gesture interfaces, it was little known which applications, situations and functions are applicable to gesture interface. Method: This study searched about 120 papers relevant to designing and applying gesture interfaces and vocabulary to find the gesture applicable conditions of applications, situations and functions. The conditions which were extracted from 16 closely-related papers were rearranged, and a hierarchy of them was developed to evaluate the applicability of applications, situations and functions to gesture interface. Results: This study summarized 10, 10 and 6 conditions of applications, situations and functions, respectively. In addition, the gesture applicable condition hierarchy of applications, situation and functions were developed based on the semantic similarity, ordering and serial or parallel relationship among them. Conclusion: This study collected gesture applicable conditions of application, situation and functions, and a hierarchy of them was developed to evaluate the applicability of gesture interface. Application: The gesture applicable conditions and hierarchy can be used in developing a framework and detailed criteria to evaluate applicability of applications situations and functions. Moreover, it can enable for designers of gesture interface and vocabulary to determine applications, situations and functions which are applicable to gesture interface.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권9호
• /
• pp.3924-3940
• /
• 2020

Dynamic hand gesture recognition(d-HGR) plays an important role in human-computer interaction(HCI) system. With the growth of hand-pose estimation as well as 3D depth sensors, depth, and the hand-skeleton dataset is proposed to bring much research in depth and 3D hand skeleton approaches. However, it is still a challenging problem due to the low resolution, higher complexity, and self-occlusion. In this paper, we propose a hand-shape feature extraction(HSFE) network to produce robust hand-shapes. We build a hand-shape model, and hand-skeleton based on LSTM to exploit the temporal information from hand-shape and motion changes. Fusion between two models brings the best accuracy in dynamic hand gesture (DHG) dataset.

• 지능정보연구
• /
• 제17권1호
• /
• pp.53-69
• /
• 2011

로봇 자체 또는 로봇에 탑재된 콘텐츠와의 상호작용을 위해 일반적으로 영상 또는 음성 인식 기술이 사용된다. 그러나 영상 음성인식 기술은 아직까지 기술 및 환경 측면에서 해결해야 할 어려움이 존재하며, 실적용을 위해서는 사용자의 협조가 필요한 경우가 많다. 이로 인해 로봇과의 상호작용은 터치스크린 인터페이스를 중심으로 개발되고 있다. 향후 로봇 서비스의 확대 및 다양화를 위해서는 이들 영상 음성 중심의 기존 기술 외에 상호보완적으로 활용이 가능한 인터페이스 기술의 개발이 필요하다. 본 논문에서는 로봇 인터페이스 활용을 위한 가속도 센서 기반의 제스처 인식 기술의 개발에 대해 소개한다. 본 논문에서는 비교적 어려운 문제인 26개의 영문 알파벳 인식을 기준으로 성능을 평가하고 개발된 기술이 로봇에 적용된 사례를 제시하였다. 향후 가속도 센서가 포함된 다양한 장치들이 개발되고 이들이 로봇의 인터페이스로 사용될 때 현재 터치스크린 중심으로 된 로봇의 인터페이스 및 콘텐츠가 다양한 형태로 확장이 가능할 것으로 기대한다.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제15권3호
• /
• pp.186-191
• /
• 2015

Hand gesture is the most common tool used to interact with and control various electronic devices. In this paper, we propose a novel hand gesture recognition method using fuzzy logic based classification with a new type of sensor array. In some cases, feature patterns of hand gesture signals cannot be uniquely distinguished and recognized when people perform the same gesture in different ways. Moreover, differences in the hand shape and skeletal articulation of the arm influence to the process. Manifold features were extracted, and efficient features, which make gestures distinguishable, were selected. However, there exist similar feature patterns across different hand gestures, and fuzzy logic is applied to classify them. Fuzzy rules are defined based on the many feature patterns of the input signal. An adaptive neural fuzzy inference system was used to generate fuzzy rules automatically for classifying hand gestures using low number of feature patterns as input. In addition, emotion expression was conducted after the hand gesture recognition for resultant human-robot interaction. Our proposed method was tested with many hand gesture datasets and validated with different evaluation metrics. Experimental results show that our method detects more hand gestures as compared to the other existing methods with robust hand gesture recognition and corresponding emotion expressions, in real time.

• 한국정보전자통신기술학회논문지
• /
• 제2권2호
• /
• pp.51-56
• /
• 2009

본 논문에서는 카메라-투영 시스템에서 비전에 기반을 둔 손동작 인식을 위한 새로운 알고리즘을 제안하고 있다. 제안된 인식방법은 정적인 손동작 분류를 위하여 푸리에 변환을 사용하였다. 손 분할은 개선된 배경 제거 방법을 사용하였다. 대부분의 인식방법들이 같은 피검자에 의해 학습과 실험이 이루어지고 상호작용에 이전에 학습단계가 필요하다. 그러나 학습되지 않은 다양한 상황에 대해서도 상호작용을 위해 동작 인식이 요구된다. 그러므로 본 논문에서는 인식 작업 중에 검출된 불완전한 동작들을 정정하여 적용하였다. 그 결과 사용자와 독립되게 동작을 인식함으로써 새로운 사용자에게 신속하게 온라인 적용이 가능하였다.

• 한국정보통신학회논문지
• /
• 제11권7호
• /
• pp.1348-1353
• /
• 2007

본 논문에서는 카메라-투영 시스템에서 비전에 기반을 둔 손동작 인식을 위한 새로운 알고리즘을 제안하고 있다. 제안된 인식방법은 정적인 손동작 분류를 위하여 푸리에 변환을 사용하였다. 손 분할은 개선된 배경 제거 방법을 사용하였다. 대부분의 인식방법들이 같은 피검자에 의해 학습과 실험이 이루어지고 상호작용에 이전에 학습단계가 필요하다. 그러나 학습되지 않은 다양한 상황에 대해서도 상호작용을 위해 동작 인식이 요구된다. 그러므로 본 논문에서는 인식 작업 중에 검출된 불완전한 동작들을 정정하여 적용하였다. 그 결과 사용자와 독립되게 동작을 인식함으로써 새로운 사용자에게 신속하게 온라인 적용이 가능하였다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2002년도 하계종합학술대회 논문집(3)
• /
• pp.13-16
• /
• 2002

This paper proposes a method to track hand gesture and to recognize the gesture pattern using Kalman filter and continuous dynamic programming (CDP). The positions of hands are predicted by Kalman filter, and corresponding pixels to the hands are extracted by skin color filter. The center of gravity of the hands is the same as the input pattern vector. The input gesture is then recognized by matching with the reference gesture patterns using CDP. From experimental results to recognize circle shape gesture and intention gestures such as “Come on” and “Bye-bye”, we show the proposed method is feasible to the hand gesture-based human -computer interaction.

• 한국지능시스템학회논문지
• /
• 제16권5호
• /
• pp.587-593
• /
• 2006

영상을 통한 감정 인식 기술은 사회의 여러 분야에서 필요성이 대두되고 있음에도 불구하고 인식 과정의 어려움으로 인해 풀리지 않는 문제로 남아 있다. 인간의 움직임을 이용한 감정 인식 기술은 많은 응용이 가능하기 때문에 개발의 필요성이 증대되고 있다. 영상을 통해 감정을 인식하는 시스템은 매우 다양한 기법들이 사용되는 복합적인 시스템이다. 따라서 이를 설계하기 위해서는 영상에서의 움직임 추출, 특징 벡터 추출 및 패턴 인식 등 다양한 기법의 연구가 필요하다. 본 논문에는 이전에 연구된 움직임 추출 방법들을 바탕으로 한 새로운 감정 인식 시스템을 제안한다. 제안된 시스템은 은닉 마르코프 모델을 통해 동정된 분류기를 이용하여 감정을 인식한다. 제안된 시스템의 성능을 평가하기 위해 평가데이터 베이스가 구축되었으며, 이를 통해 제안된 감정 인식 시스템의 성능을 확인하였다.

• 한국CDE학회논문집
• /
• 제21권1호
• /
• pp.20-30
• /
• 2016

Recently immersive virtual reality (VR) becomes popular due to the advanced development of I/O interfaces and related SWs for effectively constructing VR environments. In particular, natural and intuitive manipulation of 3D virtual objects is still considered as one of the most important user interaction issues. This paper presents a comparative study on the manipulation and interaction of 3D virtual objects using different interfaces and interactions in three VR environments. The comparative study includes both quantitative and qualitative aspects. Three different experimental setups are 1) typical desktop-based VR using mouse and keyboard, 2) hand gesture-supported desktop VR using a Leap Motion sensor, and 3) immersive VR by wearing an HMD with hand gesture interaction using a Leap Motion sensor. In the desktop VR with hand gestures, the Leap Motion sensor is put on the desk. On the other hand, in the immersive VR, the sensor is mounted on the HMD so that the user can manipulate virtual objects in the front of the HMD. For the quantitative analysis, a task completion time and success rate were measured. Experimental tasks require complex 3D transformation such as simultaneous 3D translation and 3D rotation. For the qualitative analysis, various factors relating to user experience such as ease of use, natural interaction, and stressfulness were evaluated. The qualitative and quantitative analyses show that the immersive VR with the natural hand gesture provides more intuitive and natural interactions, supports fast and effective performance on task completion, but causes stressful condition.