• IEIE Transactions on Smart Processing and Computing
• /
• 제5권4호
• /
• pp.267-273
• /
• 2016

Hand posture recognition is an important technique to enable a natural and familiar interface in the human-computer interaction (HCI) field. This paper introduces a hand posture recognition method using a depth camera. Moreover, the hand posture recognition method is incorporated with the Moving Picture Experts Group Rich Media User Interface (MPEG-U) Advanced User Interaction (AUI) Interface (MPEG-U part 2), which can provide a natural interface on a variety of devices. The proposed method initially detects positions and lengths of all fingers opened, and then recognizes the hand posture from the pose of one or two hands, as well as the number of fingers folded when a user presents a gesture representing a pattern in the AUI data format specified in MPEG-U part 2. The AUI interface represents a user's hand posture in the compliant MPEG-U schema structure. Experimental results demonstrate the performance of the hand posture recognition system and verified that the AUI interface is compatible with the MPEG-U standard.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제35권4호
• /
• pp.265-279
• /
• 2008

손 제스처를 이용한 사람과 컴퓨터간의 상호 작용은 오랜 기간 많은 사람들이 연구해 오고 있으며 커다란 발전을 보이고 있지만, 여전히 만족스러운 결과를 보이지는 못하고 있다. 본 논문에서는 동적 베이스망 프레임워크를 이용한 손 제스처 인식 방법을 제안한다. 유선 글러브를 이용하는 방법들과는 달리, 카메라 기반의 방법에서는 영상 처리와 특징 추출 단계의 결과들이 인식 성능에 큰 영향을 미친다. 제안하는 제스처 모델에서의 추론에 앞서 피부 색상 모델링 및 검출과 움직임 추적을 수행한다. 특징들간의 관계와 새로운 정보들을 쉽게 모델에 반영할 수 있는 동적 베이스망을 이용하여 두 손 제스처와 한 손 제스처 모두를 인식할 수 있는 새로운 모델을 제안한다. 10가지 독립 제스처에 대한 실험에서 최대 99.59%의 높은 인식 성능을 보였다. 제안하는 모델과 관련 방법들은 수화 인식과 같은 다른 문제들에도 적용 가능할 것으로 판단된다.

• 한국CDE학회논문집
• /
• 제12권2호
• /
• pp.126-136
• /
• 2007

Teleconferences have been used in business sectors to reduce traveling costs. Traditionally, specialized telephones that enabled multiparty conversations were used. With the introduction of high speed networks, we now have high definition videos that add more realism in the presence of counterparts who could be thousands of miles away. This paper presents a new technology that adds even more realism by telecommunicating with hand gestures. This technology is part of a teleconference system named SMS (Smart Meeting Space). In SMS, a person can use hand gestures to manipulate meeting data that could be in the form of text, audio, video or 3D shapes. Fer detecting hand gestures, a machine learning algorithm called SVM (Support Vector Machine) has been used. For the prototype system, a 3D interaction environment has been implemented with $OpenGL^{TM}$, where a 3D human skull model can be grasped and moved in 6-DOF during a remote conversation between distant persons.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2019년도 제60차 하계학술대회논문집 27권2호
• /
• pp.375-377
• /
• 2019

본 논문에서는 관람객 얼굴 표정 및 제스쳐 인식을 기반으로 인터렉티브 디지털콘텐츠의 문제점 추론 시스템을 제안한다. 관람객이 콘텐츠를 체험하고 다른 장소로 이동하기 전까지의 행동 패턴을 기준으로 삼아 4가지 문제점으로 분류한다. 문제점 분류을 위해 관람객이 콘텐츠 체험과정에서 나타낼 수 있는 얼굴 표정 3가지 종류와 제스쳐 5가지를 구분하였다. 실험에서는 입력된 비디오로부터 얼굴 및 손을 검출하기 위해 Adaboost algorithm을 사용하였고, mobilenet v1을 retraining하여 탐지모델을 생성 후 얼굴 표정 및 제스쳐를 검출했다. 이 연구를 통해 인터렉티브 디지털콘텐츠가 지니고 있는 문제점을 추론하여 향후 콘텐츠 개선과 제작에 사용자 중심 설계가 가능하도록 하고 양질의 콘텐츠 생산을 촉진 시킬 수 있을 것이다.

• 인터넷정보학회논문지
• /
• 제25권2호
• /
• pp.57-67
• /
• 2024

사용자가 제스처를 통해 입력을 할 수 있는 방안들 중에서 근전도(EMG, Electromyography)를 통한 제스처 인식은 근육 내 작은 전극을 통해 사용자의 움직임을 감지하고 이를 입력 방법으로 사용할 수 있는 방법이다. EMG 데이터를 통해 사용자 제스처를 분류하기 위해서는 사용자로부터 수집된 EMG Raw 데이터를 머신러닝으로 학습하여야 하는데 이를 위해서는 EMG 데이터를 전처리 과정을 통해 특징을 추출하여야 한다. EMG 특성은 IEMG(Integrated EMG), MAV(Mean Absolute Value), SSI(Simple Sqaure Integral), VAR(VARiance), RMS(Root Mean Square) 등과 같은 수식을 통해서 나타낼 수 있다. 또한, 제스처를 입력으로 사용하기 위해서는 사용자가 입력하는 데 필요한 지각, 인지, 반응에 필요한 시간을 기준으로 제스처 분류가 가능한 시간을 알아내야 한다. 이를 위해 최대 1,000ms에서 최소 100ms까지 세그먼트 사이즈를 변화시켜 특징을 추출 후 제스처 분류가 가능한 세그먼트 사이즈를 찾아낸다. 특히 데이터 학습은 overlapped segmentation 방법을 통해 데이터와 데이터 사이 간격을 줄여 학습 데이터 개수를 늘린다. 이를 통해 KNN, SVC, RF, XGBoost 4가지 머신러닝 방식을 통해 이를 학습하고 결과를 도출한다. 실험 결과 실시간으로 사용자의 제스처 입력이 가능한 최대 세그먼트 사이즈인 200ms에서 KNN, SVC, RF, XGboost 4가지 모든 모델에서 96% 이상의 정확도를 도출하였다.

• International Journal of Internet, Broadcasting and Communication
• /
• 제10권1호
• /
• pp.71-76
• /
• 2018

The technology convergence of television, communication, and computing devices enables the rich social and entertaining experience through Smart TV in personal living space. The powerful smart TV computing platform allows to provide various user interaction interfaces like IR remote control, web based control, body gesture based control, etc. The presently used smart TV interaction user control methods are not efficient and user-friendly to access different type of media content and services and strongly required advanced way to control and access to the smart TV with easy user interface. This paper propose the optical wireless communication (OWC) based remote controller design for Smart TV using smart device Flashlights. In this approach, the user smart device act as a remote controller with touch based interactive smart device application and transfer the user control interface data to smart TV trough Flashlight using visible light communication method. The smart TV built-in camera follows the optical camera communication (OCC) principle to decode data and control smart TV user access functions according. This proposed method is not harmful as radio frequency (RF) radiation does it on human health and very simple to use as well user does need to any gesture moves to control the smart TV.

• 한국멀티미디어학회논문지
• /
• 제8권6호
• /
• pp.768-775
• /
• 2005

For sign languages are main communication means among hearing-impaired people, there are communication difficulties between speaking-oriented people and sign-language-oriented people. Automated sign-language recognition may resolve these communication problems. In sign languages, finger spelling is used to spell names and words that are not listed in the dictionary. There have been research activities for gesture and posture recognition using glove-based devices. However, these devices are often expensive, cumbersome, and inadequate for recognizing elaborate finger spelling. Use of colored patches or gloves also cause uneasiness. In this paper, a vision-based finger spelling recognition system is introduced. In our method, captured hand region images were separated from the background using a skin detection algorithm assuming that there are no skin-colored objects in the background. Then, hand postures were recognized using a two-dimensional grid analysis method. Our recognition system is not sensitive to the size or the rotation of the input posture images. By optimizing the weights of the posture features using a genetic algorithm, our system achieved high accuracy that matches other systems using devices or colored gloves. We applied our posture recognition system for detecting Korean Sign Language, achieving better than $93\%$ accuracy.

• 한국멀티미디어학회논문지
• /
• 제15권4호
• /
• pp.501-507
• /
• 2012

Human body motion is a non-verbal part for interaction or movement that can be used to involves real world and virtual world. In this paper, we explain a study on natural user interface (NUI) in human hand motion recognition using RGB color information and depth information by Kinect camera from Microsoft Corporation. To achieve the goal, hand tracking and gesture recognition have no major dependencies of the work environment, lighting or users' skin color, libraries of particular use for natural interaction and Kinect device, which serves to provide RGB images of the environment and the depth map of the scene were used. An improved Camshift tracking algorithm is used to tracking hand motion, the experimental results show out it has better performance than Camshift algorithm, and it has higher stability and accuracy as well.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 1996년도 Proceedings International Workshop on New Video Media Technology
• /
• pp.83-87
• /
• 1996

A virtual reality system using video image is designed and implemented. A participant having 2{{{{ { 1} over { 2} }}}}DOF can interact with the computer-generated virtual object using her/his full body posture and gesture in the 3D virtual environment. The system extracts the necessary participant-related information by video-based sensing, and simulates the realistic interaction such as collision detection in the virtual environment. The resulting scene obtained by compositing video image of the participant and virtual environment is updated in near real time.

• 한국정보통신학회논문지
• /
• 제21권7호
• /
• pp.1349-1354
• /
• 2017

본 논문에서는 임베디드 시스템에 활용할 수 있는 고속의 손동작 인식 알고리즘을 제안한다. 기존의 손동작 인식 알고리즘은 손의 윤곽선을 구성하는 모든 점을 추출하는 윤곽선 추적 과정의 계산복잡도가 높기 때문에 임베디드 시스템, 모바일 디바이스와 같은 저성능의 시스템에서의 활용에 어려움이 있었다. 제안하는 알고리즘은 윤곽선 추적 알고리즘을 사용하는 대신 동심원 추적을 응용하여 추상화된 손가락의 윤곽선을 추정한 다음 특징을 추출하여 손동작을 분류한다. 제안된 알고리즘은 평균 인식률은 95%이고 평균 수행시간은 1.29ms로서 기존의 윤곽선 추적 방식을 사용하는 알고리즘에 비해 최대 44%의 성능향상을 보였고 임베디드 시스템, 모바일 디바이스와 같은 저성능의 시스템에서의 활용가능성을 확인하였다.