• 대한인간공학회지
• /
• 제34권5호
• /
• pp.411-426
• /
• 2015

Objective: The goal of this thesis is to design the interaction structure and framework of system to recognize sign language. Background: The sign language of meaningful individual gestures is combined to construct a sentence, so it is difficult to interpret and recognize the meaning of hand gesture for system, because of the sequence of continuous gestures. This being so, in order to interpret the meaning of individual gesture correctly, the interaction structure and framework are needed so that they can segment the indication of individual gesture. Method: We analyze 700 sign language words to structuralize the sign language gesture interaction. First of all, we analyze the transformational patterns of the hand gesture. Second, we analyze the movement of the transformational patterns of the hand gesture. Third, we analyze the type of other gestures except hands. Based on this, we design a framework for sign language interaction. Results: We elicited 8 patterns of hand gesture on the basis of the fact on whether the gesture has a change from starting point to ending point. And then, we analyzed the hand movement based on 3 elements: patterns of movement, direction, and whether hand movement is repeating or not. Moreover, we defined 11 movements of other gestures except hands and classified 8 types of interaction. The framework for sign language interaction, which was designed based on this mentioned above, applies to more than 700 individual gestures of the sign language, and can be classified as an individual gesture in spite of situation which has continuous gestures. Conclusion: This study has structuralized in 3 aspects defined to analyze the transformational patterns of the starting point and the ending point of hand shape, hand movement, and other gestures except hands for sign language interaction. Based on this, we designed the framework that can recognize the individual gestures and interpret the meaning more accurately, when meaningful individual gesture is input sequence of continuous gestures. Application: When we develop the system of sign language recognition, we can apply interaction framework to it. Structuralized gesture can be used for using database of sign language, inventing an automatic recognition system, and studying on the action gestures in other areas.

• 한국보육학회지
• /
• 제17권4호
• /
• pp.121-143
• /
• 2017

본 연구의 목적은 영아교사 애착 및 영아의 몸짓과 영아의 언어발달 간의 관계를 알아보는데 있다. 연구대상은 전북 J시 가정어린이집과 영아전담어린이집에 63곳에 재원 중인 18~24개월 영아와 그 담임교사 84명이다. 연구결과 첫째, 영아교사 애착은 영아의 언어발달과 정적 상관관계가 나타났다. 영아교사 애착 유형별로는 긍정적정서, 접촉추구, 자기희생적온정, 근접추구, 결속, 기대감 모두 수용언어, 표현언어와 정적 상관관계가, 보호는 수용언어와 정적 상관관계가 냉담만 수용언어와 부적 상관관계가 나타났다. 둘째, 영아 몸짓의 하위요인 중 지시적몸짓은 수용언어와 부적 상관관계가, 관습적몸짓과 표상적몸짓은 표현언어와 정적 상관관계가 나타났다. 셋째, 영아교사의 애착과 영아 몸짓이 영아 언어발달에 미치는 영향력을 알아본 결과, 전체언어에 대해서는 영아교사 애착의 접촉추구가 가장 큰 영향력이 있었다. 영아 언어 유형별로는 수용언어는 영아교사 애착의 접촉추구가, 표현언어는 영아교사 애착의 결속이 가장 큰 영향력이 있는 것으로 나타나, 영아 언어발달에는 영아의 몸짓보다 영아교사의 애착이 더 큰 영향력이 있음을 알 수 있었다. 본 연구결과는 영아교사와 영아의 애착관계의 중요성을 통해 영아의 언어능력 증진을 위한 기초자료로 활용될 수 있을 것이다.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2004년도 ICCAS
• /
• pp.1106-1110
• /
• 2004

A human sign language is generally composed of both static and dynamic gestures. Each gesture is represented by a hand shape, its position, and hand movement (for a dynamic gesture). One of the problems found in automated sign language translation is on segmenting a hand movement that is part of a transitional movement from one hand gesture to another. This transitional gesture conveys no meaning, but serves as a connecting period between two consecutive gestures. Based on the observation that many dynamic gestures as appeared in Thai sign language dictionary are of quasi-periodic nature, a method was developed to differentiate between a (meaningful) dynamic gesture and a transitional movement. However, there are some meaningful dynamic gestures that are of non-periodic nature. Those gestures cannot be distinguished from a transitional movement by using the signal quasi-periodicity. This paper proposes a hybrid method using a combination of the periodicity-based gesture segmentation method with a HMM-based gesture classifier. The HMM classifier is used here to detect dynamic signs of non-periodic nature. Combined with the periodic-based gesture segmentation method, this hybrid scheme can be used to identify segments of a transitional movement. In addition, due to the use of quasi-periodic nature of many dynamic sign gestures, dimensionality of the HMM part of the proposed method is significantly reduced, resulting in computational saving as compared with a standard HMM-based method. Through experiment with real measurement, the proposed method's recognition performance is reported.

• Educational Technology International
• /
• 제16권2호
• /
• pp.141-166
• /
• 2015

The purpose of this study was to examine the effects of using visual stimulation and gesture, namely embodied language learning, on learning achievement and learner's course interest in the EFL classroom. To investigate the effectiveness of the proposed purpose, thirty two third-grade elementary school students participated and were assigned into four English learning class conditions (i.e., using animated graphic and gestures condition, using only animated graphic condition, using still pictures and gesture condition, and control condition). The research questions for this study are addressed below: (1) What differences are there in post and delayed learning achievement between imitating gesture group and non-imitating one and between animated graphic group and still picture one? (2) What differences are there in course interest between imitating gesture group and non-imitating one and between animated graphic group and still picture one? The Embodiment-based English learning system for this study was designed by using Microsoft's Kinect sensing devices. The results of this study revealed that students of imitating gesture group memorized and retained better words and sentence structure than those of the other groups. As for learner's course interest measurement, imitating gesture group showed a highly positive response to attention, relevance, and satisfaction for curriculum and using animated graphic influenced satisfaction as well. This finding can be attributed to the embodied cognition, which proposes that the body and the mind are inseparable in the constitution of cognition and thus students using visual simulation and imitating related gesture regard the embodied language learning approach more satisfactory and acceptable than the conventional ones.

• 대한인간공학회지
• /
• 제31권4호
• /
• pp.541-550
• /
• 2012

Objective: The aim of this study is to suggest a notation method for three-dimensional hand gesture. Background: To match intuitive gestures with commands of products, various studies have tried to derive gestures from users. In this case, various gestures for a command are derived due to various users' experience. Thus, organizing the gestures systematically and identifying similar pattern of them have become one of important issues. Method: Related studies about gesture taxonomy and notating sign language were investigated. Results: Through the literature review, a total of five elements of static gesture were selected, and a total of three forms of dynamic gesture were identified. Also temporal variability(reputation) was additionally selected. Conclusion: A notation method which follows a combination sequence of the gesture elements was suggested. Application: A notation method for three dimensional hand gestures might be used to describe and organize the user-defined gesture systematically.

• 한국콘텐츠학회논문지
• /
• 제5권4호
• /
• pp.122-132
• /
• 2005

CVE(Collaborative Virtual Environment)는 물리적으로 함께 모이지 못하는 사람들이 서로 의논하고, 공동으로 일할 수 있는 가상공간의 공유된 장(場)을 말한다. CVE에서 참여자들은 가상적으로 그들이 존재할 수 있게 하는 사람의 형상을 닮은 체현(體現), 즉 아바타를 통해 대표된다. 그러나 현재 가상환경에서 볼 수 있는 대부분의 아바타들은 그 아바타의 행동과 사용자간에 일어나고 있는 대화 사이의 자연스러운 관계를 나타내지 못하고 있다. 사람과 사람간의 대화에 있어서 교환되는 정보의 65% 이상이 비언어적 기호에 의해 전달된다는 점을 감안할 때, 비언어적 커뮤니케이션 채널을 CVE 시스템의 아바타에서 제공하는 것은 매우 중요하다. 따라서 본 연구는 아바타 제스츄어 디자인에 적용될 수 있는 비언어커뮤니케이션의 전달양식을 도출하고 사람과 사람간의 커뮤니케이션 과정에서 발생하는 대표적인 신체언어들을 언어와의 관련성에 따라 유형을 분류한 후 머리에서 발까지 신체부위별로 흔히 사용되는 동작과 그에 부합하는 언어표현들을 정리하여 제시하는 방법으로 CVE에서 사용자들이 적절한 커뮤니케이션 활동을 할 수 있도록 지원하는 아바타의 동작표현을 제안하고 있다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2015년도 춘계학술대회
• /
• pp.662-665
• /
• 2015

본 논문은 사용자와 시스템간의 인터페이스 관련 표준화를 추진 중인 ISO/IEC/JTC1의 SC35 UI의 제스처 기반 UI 요소 및 요구사항 및 제스처 기반 UI 표준 프레임워크를 분석하고, 이를 기반으로 GIML(Gesture-based Markup language) 마크업 언어 설계에 대해 제안 한다.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2001년도 ICCAS
• /
• pp.105.2-105
• /
• 2001

This paper studies continuous Korean Sign Language (KSL) recognition using color vision. In recognizing gesture words such as sign language, it is a very difficult to segment a continuous sign into individual sign words since the patterns are very complicated and diverse. To solve this problem, we disassemble the KSL into 18 hand motion classes according to their patterns and represent the sign words as some combination of hand motions. Observing the speed and the change of speed of hand motion and using state automata, we reject unintentional gesture motions such as preparatory motion and meaningless movement between sign words. To recognize 18 hand motion classes we adopt Hidden Markov Model (HMM). Using these methods, we recognize 5 KSL sentences and obtain 94% recognition ratio.

• 전자공학회논문지CI
• /
• 제41권5호
• /
• pp.41-49
• /
• 2004

인터넷 가상공간에서 서로 다른 언어 사이의 장벽을 극복하기 위한 방법으로 수화 통신 시스템이 연구되고 있다. 그러나 지금까지의 연구는 같은 유형의 아바타 만을 대상으로 하였기 때문에 모델 구조가 서로 다를 경우에는 적용할 수 없다는 문제가있다. 따라서 본 연구에서는 FBML (Facial Body Markup Language)을 이용하여 서로 다른 아바타들 간의 수화 제스처 통신을 구현하는 방법을 제안하였다. 즉, FBML을 정의하여 제스처를 위한 관절각 및 얼굴 표정 등 서로 다른 아바타 모델들 사이에 전달할 내용을 표준 문서로 만들었다. 본 방법은 윈도우 플렛폼에서 Visual C++와 Open Inventor 라이브러리를 이용하여 구현하였으며, 실험 결과 언어의 장벽을 넘을 수 있는 비언어 통신수단으로 이용될 수 있는 가능성을 확인하였다.

• 한국정보통신학회논문지
• /
• 제10권4호
• /
• pp.674-679
• /
• 2006

본 논문에서는 3차원 손 특징 데이터를 이용한 동작 인식 시스템을 제안하고자 한다. 제안된 시스템은 3차원 센서에 의해 조밀한 범위의 영상을 생성하여 손 동작에 대한 3차원 특징을 추출하여 손 동작을 분류한다. 또한 다양한 조명과 배경하에서의 손을 견실하게 분할하고 색상 정보와 상관이 없어 수화와 같은 복잡한 손 동작에 대해서도 견실한 인식능력을 나타낼 수가 있다. 제안된 방법의 전체적인 순서는 3차원 영상 획득, 팔 분할, 손과 팔목 분할, 손 자세 추정, 3차원 특징 추출, 그리고 동작 분류로 구성되어 있고, 수화 자세에 대한 인식 실험으로 제안된 시스템의 효율성을 입증하였다.