• 한국멀티미디어학회논문지
• /
• 제8권6호
• /
• pp.768-775
• /
• 2005

For sign languages are main communication means among hearing-impaired people, there are communication difficulties between speaking-oriented people and sign-language-oriented people. Automated sign-language recognition may resolve these communication problems. In sign languages, finger spelling is used to spell names and words that are not listed in the dictionary. There have been research activities for gesture and posture recognition using glove-based devices. However, these devices are often expensive, cumbersome, and inadequate for recognizing elaborate finger spelling. Use of colored patches or gloves also cause uneasiness. In this paper, a vision-based finger spelling recognition system is introduced. In our method, captured hand region images were separated from the background using a skin detection algorithm assuming that there are no skin-colored objects in the background. Then, hand postures were recognized using a two-dimensional grid analysis method. Our recognition system is not sensitive to the size or the rotation of the input posture images. By optimizing the weights of the posture features using a genetic algorithm, our system achieved high accuracy that matches other systems using devices or colored gloves. We applied our posture recognition system for detecting Korean Sign Language, achieving better than $93\%$ accuracy.

• 한국지역사회생활과학회지
• /
• 제23권1호
• /
• pp.41-50
• /
• 2012

This study was performed to understand the depression of children with hearing impairment with relation to their mothers' nurturing attitude and sign language level. The subjects were 131 hearing impaired children aged from 9 to 16 years and their mothers, who had no hearing impairments. The children's depression was assessed by CDI(Kovacs 1983) adapted by Cho and Lee(1990), and the maternal attitude was measured through the instrument developed by Oh and Lee(1982) and revised by Lim(1987). The results were as follows. First, the girls' depression was higher than the boys', and children in a dormitory type of school showed higher depression than those in a general type of school. Second, children's depression did not show differences according to mother-child communication methods but differed according to mothers' sign language level. Children whose mothers had high level of sign language showed the highest depression and those whose mothers had beginning level of sign language showed the lowest depression. And mothers' affective, goal- achieving and rational attitude were negatively related with children's depression. Third, the depression of hearing impairment children was influenced mainly by the maternal affective attitude, and the next order was the type of school the children attend.

• 융합신호처리학회논문지
• /
• 제22권4호
• /
• pp.206-212
• /
• 2021

사회가 점점 발전하면서 의사소통 방법이 다양한 형태로 발전하고 있다. 그러나 발전한 의사소통은 비장애인을 위한 방법이며, 청각장애인에게는 아무런 영향을 미치지 않는다. 따라서 본 논문에서는 청각장애인의 의사소통을 돕기 위한 CNN 기반의 수화번역 프로그램을 설계 및 구현한다. 수화번역 프로그램은 웹캠을 통해 입력된 수화 영상 데이터를 기반으로 의미에 맞게 번역한다. 수화번역 프로그램은 직접 제작한 24,000개의 한글 자모음 데이터를 사용하였으며, 효과적인 분류모델의 학습을 위해 U-Net을 통한 Segmentation을 진행한다. 전처리가 적용된 데이터는 19,200개의 Training Data와 4,800개의 Test Data를 통하여 AlexNet을 기반으로 학습을 진행한다. 구현한 수화번역 프로그램은 'ㅋ'이 97%의 정확도와 99%의 F1-Score로 모든 수화데이터 중에서 가장 우수한 성능을 나타내었으며, 모음 데이터에서는 'ㅣ'가 94%의 정확도와 95.5%의 F1-Score로 모음 데이터 중에서 가장 높은 성능을 보였다.

• 한국인터넷방송통신학회논문지
• /
• 제22권3호
• /
• pp.63-68
• /
• 2022

한국장애인개발원의 2021 장애통계연보 자료에 따르면 대한민국에 청각 장애를 가지고 있는 사람은 395,789명이 있다. 이러한 사람들이 청각 장애를 통해 많은 불편을 겪고 있고, 이를 해결하기 위해 수어 인식 및 번역에 관련된 많은 연구가 진행되고 있다. 수어 인식 및 번역 연구에서는 수어 데이터를 수집하는 것이 중요한 부분을 차지하고 있지만 한국어 수어 데이터는 전문적으로 수어를 사용하는 사람의 수가 많지 않아 많은 어려움이 있다. 또한 구축된 기존의 데이터들도 발화자의 정면에서 촬영된 수어 데이터가 대부분이다. 이와 같은 문제점을 해결하기 위해 본 연구에서는 하나의 시점이 아닌 다시점에서 수어 데이터를 실시간으로 수집하고 보다 활용 편의성이 높게 저장 및 관리할 수 있는 저장 시스템을 설계하고 구현하였다.

• Journal of Computing Science and Engineering
• /
• 제10권3호
• /
• pp.95-101
• /
• 2016

In this study, we propose a new system for constructing parallel corpora for sign languages, which are generally under-resourced in comparison to spoken languages. In order to achieve scalability and accessibility regarding data collection and corpus construction, our system utilizes deep learning-based techniques and predicts depth information to perform pose estimation on hand information obtainable from video recordings by a single RGB camera. These estimated poses are then transcribed into expressions in SignWriting. We evaluate the accuracy of hand tracking and hand pose estimation modules of our system quantitatively, using the American Sign Language Image Dataset and the American Sign Language Lexicon Video Dataset. The evaluation results show that our transcription system has a high potential to be successfully employed in constructing a sizable sign language corpus using various types of video resources.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 1996년도 추계학술대회 학술발표 논문집
• /
• pp.333-336
• /
• 1996

The sign language is a method of communication for deaf person. For sign communication, sign language and manual alphabet are used continuously. In this paper is proposed a system which recognize Korean sign language(KSL) and Korean manual alphabet(KMA) continuously. For recognizing KSL and KMA, basic elements for sign language, namely, the 14 hand directions, 23 hand postures, and 14 hand orientations are used. At first, this system recognize current motion state using speed and change of speed in motion by state automata. Using state, basic element classifiers using Fuzzy Min-Max Neural Network and Fuzzy Rule are executed. Meaning of signed gesture is selected by using basic elements which was recognized.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권2호
• /
• pp.631-653
• /
• 2020

Sign language is a natural, visually oriented and non-verbal communication channel between people that facilitates communication through facial/bodily expressions, postures and a set of gestures. It is basically used for communication with people who are deaf or hard of hearing. In order to understand such communication quickly and accurately, the design of a successful sign language translation system is considered in this paper. The proposed system includes object detection and classification stages. Firstly, Single Shot Multi Box Detection (SSD) architecture is utilized for hand detection, then a deep learning structure based on the Inception v3 plus Support Vector Machine (SVM) that combines feature extraction and classification stages is proposed to constructively translate the detected hand gestures. A sign language fingerspelling dataset is used for the design of the proposed model. The obtained results and comparative analysis demonstrate the efficiency of using the proposed hybrid structure in sign language translation.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2001년도 ICCAS
• /
• pp.105.2-105
• /
• 2001

This paper studies continuous Korean Sign Language (KSL) recognition using color vision. In recognizing gesture words such as sign language, it is a very difficult to segment a continuous sign into individual sign words since the patterns are very complicated and diverse. To solve this problem, we disassemble the KSL into 18 hand motion classes according to their patterns and represent the sign words as some combination of hand motions. Observing the speed and the change of speed of hand motion and using state automata, we reject unintentional gesture motions such as preparatory motion and meaningless movement between sign words. To recognize 18 hand motion classes we adopt Hidden Markov Model (HMM). Using these methods, we recognize 5 KSL sentences and obtain 94% recognition ratio.

• 한국콘텐츠학회논문지
• /
• 제5권4호
• /
• pp.85-93
• /
• 2005

본 논문은 복잡한 배경에서 표식없는 손을 추적하여 한글 수화를 인식하는 시스템에 관한 것이다. 제안한 방법은 먼저 인접한 프레임간의 차 영상에 대하여 엔트로피를 측정한다. 큰 값을 갖는 영역에 대해 피부색에 가까운 분포를 갖는 색상 정보를 추출하여 배경 영상으로부터 손 영역만을 추출한다. 추출된 손 영역에 대해 윤곽선을 검출하고 개선된 무게중심 프로필(centroidal profile) 방법을 적용하여 수화를 인식한다. 6가지 모양의 수화를 사용한 실험결과 기존의 방법들과 달리 표식을 사용하지 않고도 복잡한 배경과 조명의 변화에서 안정적으로 수화를 인식할 수 있다. 또한 초당 15프레임 정도의 처리속도로 각 사람별로 95%이상, 각 수화별로 $90\sim100%$의 인식률을 얻을 수 있다.

• 한국정보컨버전스학회논문지
• /
• 제1권1호
• /
• pp.25-32
• /
• 2008

오늘날 디지털 기술과 멀티미디어 영상기법이 발전함에 따라 양질의 영상정보를 획득하기 쉽고 보다 사실적이고 직관적인 정보표현이 가능하여 시각적 욕구를 충족시켜왔다. 대중매체에서 애니메이션 캐릭터를 사용한 영상매체 활용이 지속적으로 늘어나고 있다. 이러한 애니메이션 캐릭터의 표현은 그래픽 기술의 발전으로 입체적이며, 사실적이고 부드러운 연출이 가능해졌다. 일반적으로 다양한 데이터 입력 장치를 이용하여 캐릭터의 섬세한 머리카락의 움직임까지도 표현할 수 있지만, 장애인들과 관련된 멀티미디어의 기술에 대한 연구는 매우 미흡하다. 본 논문에서는 MFC를 이용하여 DirectX 기반의 Korean Sign Language(KSL) 실행 플랫을 연구하였다.