• Journal of KIISE:Software and Applications
• /
• v.36 no.1
• /
• pp.82-91
• /
• 2009

Sign language spotting is the task of detecting and recognizing the signs in a signed utterance. The difficulty of sign language spotting is that the occurrences of signs vary in both motion and shape. Moreover, the signs appear within a continuous gesture stream, interspersed with transitional movements between signs in a vocabulary and non-sign patterns(which include out-of-vocabulary signs, epentheses, and other movements that do not correspond to signs). In this paper, a novel method for designing a threshold model in a conditional random field(CRF) model is proposed. The proposed model performs an adaptive threshold for distinguishing between signs in the vocabulary and non-sign patterns. A hand appearance-based sign verification method, a short-sign detector, and a subsign reasoning method are included to further improve sign language spotting accuracy. Experimental results show that the proposed method can detect signs from continuous data with an 88% spotting rate and can recognize signs from isolated data with a 94% recognition rate, versus 74% and 90% respectively for CRFs without a threshold model, short-sign detector, subsign reasoning, and hand appearance-based sign verification.

• Journal of KIISE:Software and Applications
• /
• v.26 no.6
• /
• pp.804-810
• /
• 1999

본 논문은 최근 연구가 고조되고 있는 지적 인터페이스에 대한 연구로서, 장애인 복지와 공학적인 일반성을 고려하여 수화를 인식하였다. 장애인의 수화를 인식한다는 입장에서 심리적 부담을주지 않고 최소한의 제한조건만을 설정하여 수화의 흑백동영상을 입력으로 하였다. 수화인식에서 손의 형상과 움직임 방향정보가 제일 중요함을 감안하여 각각 그 정보를 추출하고 인식에 적용하는 방법을 개발하여 그 유효성을 보였다. 즉 형상정보의 추출 및 인식에 대해서는 형상정보만이 중요한 수화 지문자 자음 14자를 대상으로 하여 인식하는 과저을 보였다. 또한 손의 움직임 정보에 대해서는 움직임 방향마이 중요한 정보가되는 간단한 수화 단어 9개를 대상으로 인식하여 그 과정과 방법을 보였다.

• Proceedings of the Korea Institute of Convergence Signal Processing
• /
• 2005.11a
• /
• pp.233-237
• /
• 2005

수화의 인식 및 표현 기술에 대한 관련 연구는 수화 인식을 통한 건청인과의 의사 전달, 가상현실에서의 손동작 인식 등을 대상으로 여러 방면으로의 접근 및 연구 결과를 도출하고 있다. 그러나 이들 연구의 대부분 데스크탑 PC기반의 수신호(Hand signal) 제어 및 수화 - 손 동작 인식에 목적을 두었고 수화 신호의 획득을 위하여 영상장비를 이용하였으며 이를 바탕으로 단어 위주의 수화 인식 및 표현에 중점을 둔 수화 인식 시스템의 구현을 통해 비장애인과의 자유로운 의사소통을 추구하고 있다. 따라서 본 논문에서는 햅틱 장치로부터 사용자의 의미있는 수화 제스처를 획득하기 위한 접근 방식을 차세대 착용형 PC 플랫폼 기반의 유비쿼터스 환경으로 확대, 적용시켜 제스처 데이터 입력 모듈로부터 새로운 정보의 획득에 있어 한계성을 극복하고 사용자의 편의를 도모할 수 있는 효율적인 데이터 획득 방안을 제시한다. 또한 퍼지 알고리즘 및 RDBMS 모듈을 이용하여 언제, 어디에서나 사용자의 의미 있는 문장형 수화 제스처를 실시간으로 인식하고 표현하는 수화 제스처 인식기를 구현하였다. 본 논문에서는 수화 제스처 입력 모듈(5th Data Glove System과 $Fastrak{\circledR}$)과 차세대 착용형 PC 플랫폼(embedded I.MX21 board)간의 이격거리를 반경 10M의 타원 형태로 구성하고 규정된 위치로 수화 제스처 데이터 입력모듈을 이동시키면서 5인의 피실험자에 대하여 연속적으로 20회의 반복 실험을 수행하였으며 사용자의 동적 제스처 인식 실험결과 92.2% 평균 인식률을 도출하였다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2002.11b
• /
• pp.69-72
• /
• 2002

화상처리에 의한 수화인식은 손의 움직임에 대한 추적을 통한 그 궤적의 정보를 이용하여 주로 처리하여 왔다. 본 논문에서는 궤적 정보만으로 정확히 인식할 수 없는 수화 단어에 대하여 국소 특징 인식 기법을 통하여 보다 정확한 인식을 행한다. 제안한 방법에 의하여 95%이상의 인식 결과를 얻을 수 있었다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.386-392
• /
• 2007

최근 들어 손 제스처를 인간-기계 인터페이스에 활용하는 연구가 많아지고 있다. 그 중에서 수화 인식은 청각장애인과 일반인 사이의 원활한 의사 소통을 하게 해 주는 인터페이스로서 중요성이 날로 더해가고 있다. 하지만 기존의 수화 인식 연구는 사용자 개개인의 수화 동작의 차이를 고려하지 않고 다수 사용자를 위한 모델을 사용하기 때문에 사용자에 따라 인식률이 낮아지게 된다. 이러한 점을 보완하기 위해 본 논문에서는 개개인의 수화 동작 특성을 반영하여 시스템이 사용자에게 적응해 가는 과정을 다루고자 한다. 특히 점진적인 사용자 적응에 있어서 가장 문제가 되는 것은 어떻게 비관측된 상태(unobserved state)의 파라미터를 수정할 것인가 하는 것이다. 이를 위해서 본 논문에서는 동작 유사도와 적응 추이에 의한 추정을 통해 비관측된 상태의 모델 파라미터를 수정한다. 실제 청각 장애인들로부터 획득한 데이터베이스를 사용하여 제안한 방법이 기존 방법에 비해 더욱 빠르게 사용자의 특성을 시스템에 반영하고 인식률을 향상시킨다는 것을 실험을 통해 보인다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.4-5
• /
• 2011

수화는 몸 동작 또는 손가락의 움직임을 통하여 상호 커뮤니케이션을 하는 하나의 언어이며, 이 언어의 디지탈 미디어로의 소통을 위해서는 동작을 하나의 의미 있는 단어, 음절로의 표현이 가능해야 한다. 여기서는 몸 동작, 팔 다리의 움직임 보다는 손가락의 움직임에 초점을 맞추어 지문자 인식에 필요한 센서 시스템에 대하여 고찰한다. 우선 연속적인 지문자, 지숫자의 입력을 인식하기 위해서는 각 문자 절음 인식이 가장 중요한 문제가 된다. 절음 위치를 인식하는 것은 현재 입력된 패턴과 다음 패턴을 구분지어 각각 다른 지문자 혹은 지숫자로 인식할 수 있게 하는 기반이 된다. 손가락 구부러짐의 구분 및 인식을 위한 방법의 개발을 위해, 언어별 수화의 특징 분석을 토대로 다양한 적용 가능한 센서를 탐색하고 수화 장갑을 위한 원천기술을 개발, 수화 장갑 프로토타입을 제작하였다.

• The Journal of the Korea Contents Association
• /
• v.5 no.4
• /
• pp.85-93
• /
• 2005

In this paper, we propose recognition system which tracks the unmarked hand of a person performing sign language in complex background. First of all, we measure entropy for the difference image between continuous frames. Using a color information that is similar to a skin color in candidate region which has high value, we extract hand region only from background image. On the extracted hand region, we detect a contour and recognize sign language by applying improved centroidal profile method. In the experimental results for 6 kinds of sing language movement, unlike existing methods, we can stably recognize sign language in complex background and illumination changes without marker. Also, it shows the recognition rate with more than 95% for person and $90\sim100%$ for each movement at 15 frames/second.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2014.07a
• /
• pp.323-326
• /
• 2014

본 논문에서는 깊이 카메라를 이용한 사용자의 손 모양, 특히 수화를 인식하는 방법에 대해 제안한다. 손 모양 인식은 손가락 검출과 손 인식으로 크게 2가지로 나눌 수 있다. 손가락 검출을 위해 본 시스템에서는 Distance Transform을 이용하여 손의 뼈대를 검출 하고, Convex Hull을 통해 손가락을 검출하는 방법을 제안한다. 뼈대 검출은 보다 정확한 손가락을 검출할 수 있는 장점이 생긴다. 손 인식에는 손 중심과 손가락의 길이, 손의 축, 손가락의 축, 팔 중심의 위치 등을 이용하여 Decision Tree를 생성하고, 반복적 검사를 통해 인식의 오류율을 줄였다. 실험결과에서는 수화 인식이 성공적으로 잘 인식 되었다는 것을 보인다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2002.10d
• /
• pp.691-693
• /
• 2002

수화통역시스템은 청각장애인과 건청인의 사이에 수화를 통역하고 의사소통을 원활하게 하는 역할을 하는 멀티미디어시스템이다. 현재 다양한 수화통역시스템연구개발이 진행되고 있으나 기술상의 문제로 아직 널리 보급되지 못하고 있다. 본 논문에서는 청각장애인의 입장에서 이해할 수 있는 수화동작을 구현하는 문자인식 알고리즘을 제안한다. 이 알고리즘은 문장을 인식하고 단어별, 형태소별로 구분하여 지화그림 및 수화 데이터베이스에 있는 수화그림에 매칭시키고 수화단어들을 조합하여 수화동작을 움직이게 할 수 있는 그림을 생성한다. 알고리즘의 진행과정은 한글문장, 전처리, 형태소분리, 수화단어검색, 수화단어출력, 수화문장재배열과 동작표현으로 이루어진다.

• Journal of KIISE:Software and Applications
• /
• v.36 no.12
• /
• pp.1034-1037
• /
• 2009

Sign language spotting is the task of detecting the start and end points of signs from continuous data and recognizing the detected signs in the predefined vocabulary. The difficulty with sign language spotting is that instances of signs vary in both motion and shape. Moreover, signs have variable motion in terms of both trajectory and length. Especially, variable sign lengths result in problems with spotting signs in a video sequence, because short signs involve less information and fewer changes than long signs. In this paper, we propose a method for spotting variable lengths signs based on semi-CRF (semi-Markov Conditional Random Field). We performed experiments with ASL (American Sign Language) and KSL (Korean Sign Language) dataset of continuous sign sentences to demonstrate the efficiency of the proposed method. Experimental results show that the proposed method outperforms both HMM and CRF.