• 한국산학기술학회:학술대회논문집
• /
• 한국산학기술학회 2001년도 춘계학술대회 발표논문집
• /
• pp.188-191
• /
• 2001

본 논문에서는 화자의 입모양의 변화를 분석하여 발음된 음성을 인식하는 방법에 관하여 연구하였다. 입모양 변화를 나타내는 특징벡터의 서로 다른 선택이 인식성능에 미치는 영향을 비교 분석하였다. 특징벡터로서는 ASM(Active Shape Model) 파라메터와 Acticulatory 파라메터를 특별히 선택하여 인식성능을 비교하였다. 모의실험 결과, Articulatory 파라메터를 사용하는 것이 인식성능도 더 우수하고 계산량도 더 적음을 확인할 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.299-302
• /
• 2023

입 모양 인식은 음성인식의 중요한 부분 중 하나로 이를 개선하기위한 다양한 연구가 진행되어 왔다. 기존의 연구에서는 주로 입술주변 영역을 관찰하고 인식하는데 초점을 두었으나, 본 논문은 음성인식 시스템에서 기존의 입술영역과 함께 입술, 턱, 뺨 등 다른 관심 영역을 고려하여 음성인식 시스템의 입모양 인식 성능을 비교하였다. 입 모양 인식의 관심 영역을 자동으로 검출하기 위해 객체 탐지 인공신경망을 사용하며, 이를 통해 다양한 관심영역을 실험하였다. 실험 결과 입술영역만 포함하는 ROI 에 대한 결과가 기존의 93.92%의 평균 인식률보다 높은 97.36%로 가장 높은 성능을 나타내었다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국지능시스템학회 2008년도 춘계학술대회 학술발표회 논문집
• /
• pp.268-270
• /
• 2008

얼굴 인식은 영상 처리 분야 중 대표적인 분야의 하나로, 지금까지 다양한 응용시스템이 개발됐다. 얼굴 인식은 눈, 코, 입 같은 얼굴의 특징들을 값으로 변환하고 각 특징 값들의 상관관계를 분석하는 방식으로 이루어지는데, 이 중에서 입은 형태 변화가 심하기 때문에 얼굴 인식에서는 특징 값으로 잘 이용되지 않는다. 반면, 표정 인식이나 화자 인식과 같은 특정 응용 시스템에서는 중요한 특징의 하나로 사용되고 있다. 입 모양을 인식한다는 것은 입술의 형태와 그 변화를 인식한다는 것을 의미하며, 이에 대한 연구가 많이 이루어지기는 했지만 음성 인식의 보조 수단으로 사용된 것이 대부분이다. 본 논문에서는 현재까지 제안된 입 움직임 인식 기술에 대해서 정리하고, 새로이 적용 가능한 응용 시스템에 대해 고찰해보고자 한다.

• 디지털융복합연구
• /
• 제14권8호
• /
• pp.233-243
• /
• 2016

소음환경에서의 음성인식 문제점으로 인해 1990년대 중반부터 음성정보와 영양정보를 결합한 AVSR(Audio Visual Speech Recognition) 시스템이 제안되었고, Lip Reading은 AVSR 시스템에서 시각적 특징으로 사용되었다. 본 연구는 효율적인 AVSR 시스템을 구축하기 위해 입 모양만을 이용한 발화 단어 인식률을 극대화하는데 목적이 있다. 본 연구에서는 입 모양 인식을 위해 실험단어를 발화한 입력 영상으로부터 영상의 전처리 과정을 수행하고 입술 영역을 검출한다. 이후 DNN(Deep Neural Network)의 일종인 CNN(Convolution Neural Network)을 이용하여 발화구간을 검출하고, 동일한 네트워크를 사용하여 입 모양 특징 벡터를 추출하여 HMM(Hidden Markov Mode)으로 인식 실험을 진행하였다. 그 결과 발화구간 검출 결과는 91%의 인식률을 보임으로써 Threshold를 이용한 방법에 비해 높은 성능을 나타냈다. 또한 입모양 인식 실험에서 화자종속 실험은 88.5%, 화자 독립 실험은 80.2%로 이전 연구들에 비해 높은 결과를 보였다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 1998년도 하계종합학술대회논문집
• /
• pp.585-588
• /
• 1998

현재의 언어자동인식은 목소리의 음성 정보와 얼굴영상의 화상정보를 병행처리하여 초기의 음성 정보만을 처리한 경우보다 높은 인식률을 가져왔다. 이러한 연구는 언어의 인식에서 뿐만 아니라, 신체가 부자연스러운 장애니에게는 간단한 의미 전달의 수단이나 각종 재활보조기기의 제어 등에도 매우 유용하게 활용될 수 있다. 음성정보처리를 배제한 영상정보처리 면에서, 본 논문의 대상이 되는 장애인은 신체의 부자연스러움으로 인해 처리되는 얼굴의 영상이 정상인과 같은 바른 자세가 되지 못하고, 기울어진다든지 틀어져서 기존의 방법들로는 정상인보다 현저히 낮은 입모양의 인식률을 보인다. 본 논문에서는 기존의 방법들과는 달리 청색 표식을 이용한 색상불할법과 라벨링을 통해 입 모양을 인식하는 방법을 제안하였으며, 이는 장애인과 같은 기울어진 얼굴영상에 대해서도 정상인과 같은 입 모양 인식률을 나타내었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 추계학술대회
• /
• pp.211-213
• /
• 2022

Lip Reading(독순술(讀脣術)) 이란 입술의 움직임을 보고 상대방이 무슨 말을 하는지 알아내는 기술이다. 본 논문에서는 MBC, SBS 뉴스 클로징 영상에서 쓰이는 문장 10개를 데이터로 사용하고 CNN(Convolutional Neural Network) 아키텍처 중 모바일 기기에서 동작을 목표로 한 MobileNet을 모델로 이용하여 발화자의 입모양을 통해 문장 인식 연구를 진행한 결과를 제시한다. 본 연구는 MobileNet과 LSTM을 활용하여 한국어 입모양을 인식하는데 목적이 있다. 본 연구에서는 뉴스 클로징 영상을 프레임 단위로 잘라 실험 문장 10개를 수집하여 데이터셋(Dataset)을 만들고 발화한 입력 영상으로부터 입술 인식과 검출을 한 후, 전처리 과정을 수행한다. 이후 MobileNet과 LSTM을 이용하여 뉴스 클로징 문장을 발화하는 입모양을 학습 시킨 후 정확도를 알아보는 실험을 진행하였다.

• 한국정보통신학회논문지
• /
• 제6권5호
• /
• pp.783-788
• /
• 2002

최근 통신 시스템의 연구와 발전 방향은 목소리의 음성 정보와 말하는 얼굴 영상의 화상 정보를 함께 적용하므로서 음성 정보만을 제공하는 경우보다 높은 인식율을 제공한다. 따라서 본 연구는 청각장애자들의 언어 대체수단 중 하나인 구화(speechreading)에서 가장 시각적 변별력이 논은 입모양 인식을 일반 퍼스널 컴퓨터상에서 구현하고자 한다. 본 논문은 기존의 방법과 달리 말하는 영상 시퀀스에서 입모양 인식을 행하기 위해 3차원 모델을 사용하여 입의 벌어진 정도, 턱의 움직임, 입술의 돌출과 같은 3차원 특징 정보를 제공하였다. 이와 같은 특징 정보를 얻기 위해 3차원 형살 모델을 입력 동영상에 정합시키고 정합된 3차원 형상모델에서 각 특징점의 변화량을 인식파라미터로 사용하였다. 그리고, 인식단위로 동영상을 분리하는 방법은 3차원 특징점 변화량에서 얻어지는 강도의 기울기에 의하여 이루어지고, 인식은 각각의 3차인 특징벡터를 이산 HMM 인식기의 인식 파라메타로 사용하였다.

• 정보처리학회 논문지
• /
• 제13권4호
• /
• pp.189-198
• /
• 2024

입 모양 인식은 음성 인식의 중요 부분 중 하나로 음성 인식을 위한 입 모양 인식 시스템에서 입 모양 인식 성능을 개선하기 위한 여러 연구가 진행됐다. 최근의 연구에서는 인식 성능을 개선하기 위해 입 모양 인식 시스템의 모델 구조를 수정하는 방법이 사용됐다. 본 연구에서는 모델 구조를 수정하는 것으로 인식 성능을 개선하는 기존의 연구와 달리 모델 구조의 변화 없이 인식 성능을 개선하는 것을 목표로 한다. 모델 구조의 수정 없이 인식 성능을 개선하기 위해, 사람이 하는 입 모양 인식에서 사용되는 단서를 참고해 입 모양 인식 시스템의 기존 관심 영역인 입술 영역과 함께 턱, 뺨과 같은 다른 영역을 관심 영역으로 설정하고 각 관심 영역의 인식률을 비교해 가장 높은 성능의 관심 영역을 제안한다. 또한, 관심 영역 크기를 정규화하는 과정에서 보간법의 차이로 인해 발생하는 정규화 결과의 차이가 인식 성능에 영향을 준다고 가정하고 최근접 이웃 보간법, 이중 선형 보간법, 이중 삼차 보간법을 사용해 동일한 관심 영역을 보간하고 각 보간법에 따른 입 모양 인식률을 비교해 가장 높은 성능의 보간법을 제안한다. 각 관심 영역은 객체 탐지 인공신경망을 학습시켜 검출하고, 각 관심 영역을 정규화하고 특징을 추출하고 결합한 뒤, 결합된 특징들을 차원 축소한 결과를 저차원 공간으로 매핑하는 것으로 동적 정합 템플릿을 생성했다. 생성된 동적 정합 템플릿들과 저차원 공간으로 매핑된 데이터의 거리를 비교하는 것으로 인식률을 평가했다. 실험 결과 관심 영역의 비교에서는 입술 영역만을 포함하는 관심 영역의 결과가 이전 연구의 93.92%의 평균 인식률보다 3.44% 높은 97.36%의 평균 인식률을 보였으며, 보간법의 비교에서는 이중 선형 보간법이 97.36%로 최근접 이웃 보간법에 비해 14.65%, 이중 삼차 보간법에 비해 5.55% 높은 성능을 나타내었다. 본 연구에 사용된 코드는 https://github.com/haraisi2/Lipreading-Systems에서 확인할 수 있다.

• 디지털콘텐츠학회 논문지
• /
• 제7권4호
• /
• pp.235-243
• /
• 2006

본 논문에서는 얼굴의 표정 변화를 인식하여 실시간으로 감정을 표현하는 아바타를 설계하고 구현하는 방법을 제안하였다. 실시간 감정 표현 아바타는 수동으로 아바타의 표정 패턴을 변화를 주는 것이 아니라 웹캠을 이용하여 실시간으로 입 모양 특징을 추출하고 추출한 입 모양의 패턴을 분석한 뒤, 미리 정의된 표정 패턴에 부합되는 것을 찾는다. 그리고 부합된 표정 패턴을 아바타에 적용하여 아바타의 얼굴 표정을 표현한다. 표정 인식 아바타는 웹캠에서 들어온 영상을 모델 접근 방법을 이용하여 보다 빠르게 입 부분을 인식할 수 있도록 하였다. 그리고 표정 패턴 추출은 표정에 따라 입 모양이 변하는 것을 이용하였다. 모델접근 방법을 이용하여 눈의 정보를 찾은 후 그 정보를 이용하여 입 모양을 추출하게 된다. 기본적으로 13가지 입 모양으로 각각의 표정을 유추하고 각 표정 패턴에 맞는 6개의 아바타를 미리 구현하여 보다 빠르게 아바타의 표정을 변할 수 있게 하였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제36권2호
• /
• pp.161-168
• /
• 2009

본 논문에서는 다양한 장애를 가진 사용자들을 위한 지능형 휠체어의 인터페이스를 제안한다. 제안된 시스템의 주된 목적은 전동휠체어의 조이스틱을 사용하기 힘든 장애인들에게 효율적인 인터페이스를 제공함으로써 그들의 안전한 이동성을 보장하여 독립적인 삶을 이끌어 나갈 수 있도록 하는 것이다. 이를 위해 제안된 시스템은 사용자의 얼굴 기울기를 인식하여 휠체어의 회전을 수행하고 입 모양을 인식하여 휠체어의 전진과 정지를 수행 한다. 이러한 얼굴 특징을 인식하기 위해 제안된 시스템은 얼굴 특징 검출기, 얼굴 특징 인식기, 전환기로 구성된다. 얼굴 특징 검출기는 Adaboost를 이용하여 얼굴 영역을 먼저 검출한 후 에지 정보를 이용하여 입 영역을 검출한다. 검출된 결과들은 얼굴 특징 인식기에저 statistical analysis와 K-means clustering을 이용하여 얼굴 각도와 입 모양을 인식한다. 전환기는 인식된 결과들을 휠체어의 모터를 제어하기 위한 명령어로 변환하여 사용자의 얼굴 및 입의 움직임으로 휠체어를 제어할 수 있도록 한다. 제안된 지능형 휠체어의 효율성을 증명하기 위하여 34명의 사용자를 대상으로 다양한 환경에서 실험한 결과 제안된 시스템은 전동 휠체어의 조이스틱을 사용 할 수 없는 장애인들에게 편리한 이동성을 제공하며, 보다 편리하고 친숙한 인터페이스로 사용 될 수 있음을 보여 주었다.