• 정보처리학회논문지B
• /
• 제16B권4호
• /
• pp.299-308
• /
• 2009

AAM(Active Appearance Model)은 PCA(Principal Component Analysis)를 기반으로 객체의 형태(shape)와 질감(texture) 정보에 대한 통계적 모델을 통해 얼굴의 특징점을 검출하는 알고리즘으로 얼굴인식, 얼굴 모델링, 표정인식과 같은 응용에 널리 사용되고 있다. 하지만, AAM알고리즘은 초기 값에 민감하고 입력영상이 학습 데이터 영상과의 차이가 클 경우에는 검출 에러가 증가되는 문제가 있다. 특히, 입을 다문 입력얼굴 영상의 경우에는 비교적 높은 검출 정확도를 나타내지만, 사용자의 표정에 따라 입을 벌리거나 입의 모양이 변형된 얼굴 입력 영상의 경우에는 입술에 대한 검출 오류가 매우 증가되는 문제점이 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 입술 특징점 검출을 통해 정확한 입술 영역을 검출한 후에 이 정보를 이용하여 AAM을 수행함으로써 얼굴 특징점 검출 정확성을 향상시키는 방법을 제안한다. 본 논문에서는 AAM으로 검출한 얼굴 특징점 정보를 기반으로 초기 입술 탐색 영역을 설정하고, 탐색 영역 내에서 Canny 경계 검출 및 히스토그램 프로젝션 방법을 이용하여 입술의 양 끝점을 추출한 후, 입술의 양 끝점을 기반으로 재설정된 탐색영역 내에서 입술의 칼라 정보와 에지 정보를 함께 결합함으로써 입술 검출의 정확도 및 처리속도를 향상시켰다. 실험결과, AAM 알고리즘을 단독으로 사용할 때보다, 제안한 방법을 사용하였을 경우 입술 특징점 검출 RMS(Root Mean Square) 에러가 4.21픽셀만큼 감소하였다.

• 대한치과교정학회지
• /
• 제37권5호
• /
• pp.331-340
• /
• 2007

이 연구는 한국인 여자 유명 모델과 일반인의 정면입술의 차이점을 비교하여 아름다운 입술의 특징을 규명하며 양악 전방 분절골절단술을 시행한 환자에서 정면입술의 변화를 측정하고 그 수술 결과를 한국인 모델과 비교하여 차이점을 알아보고자 하였다. 한국인 유명 모델 30명, 일반인 26명과 양악 전방 분절골절단술을 받은 환자의 10명을 대상으로 정면입술 부위의 12개의 선 길이, 홍순의 5개의 각도와 둘레 및 면적을 측정하였고, 통계분석은 unpaired & paired t-test를 이용하였다. 한국인 유명 모델 군과 일반인 군의 비교에서 하안면 얼굴 폭경, 하안면 수직 길이, 상홍순의 높이, 하순의 길이, 상홍순의 구각부 각도와 central bow의 각도는 의미 있는 차이로 일반인 군보다 유명 모델 군에서 작았다. 그러나, 입술의 폭, 하홍순의 높이, Cupid's bow tip간 거리와 하홍순의 구각부 각도는 유명 모델 군에서 컸고 입술의 둘레와 전체 면적에서도 일반인 군보다 쳐다 양악 전방 분절골절단술을 받은 환자의 정면입술에서는 하안면 얼굴 폭경, 상홍순의 높이, Cupid's bow tip에서 구각부까지의 길이와 상홍순의 면적이 통계적으로 의미 있는 변화를 보였고 한국인 유명 모델과의 비교에서 비슷한 수치를 나타내었지만 상순의 길이는 반대로 증가하였다. 연구의 결과는 교정치료 혹은 양악 전방 분절골절단술을 계획할 때 정면 입술 심미성을 평가하는데 도움이 될 것으로 생각된다.

• 한국정보과학회논문지:시스템및이론
• /
• 제26권9호
• /
• pp.1031-1041
• /
• 1999

기존의 한글에 대한 입술 애니메이션 방법은 음소의 입모양을 몇 개의 입모양으로 정의하고 이들을 보간하여 입술을 애니메이션하였다. 하지만 발음하는 동안의 실제 입술 움직임은 선형함수나 단순한 비선형함수가 아니기 때문에 보간방법에 의해 중간 움직임을 생성하는 방법으로는 음소의 입술 움직임을 효과적으로 생성할 수 없다. 또 이 방법은 동시조음도 고려하지 않아 음소들간에 변화하는 입술 움직임도 표현할 수 없었다. 본 논문에서는 동시조음을 고려하여 한글을 자연스럽게 발음하는 입술 애니메이션 방법을 제안한다. 비디오 카메라로 발음하는 동안의 음소의 움직임들을 측정하고 입술 움직임 제어 파라미터들을 추출한다. 각각의 제어 파라미터들은 L fqvist의 스피치 생성 제스처 이론(speech production gesture theory)을 이용하여 실제 음소의 입술 움직임에 근사한 움직임인 지배함수(dominance function)들로 정의되고 입술 움직임을 애니메이션할 때 사용된다. 또, 각 지배함수들은 혼합함수(blending function)와 반음절에 의한 한글 합성 규칙을 사용하여 결합하고 동시조음이 적용된 한글을 발음하게 된다. 따라서 스피치 생성 제스처 이론을 이용하여 입술 움직임 모델을 구현한 방법은 기존의 보간에 의해 중간 움직임을 생성한 방법보다 실제 움직임에 근사한 움직임을 생성하고 동시조음도 고려한 움직임을 보여준다.Abstract The existing lip animation method of Hangul classifies the shape of lips with a few shapes and implements the lip animation with interpolating them. However it doesn't represent natural lip animation because the function of the real motion of lips, during articulation, isn't linear or simple non-linear function. It doesn't also represent the motion of lips varying among phonemes because it doesn't consider coarticulation. In this paper we present a new coarticulation model for the natural lip animation of Hangul. Using two video cameras, we film the speaker's lips and extract the lip control parameters. Each lip control parameter is defined as dominance function by using L fqvist's speech production gesture theory. This dominance function approximates to the real lip animation of a phoneme during articulation of one and is used when lip animation is implemented. Each dominance function combines into blending function by using Hangul composition rule based on demi-syllable. Then the lip animation of our coarticulation model represents natural motion of lips. Therefore our coarticulation model approximates to real lip motion rather than the existing model and represents the natural lip motion considered coarticulation.

• 한국지능시스템학회논문지
• /
• 제19권4호
• /
• pp.478-484
• /
• 2009

음성 인식 기술은 편리한 삶을 추구하는 요즘 추세에 HMI를 위해 매력적인 기술이다. 음성 인식기술에 대한 많은 연구가 진행되고 있으나 여전히 잡음 환경에서의 성능은 취약하다. 이를 해결하기 위해 요즘은 청각 정보 뿐 아니라 시각 정보를 이용하는 시각 음성인식에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 모바일 환경에서의 시각 음성인식을 위한 입술의 탐지 방법을 제안한다. 시각 음성인식을 위해서는 정확한 입술의 탐지가 필요하다. 우리는 입력 영상에서 입술에 비해 보다 찾기 쉬운 눈을 이용하여 눈의 위치를 먼저 탐지한 후 이 정보를 이용하여 대략적인 입술 영상을 구한다. 구해진 입술 영상에 K-means 집단화 알고리듬을 이용하여 영역을 분할하고 분할된 영역들 중 가장 큰 영역을 선택하여 입술의 양 끝점과 중심을 얻는다. 마지막으로, 실험을 통하여 제안된 기법의 성능을 확인하였다.

• 한국통신학회논문지
• /
• 제35권7C호
• /
• pp.598-603
• /
• 2010

이 논문에서는 해양 선박 안의 잡음 환경에서 현저하게 떨어지는 음성 인식률을 높이기 위해 기존 음성인식 시스템에 화자의 입술의 움직임 변화를 입력정보로 이용하려는 입술 읽기에 대해서 연구하였다. 제안한 방법은 획득한 입력 영상에 Gabor 여파기를 이용하여 전처리과정의 성능을 향상 시켜 인식률을 높였다. 실험은 기본 시스템의 조명의 변화가 발생하는 선박 안의 환경에서 시간에 따라 입술 영상을 획득하여 수행하였으며, 인식 성능비교를 위해서 획득한 입력 영상을 이산여현파변환을 수행한 뒤 얻은 입술 관심영역에 대해 Gabor 여파기를 이용하여 얻어진 영상에 입술 접기를 수행하여 인식하는 방법과 입술 접기를 수행한 영상에 대해 인식을 수행하는 방법으로 실험하였다. 제안한 방법을 적용한 선박환경에서 실험 결과는 관심영역 영상에 Gabor 필터링을 이용하였을 때 기본 시스템에 견주어 매개변수가 거의 줄어들지 않았으며 그 인식률은 44%이었다. 한편, 입술 접기를 수행한 영상을 Gabor 여파하여 조명의 영향에 의한 성분을 제거한 바, 인식률이 11%쯤 높아진 55.8%를 나타내었다.

• 한국음향학회지
• /
• 제18권3호
• /
• pp.68-72
• /
• 1999

바이모달 음성인식 시스템에서 어떤 입술파라미터를 선정하느냐 그리고 얼마나 견인하게 추출하는 가에 따라서 인식률에 큰 영향을 미친다. 그래서 본 논문에서는 자동 추출 알고리듬을 이용하여 입술파라미터를 추출하고 안쪽 입술 파라미터가 바깥 입술 파라미터보다 바이모달 음성인식 시스템에 더 많은 영향을 미친다는 것을 보였다. 그리고 손으로 추출한 추출알고리듬과 비교하여 자동 추출알고리듬의 신뢰성을 비교하였다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2009년도 제40회 하계학술대회
• /
• pp.1913_1914
• /
• 2009

본 논문에서 조명환경하에서 음성/영상 연동시스템을 통해서 외부음향잡음의 차단을 위한 강인한 입술움직임 영상영역을 추적하는 한 가지 방법을 제안한다. 조명환경하에서 강인한 입술움직임 영상영역을 추적하기 위해 온라인상에서 입술움직임 표준영상을 수집하였고 다양한 조명환경에 적응하는 입술 움직임 영상의 특징들을 추출하였다. 동시에 온라인 템플릿 영상을 획득하였고, 이 영상들을 템플릿 정합을 위해 사용했다. 음성/영상처리시스템의 연동결과, 다양한 조명환경하에서 그 연동률을 99.3%까지 높일 수 있었고 음향잡음에 의한 음성인식 실행을 원천적으로 차단할 수 있었다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2002년도 춘계학술발표논문집(하)
• /
• pp.547-552
• /
• 2002

본 논문에서는 다수의 사람이 존재하는 입력영상에서 입술 움직임 정보를 이용한 실시간 화자의 클로즈업(close-up) 시스템을 구현한다. 칼라 CCD 카메라를 통해 입력되는 동영상에서 화자를 검출한 후 입술 움직임 정보를 이용하여 다른 한 대의 카메라로 화자를 클로즈업한다. 구현된 시스템은 얼굴색 정보와 형태 정보를 이용하여 각 사람의 얼굴 및 입술 영역을 검출한 후, 입술 영역 변화량을 이용하여 화자를 검출한다. 검출된 화자를 클로즈업하기 위하여 PTZ(Pan/Tilt/Zoom) 카메라를 사용하였으며, RS-232C 시리얼 포트를 이용하여 카메라를 제어한다. 실험결과 3인 이상의 입력 동영상에서 정확하게 화자를 검출할 수 있으며, 움직이는 화자의 얼굴 트레킹이 가능하다.

• 한국정보통신학회논문지
• /
• 제10권10호
• /
• pp.1891-1896
• /
• 2006

이 논문에서는 능동형태 모델을 개선하여 입술의 형태를 효과적으로 추출하는 방법을 제안하였다. 입술의 형태변형은 능동형태 모델에 기반을 둔 통계적 형태 변형 모델을 사용하여 표현하였다. 능동형태 모델에서 각 점은 지엽적인 정보인 프로파일을 기반으로 독립적으로 이동하기 때문에 많은 오류가 발생할 수 있다. 전역적인 정보를 사용하기 위하여 이 논문에서는 능동윤곽선 모델에서 사용하는 것과 유사한 에너지 함수를 정의하고 전체 에너지가 최소화되는 위치로 점들이 이동하게 하였다. Tulip 1 데이터 베이스에 있는 입술 영상을 대상으로 실험한 결과, 제안한 방법이 기존 방법보다 실제 형태에 가깝게 입술을 추출하였다.

• 한국음향학회지
• /
• 제9권4호
• /
• pp.77-85
• /
• 1990

본 연구는 청각조건과 입술운동 조건에서 나타나는 최근 및 접미효과가 동일한 기제에 의해 처리된 결과라는 Greene 와 Crowder(1984)의 수정된 PAS모형을 검증하기 위해 시행되었다. 최근 및 접미효과와 상호작용하는 것으로 보이는 음성적 특성을 실험조작하여 청각과 입술운동 조건에서 자음과 모음간에 차별적 회상효과를 보이는지 알아보았다. 이것은 Turner 등(1987)의 주장과 일치하는 결과이다. 한편, 잡음-입술운동 조건과 입술운동 조건의 마지막 계열위치에서 유의미한 회상 차이를 보이지 않았으므로, 잡음은 입술운동 정보에 대한 최근 효과에 영향을 주지 않고, 따라서 청각정보와 입술운동 정보는 다른 기제를 통해 부호화되는 것으로 보인다.