• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• v.9 no.1
• /
• pp.1161-1164
• /
• 2005

본 논문에서는 얼굴 영상에서 눈동자와 입술을 효과적으로 인식하는 방법을 제안하였다. 색 정보를 기반으로 LDA를 이용하여 입술 영역을 찾았다. 눈동자와 흰자위로 구성되는 눈의 형태적인 특징과 눈동자와 눈썹 사이의 관계를 반영하는 평가함수를 정의하여 눈동자를 인식하였다. 입술에서의 밝기차이를 기반으로 가중치 벡터를 정의하여 위 입술과 아래 입술 사이의 경계선을 찾고 입술과 인접한 피부와의 밝기 차이를 이용하여 입술의 양 끝점 및 위와 아래의 끝점을 찾았다. 여러 영상에 대한 실험 결과 좋은 결과를 얻었다.

• Proceedings of the Acoustical Society of Korea Conference
• /
• 1998.06e
• /
• pp.347-350
• /
• 1998

음성신호와 영상신호를 함께 이용하는 바이모달(Bi-modal)음성인식에서 어떤 입술 파라미터를 사용하는가에 따라 인식시스템의 성능이 달라진다. 그래서 본 논문에서는 이미지에 근거한 입술파라미터를 견인하게 추출하기 위한 방법으로 x 프로파일(profile)을 이용한 방법을 사용하였다. 파라미터를 선정을 달리하여 실험한 결과 15dB이상에서는 안쪽입술의 2개의 파라미터를 이용한 경우가, 10dB이하에서는 4개의 입술파라미터를 이용한 경우가 더 좋은 인식률을 보였다. 안쪽 입술 파라미터를 이용한 경우가 바깥쪽 입술 파라미터를 이용한 경우보다 더 좋은 인식률을 보였다.

• Proceedings of the Acoustical Society of Korea Conference
• /
• 1998.06c
• /
• pp.111-114
• /
• 1998

기존의 음성인식시스템의 잡음환경에서 인식률의 한계를 극복하기 위해 음성신호뿐만이 아니라 입술정보를 결합하여 음성인식에 이용하여 바이모달(Bi-modal) 음성인식이 근래에 제안되어지고 있다. 그래서 바이모달 음성인식 시스템을 실제로 구현해보고 인식 실험을 수행해 보았다. 입술영상은 이미지에 근거한 입술모양을 파라메터화하여 인식실험에 사용하였으며 음성과 입술영상을 각각 인식한 후 인식스코어(Score)에 가중치를 적용하여 통합하는 방법을 사용하였다. 마지막으로 바이모달 음성인식의 잡음환경에서의 성능을 알아보기 위해 음성신호에 여러 레벨의 잡음을 섞어서 실험을 하고 잡음환경에서 인식률의 한계를 입술정보를 이용하여 극복할 수 있다는 것을 보이고자 한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2007.05a
• /
• pp.431-434
• /
• 2007

얼굴 인식은 생체인식 기술 중 비 강압식이라는 장점으로 인해 각광받고 있는 분야이다. 그러나 얼굴인식은 조명, 표정에 의해 인식 성능이 저하되는 단점이 있다. 그 중 얼굴표정에 많은 영향을 받으며, 잡음이 많은 부분이 입술부분이다. 입술모양의 변화에 따라 가보벡터 추출에 잡음이 포함되기 때문에, 얼굴 인식 성능이 저하되는 현상이 발생됨을 실험을 통해 알 수 있었다. 따라서 본 논문에서는 입술모양의 변화에 따른 잡음을 줄이기 위해 입술영역에 최적화된 말스버그 가보 웨이브렛 커널(Malsburg Gabor Wavelet Kerne)을 제안한다. 각 입술 특징점에 말스 버그 가보 웨이브렛을 적용하여, 추출된 가보벡터를 통계적으로 분석함으로써 잡음을 확인 할 수 있었으며, 잡음을 최소화하기 위해 입술 영역에 적응적인 말스버그 가보 웨이브렛 커널 을 제안하였다. 실험에 사용한 이미지는 1196 FERET Gellery 이미지를 사용하였으며, 얼굴 인식 성능이 향상됨을 알 수 있었다.

• Journal of KIISE:Software and Applications
• /
• v.31 no.4
• /
• pp.403-410
• /
• 2004

Bimodal speech recognition systems have been proposed for enhancing recognition rate of ASR under noisy environments. Visual feature extraction is very important to develop these systems. To extract visual features, it is necessary to detect exact lip position. This paper proposed the method that detects a lip position using color similarity model and SVM. Face/Lip color distribution is teamed and the initial lip position is found by using that. The exact lip position is detected by scanning neighbor area with SVM. By experiments, it is shown that this method detects lip position exactly and fast.

• Journal of Korea Multimedia Society
• /
• v.6 no.6
• /
• pp.968-976
• /
• 2003

In this paper, we propose a novel method for lip recognition. Lip model is built based on the concatenated gray level distribution model, and the recognition problem is simplified as the minimization problem of matching object function. The Down Hill Simplex Algorithm is used for the minimization with the proposed novel method for setting initial condition, which can refrain Iteration from converging to local minima. The proposed algorithm shows extracting lip shape from the test image where Active Shape Model fails.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.35 no.7C
• /
• pp.598-603
• /
• 2010

In this paper, we work for Lipreading using visual information for ship environment. Lipreading is studied for using image information including lips of a speaker at the existing speech recognition system. This technique is a compensation method to increase recognition rate decreasing remarkably in noisy circumstances. Proposed way improved the rate of recognition improving methode of preprocessing using the Gabor Filter for Ship Environment. The experiment were carried out under changing of light with time in the ship environment with lip image. For Comparing with recognition, make a compare with between method of lip region of interest (ROI) before Gabor filtering and after Gabor filtering. In the case of using method of lip ROI before Gabor filtering, the result of the experiments applying to the proposed ways recognition resulting in 44% of recognition.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.299-302
• /
• 2023

입 모양 인식은 음성인식의 중요한 부분 중 하나로 이를 개선하기위한 다양한 연구가 진행되어 왔다. 기존의 연구에서는 주로 입술주변 영역을 관찰하고 인식하는데 초점을 두었으나, 본 논문은 음성인식 시스템에서 기존의 입술영역과 함께 입술, 턱, 뺨 등 다른 관심 영역을 고려하여 음성인식 시스템의 입모양 인식 성능을 비교하였다. 입 모양 인식의 관심 영역을 자동으로 검출하기 위해 객체 탐지 인공신경망을 사용하며, 이를 통해 다양한 관심영역을 실험하였다. 실험 결과 입술영역만 포함하는 ROI 에 대한 결과가 기존의 93.92%의 평균 인식률보다 높은 97.36%로 가장 높은 성능을 나타내었다.

• Journal of KIISE:Software and Applications
• /
• v.29 no.5
• /
• pp.311-318
• /
• 2002

In this paper, we propose an efficient method for recognizing pupils and lip in a human face. Pupils are detected by a cost function, which uses features based on the eye's shape and a relation between pupil and eyebrow. The inner boundary of lip is detected by weighted vectors based on lip's shape and on the difference of gray level between lip and face skin. These vectors extract four feature points of lip : the top of the upper lip, the bottom of the lower lip, and the two corners. The experiments have been performed for many images and show very encouraging result.

• The Journal of the Acoustical Society of Korea
• /
• v.18 no.3
• /
• pp.68-72
• /
• 1999

The choice of parameters from various lip information and the robustness of extracting lip parameters play important roles in the performance of bimodal speech recognition system. In this paper, lip parameters are extracted by using an automatic extraction algorithm and inner lip parameters effect on the recognition rate more than outer lip parameters. Compared with a manual extraction algorithm, the automatic extraction method is evaluated about its robustness.