• Proceedings of the Korea Information Processing Society Conference
• /
• 2004.11a
• /
• pp.887-890
• /
• 2004

임의 영상에서 얼굴 영역을 검출하고 얼굴 특징점 정보를 획득하는 기술은 얼굴 인식 및 표정 인식 시스템에서 중요한 역할을 한다. 본 논문은 색도 정보와 Top-hat 연산을 이용함으로써 얼굴의 유효 특징점을 효과적으로 검출할 수 있는 방법을 제안한다. 제안한 방법은 얼굴 영역 검출, 눈/눈썹 특징추출, 입술 특징추출의 세 과정으로 나눈다. 얼굴 영역은 $YC_{b}C_{r}$을 이용하여 피부색 영역을 추출한 후 모폴로지 연산과 분할을 통해 획득하고, 눈/눈썹 특징점은 BWCD(Black & White Color Distribution) 변환과 Top-hat 연산을 이용하며. 입술 특징점은 눈/눈썹과의 지정학적 상관관계와 입술 색상분포를 이용하는 방법을 사용한다. 실험을 수행한 결과. 제안한 방법이 다양한 영상에 대해서도 효과적으로 얼굴의 유효 특징점을 검출할 수 있음을 확인하였다.

• The Journal of the Acoustical Society of Korea
• /
• v.21 no.1
• /
• pp.19-26
• /
• 2002

This paper defines the visual basic speech units, visemes and investigates various visual features of a lip for the effective Korean lipreading. First, we analyzed the visual characteristics of the Korean vowels from the database of the lip image sequences obtained from the multi-speakers, thereby giving a definition of seven Korean vowel visemes. Various spatio-temporal features of a lip are extracted from the feature points located on both inner and outer lip contours of image sequences and their classification performances are evaluated by using a hidden Markov model based classifier for effective lipreading. The experimental results for recognizing the Korean visemes have demonstrated that the feature victor containing the information of inner and outer lip contours can be effectively applied to lipreading and also the direction and magnitude of the movement of a lip feature point over time is quite useful for Korean lipreading.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.10 no.10
• /
• pp.1891-1896
• /
• 2006

In this paper, we propose an improved Active Shape Model for extracting lip contour. Lip deformation is modeled by a statistically deformable model based Active Shape Model. Because each point is moved independently using local profile information in Active Shape Model, many error may happen. To use a global information, we define an energy function similar to an energy function in Active Contour Model, and points are moved to positions at which the total energy is minimized. The experiments have been performed for many lip images of Tulip 1 database, and show that our method extracts lip shape than a traditional ASM more exactly.

• Proceedings of the Acoustical Society of Korea Conference
• /
• autumn
• /
• pp.45-48
• /
• 2001

립리딩은 잡음 환경 하에서 음성 인식 성능을 향상을 위해 영상정보를 이용한 바이모달(bimodal)음성인식으로 연구되었다[1][2]. 그 일환으로 이미 영상정보를 이용한 립리딩은 구현되었다. 그러나 현재까지의 시스템들은 환경의 변화에 강인하지 못하다. 본 논문에서는 이미지 기반 립리딩 방법을 적용하여 입술 영역을 보다 안정적으로 찾아 성능을 향상 시켰다. 그러나 이 방법은 많은 데이터량을 처리해야 하므로 전처리 과정이 필요하다. 전처리로 입력영상을 그레이 레벨로 변환하는 방법과, 입술을 반으로 접는 방법, 그리고 주성분 분석(PCA: Principal Component Analysis)을 사용하였다. 또한 인식성능 향상을 위해 음성에서 잡음 제거나 분석$\cdot$합성에 효과적인 성능을 보이는 RASTA(Relative Spectral)필터를 적용하여 시간 영역에서의 변화가 적은 성분이나 급변하는 성분, 그 밖의 잡음 등을 제거하였다. 그 결과 $72.7\%$의 높은 인식 성능을 보였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2002.11a
• /
• pp.707-710
• /
• 2002

본 논문은 오디오와 비디오 정보의 융합을 통한 멀티 모달 음성 인식 시스템을 제안한다. 음성 특징 정보와 영상 정보 특징의 융합을 통하여 잡음이 많은 환경에서 효율적으로 사람의 음성을 인식하는 시스템을 제안한다. 음성 특징 정보는 멜 필터 캡스트럼 계수(Mel Frequency Cepstrum Coefficients: MFCC)를 사용하며, 영상 특징 정보는 주성분 분석을 통해 얻어진 특징 벡터를 사용한다. 또한, 영상 정보 자체의 인식률 향상을 위해 피부 색깔 모델과 얼굴의 형태 정보를 이용하여 얼굴 영역을 찾은 후 강력한 입술 영역 추출 방법을 통해 입술 영역을 검출한다. 음성-영상 융합은 변형된 시간 지연 신경 회로망을 사용하여 초기 융합을 통해 이루어진다. 실험을 통해 음성과 영상의 정보 융합이 음성 정보만을 사용한 것 보다 대략 5%-20%의 성능 향상을 보여주고 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.211-213
• /
• 2022

Lip Reading(독순술(讀脣術)) 이란 입술의 움직임을 보고 상대방이 무슨 말을 하는지 알아내는 기술이다. 본 논문에서는 MBC, SBS 뉴스 클로징 영상에서 쓰이는 문장 10개를 데이터로 사용하고 CNN(Convolutional Neural Network) 아키텍처 중 모바일 기기에서 동작을 목표로 한 MobileNet을 모델로 이용하여 발화자의 입모양을 통해 문장 인식 연구를 진행한 결과를 제시한다. 본 연구는 MobileNet과 LSTM을 활용하여 한국어 입모양을 인식하는데 목적이 있다. 본 연구에서는 뉴스 클로징 영상을 프레임 단위로 잘라 실험 문장 10개를 수집하여 데이터셋(Dataset)을 만들고 발화한 입력 영상으로부터 입술 인식과 검출을 한 후, 전처리 과정을 수행한다. 이후 MobileNet과 LSTM을 이용하여 뉴스 클로징 문장을 발화하는 입모양을 학습 시킨 후 정확도를 알아보는 실험을 진행하였다.

• The Journal of the Acoustical Society of Korea
• /
• v.22 no.5
• /
• pp.375-382
• /
• 2003

Lip-reading technique based on bimodal is to enhance speech recognition rate in noisy environment. It is most important to detect the correct lip-image. But it is hard to estimate stable performance in dynamic environment, because of many factors to deteriorate Lip-reading's performance. There are illumination change, speaker's pronunciation habit, versatility of lips shape and rotation or size change of lips etc. In this paper, we propose the IIR filtering in time-domain for the stable performance. It is very proper to remove the noise of speech, to enhance performance of recognition by digital filtering in time domain. While the lip-reading technique in whole lip image makes data massive, the Principal Component Analysis of pre-process allows to reduce the data quantify by detection of feature without loss of image information. For the observation performance of speech recognition using only image information, we made an experiment on recognition after choosing 22 words in available car service. We used Hidden Markov Model by speech recognition algorithm to compare this words' recognition performance. As a result, while the recognition rate of lip-reading using PCA is 64%, Time-domain filter applied to lip-reading enhances recognition rate of 72.4%.

• Journal of Korea Multimedia Society
• /
• v.14 no.4
• /
• pp.494-503
• /
• 2011

In this paper, we propose a recognition application of facial expression for laughter theraphy on smartphone. It detects face region by using AdaBoost face detection algorithm from the front camera image of a smartphone. After detecting the face image, it detects the lip region from the detected face image. From the next frame, it doesn't detect the face image but tracks the lip region which were detected in the previous frame by using the three step block matching algorithm. The size of the detected lip image varies according to the distance between camera and user. So, it scales the detected lip image with a fixed size. After that, it minimizes the effect of illumination variation by applying the bilateral symmetry and histogram matching illumination normalization. After that, it computes lip eigen vector by using PCA(Principal Component Analysis) and recognizes laughter expression by using a multilayer perceptron artificial network. The experiment results show that the proposed method could deal with 16.7 frame/s and the proposed illumination normalization method could reduce the variations of illumination better than the existing methods for better recognition performance.

• Journal of Korea Society of Industrial Information Systems
• /
• v.25 no.4
• /
• pp.9-16
• /
• 2020

Pronunciation recognition systems that use only video information and ignore voice information can be applied to various customized services. In this paper, we develop a system that applies a Bayesian classifier to distinguish Korean vowels via lip shapes in images. We extract feature vectors from the lip shapes of facial images and apply them to the designed machine learning model. Our experiments show that the system's recognition rate is 94% for the pronunciation of 'A', and the system's average recognition rate is approximately 84%, which is higher than that of the CNN tested for comparison. Our results show that our Bayesian classification method with feature values from lip region landmarks is efficient on a small training set. Therefore, it can be used for application development on limited hardware such as mobile devices.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2002.05a
• /
• pp.448-451
• /
• 2002

This study will offer multi-feature recognition instead of an using mono-feature to improve the accuracy of recognition. Each Feature can be found by following ways. For a face, the feature is calculated by the principal component analysis with wavelet multiresolution. For a lip, a filter is used to find out on equation to calculate the edges of the lips first. Then the other feature is calculated by the distance ratio of facial parameters. We've sorted backpropagation neural network and experimented with the inputs used above and then based on the experimental results we discuss the advantage and efficiency.