• Science of Emotion and Sensibility
• /
• v.1 no.1
• /
• pp.33-40
• /
• 1998

본 논문은 얼굴인식 분야에 있어서 필수 과정인 얼굴 및 얼굴의 주요소인 눈과 입의 추출에 관한 방법을 제시한다. 얼굴 영역 추출은 복잡한 배경하에서 움직임 정보나 색상정보를 사용하지 않고 통계적인 모델에 기반한 일종의 형찬정합 방법을 사용하였다. 통계적인 모델은 입력된 얼굴 영상들의 Hotelling변환 과정에서 생성되는 고유 얼굴로, 복잡한 얼굴 영상을 몇 개의 주성분 갑으로 나타낼 수 있게 한다. 얼굴의 크기, 영상의 명암, 얼굴의 위치에 무관하게 얼굴을 추출하기 위해서, 단계적인 크기를 가지는 탐색 윈도우를 이용하여 영상을 검색하고 영상 강화 기법을 적용한 후, 영상을 고유얼굴 공간으로 투영하고 복원하는 과정을 통해 얼굴을 추출한다. 얼굴 요소의 추출은 각 요소별 특성을 고려한 엣지 추출과 이진화에 따른 프로젝션 히스토그램 분석에 의하여 눈과 입의 경계영역을 추출한다. 얼굴 영상에 관련된 윤곽선 추출에 관한 기존의 연구에서 주로 기하학적인 모양을 갖는 눈과 입의 경우에는 주로 가변 템플릿(Deformable Template)방법을 사용하여 특징을 추출하고, 비교적 다양한 모양을 갖는 눈썹, 얼굴 윤곽선 추출에는 스네이크(Snakes: Active Contour Model)를 이용하는 연구들이 이루어지고 있는데, 본 논문에서는 이러한 기존의 연구와는 달리 스네이크를 이용하여 적절한 파라미터의 선택과 에너지함수를 정의하여 눈과 입의 윤곽선 추출을 실험하였다. 복잡한 배경하에서 얼굴 영역의 추출, 추출된 얼굴 영역에서 눈과 입의 영역 추출 및 윤곽선 추출이 비교적 좋은 결과를 보이고 있다.

• The Journal of the Acoustical Society of Korea
• /
• v.20 no.6
• /
• pp.51-56
• /
• 2001

Recent researches have been focusing on jointly using lip motions and speech for reliable speech recognitions in noisy environments. To this end, this paper proposes the method of combining the visual speech recognizer and the conventional speech recognizer with each output properly weighted. In particular, we propose the method of autonomously determining the weights, depending on the amounts of noise in the speech. The correlations between adjacent speech samples and the residual errors of the LPC analysis are used for this determination. Simulation results show that the speech recognizer combined in this way provides the recognition performance of 83 ％ even in severely noisy environments.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.3 no.1
• /
• pp.59-68
• /
• 1999

Recently, research and developmental direction of communication system is concurrent adopting voice data and face image in speaking to provide more higher recognition rate then in the case of only voice data. Therefore, we present a method of lipreading in speech image sequence by using the 3-D facial shape model. The method use a feature information of the face image such as the opening-level of lip, the movement of jaw, and the projection height of lip. At first, we adjust the 3-D face model to speeching face image sequence. Then, to get a feature information we compute variance quantity from adjusted 3-D shape model of image sequence and use the variance quality of the adjusted 3-D model as recognition parameters. We use the intensity inclination values which obtaining from the variance in 3-D feature points as the separation of recognition units from the sequential image. After then, we use discrete HMM algorithm at recognition process, depending on multiple observation sequence which considers the variance of 3-D feature point fully. As a result of recognition experiment with the 8 Korean vowels and 2 Korean consonants, we have about 80% of recognition rate for the plosives and vowels. We propose that usability with visual distinguishing factor that using feature vector because as a result of recognition experiment for recognition parameter with the 10 korean vowels, obtaining high recognition rate.

• Proceedings of the Korean Society for Emotion and Sensibility Conference
• /
• 1998.11a
• /
• pp.25-29
• /
• 1998

본 논문은 얼굴 인식 또는 표정 인식 분야에 있어서 중요한 특징을 나타내는 얼굴과 얼굴의 주요소인 눈과 입, 눈썹의 영역 추출 및 그의 윤곽선·추출에 관한 방법을 제시한다. 얼굴요소의 영역 추출은 엣지 정보와 이진화 영상을 병합하여 이용한 프로젝션 분석을 통하여 얼굴 및 각 얼굴요소를 포함하는 최소포함사각형(MER: Minimum Enclosing Rectangle)을 추출하였다. 얼굴 영상에 관련된 윤곽선 연구에는 가변 템플릿(Deformable Template), 스네이크(Snakes: Active Contour Model)를 이용하는 연구들이 이루어지고 있는데 가변 템플릿 방법은 수행시간이 느리고 추출된 윤곽선의 모양이 획일 된 모양을 갖는 특성이 있다. 본 논문에서는 사람마다 얼굴요소의 모양의 개인차가 반영되고 빠른 수렴을 할 수 있는 스네이크 모델을 정의하여 눈, 입, 눈썹, 얼굴의 윤곽선 추출 실험을 하였다. 또한 스네이크는 초기 윤곽선의 설정이 윤곽선의 추출 곁과에 큰 영향을 미치므로, 초기 윤곽선의 설정 과정이 매우 중요하다. 본 논문에서는 얼굴 및 각 얼굴요소를 포함하는 각각의 최소 포함 사각형(MER)을 추출하고, 이 추출된 MER 내에서 얼굴 및 각 얼굴요소의 일반적인 모양을 초기 윤곽선으로 설정하는 방법을 사용하였다. 실험결과 눈, 입, 얼굴의 MER의 추출은 모두 성공하였고, 눈썹이 흐린 사람들의 경우에만 눈썹의 MER추출이 졸지 않았다. 추출된 MER을 기반으로 하여 스네이크 모델을 적용한 결과, 눈, 입, 눈썹, 얼굴의 다양한 모양을 반영한 윤곽선 추출 결과를 보였다. 특히 눈의 경우는 1차 유도 엣지 연산자에 의한 엣지 와 2차 유도 연산자를 이용한 영점 교차점(Zero Crossing)과 병합한 에너지 함수를 설정하여 보다 더 나은 윤곽선 추출 결과를 보였다. 얼굴의 윤곽선의 경우도 엣지 값과 명도 값을 병합한 에너지 함수에 의해 비교적 정확한 결과를 얻을 수 있었다.잘 동작하였다.되는 데이타를 입력한후 마우스로 원하는 작업의 메뉴를 선택하면 된다. 방법을 타액과 혈청내 testosterone 농도 측정에 응용하여 RIA의 결과와 비교하여 본 바 상관관계가 타액에서 r=0.969, 혈청에서 r=0.990으로 두 결과가 잘 일치하였다. 본 실험에서 측정된 한국인 여성의 타액내 testosterone농도는 107.7$\pm$12.0 pmol／l이었고, 남성의 타액내 농도는 274.2$\pm$22.1 pmol／l이었다. 이상의 결과로 보아 본 연구에서 정립된 EIA 방법은 RIA를 대신하여 소규모의 실험실에서도 활용할 수 있을 것으로 사려된다.또한 상실기 이후 배아에서 합성되며, 발생시기에 따라 그 영향이 다르고 팽창과 부화에 관여하는 것으로 사료된다. 더욱이, 조선의 ${\ulcorner}$구성교육${\lrcorner}$이 조선총독부의 관리하에서 실행되었다는 것을, 당시의 사범학교를 중심으로 한 교육조직을 기술한 문헌에 의해 규명시켰다.nd of letter design which represents -natural objects and was popular at the time of Yukjo Dynasty, and there are some documents of that period left both in Japan and Korea. "Hyojedo" in Korea is supposed to have been influenced by the letter design. Asite- is also considered to have been "Japanese Letter Jobcheso." Therefore, the purpose of this study is to look into the origin of the letter designs in the Chinese character culture

• Proceedings of the Korea Information Processing Society Conference
• /
• 2005.05a
• /
• pp.225-228
• /
• 2005

얼굴표정은 상대방에게 자신의 감정과 생각을 간접적으로 나타내는 중요한 의사소통의 표현이 되며 상대방에게 직접적인 표현방법의 수단이 되기도 한다. 이러한 표현 방법은 컴퓨터를 매개체로 하는 메신저간의 의사 전달에 있어서 얼굴표정을 사용함으로써 상대방의 감정을 문자로만 인식하는 것이 아니라 현재 상대방이 느끼는 내적인 감정까지 인식하여 대화할 수 있다. 본 논문은 3D 메시로 구성된 얼굴 모델을 이용하여 사용자가 입력한 한글 메시지의 한글 음절을 분석 추출 하고, 3D 얼굴 메시에 서 8개의 입술 제어점을 사용하여 입 모양의 변화를 보여주는 3D Avatar 아바타 메신저 시스템을 설계 및 구현 하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.267-269
• /
• 2020

입모양 인식(Lip Reading) 기술은 입술 움직임을 통해 발화를 분석하는 기술이다. 본 논문에서는 일상적으로 사용하는 10개의 상용구에 대해서 발화자의 안면 움직임 분석을 통해 실시간으로 분류하는 연구를 진행하였다. 시간상의 연속된 순서를 가진 영상 데이터의 특징을 고려하여 3차원 합성곱 신경망 (Convolutional Neural Network)을 사용하여 진행하였지만, 실시간 시스템 구현을 위해 연산량 감소가 필요했다. 이를 해결하기 위해 차 영상을 이용한 2차원 합성곱 신경망과 LSTM 순환 신경망 (Long Short-Term Memory) 결합 모델을 설계하였고, 해당 모델을 이용하여 실시간 시스템 구현에 성공하였다.

• Journal of Korea Multimedia Society
• /
• v.11 no.1
• /
• pp.34-43
• /
• 2008

This paper presents a system for recognizing sunglasses and a mask of an ATM (Automatic Teller Machine) user. The proposed system extracts firstly facial contour, then from this extraction results it estimates the regions of eyes and mouth. Finally, it recognizes sunglasses and a mouth using Histogram Indexing based on those regions. We adopt a face shape model to be able to extract facial contour and to estimate the regions of eyes and mouth when those regions are occluded by sunglasses and a mask. To improve the fitting accuracy of the shame model, we adopt 2-step face detection method and conduct fitting several times by varying the initial position of the model instance. To achieve a good performance of the face detection method based on a background model, we enable the system to automatically update the background model. In experiment, we present some experiments on setting parameters of the system with images taken from in our laboratory, and demonstrate the results of recognizing sunglasses and a mask.

• Journal of the Korea Society of Computer and Information
• /
• v.15 no.7
• /
• pp.75-81
• /
• 2010

In this paper, we propose an emotion messenger which recognizes face or hand gestures of a user using a WebCAM, converts recognized emotions (joy, anger, grief, happiness) to flash-cones, and transmits them to the counterpart. This messenger consists of face recognition module, hand gesture recognition module, and messenger module. In the face recognition module, it converts each region of the eye and the mouth to a binary image and recognizes wink, kiss, and yawn according to shape change of the eye and the mouth. In hand gesture recognition module, it recognizes gawi-bawi-bo according to the number of fingers it has recognized. In messenger module, it converts wink, kiss, and yawn recognized by the face recognition module and gawi-bawi-bo recognized by the hand gesture recognition module to flash-cones and transmits them to the counterpart. Through simulation, we confirmed that CPU share ratio of the emotion messenger is minimized. Moreover, with respect to recognition ratio, we show that the hand gesture recognition module performs better than the face recognition module.

• Proceedings of the KIEE Conference
• /
• 2000.11d
• /
• pp.812-814
• /
• 2000

본 논문에서는 실시간 음성 인식에 의한 립싱크(Lip-synchronization) 애니메이션 제공 방법에 관한 것으로서, 소정의 음성정보를 인식하여 이 음성 정보에 부합되도록 애니메이션의 입모양을 변화시켜 음성정보를 시각적으로 전달하도록 하는 립싱크 방법에 대한 연구이다. 인간의 실제 발음 모습에 보다 유사한 립싱크와 생동감 있는 캐릭터의 얼굴 형태를 실시간으로 표현할 수 있도록 마이크 등의 입력을 받고 신경망을 이용하여 실시간으로 음성을 인식하고 인식된 결과에 따라 2차원 애니메이션을 모핑 하도록 모델을 상고 있다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2008.06a
• /
• pp.299-300
• /
• 2008