• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 1999.11b
• /
• pp.15-20
• /
• 1999

본 논문에서는 사람의 정면 얼굴을 찍은 컬러 동영상에서 얼굴의 각 구성 요소에 대한 특징점들을 추출하여 3차원 개인 얼굴 모델을 생성하고 이를 얼굴의 표정 움직임에 따라 애니메이션 하는 방법을 제시한다. 제안된 방법은 얼굴의 정면만을 촬영하도록 고안된 헬멧형 카메라( Head-mounted camera)를 사용하여 얻은 2차원 동영상의 첫 프레임(frame)으로부터 얼굴의 특징점들을 추출하고 이들과 3차원 일반 얼굴 모델을 바탕으로 3차원 얼굴 특징점들의 좌표를 산출한다. 표정의 변화는 초기 영상의 특징점 위치와 이 후 영상들에서의 특징점 위치의 차이를 기반으로 알아낼 수 있다. 추출된 특징점 및 얼굴 움직임은 보다 다양한 응용 이 가능하도록 최근 1단계 표준이 마무리된 MPEG-4 SNHC의 FDP(Facial Definition Parameters)와FAP(Facial Animation Parameters)의 형식으로 표현되며 이를 이용하여 개인 얼굴 모델 및 애니메이션을 수행하였다. 제안된 방법은 단일 카메라로부터 촬영되는 영상을 기반으로 이루어지는 MPEG-4 기반 화상 통신이나 화상 회의 시스템 등에 유용하게 사용될 수 있다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.06a
• /
• pp.121-123
• /
• 2006

얼굴의 표정은 얼굴의 구성요소 같은 기하학적 정보와 조명이나 주름 같은 세부적인 정보들로 표현된다. 얼굴 표정은 기하학적 변형만으로는 실감적인 표정을 생성하기 힘들기 때문에 기하학적 변형과 더불어 텍스쳐 같은 세부적인 정보도 함께 변형해야만 실감적인 표현을 할 수 있다. 표정비율이미지 (Expression Ratio Image)같은 얼굴 텍스처의 세부적인 정보를 변형하기 위한 기존 방법들은 조명에 따른 피부색의 변화를 정확히 표현할 수 없는 단점이 있다. 따라서 본 논문에서는 이러한 문제를 해결하기 위해 서로 다른 조명 조건에서도 실감적인 표정 텍스처 정보를 적용할 수 있는 비선형 피부색 모델 기반의 표정 합성 방법을 제안한다. 제안된 방법은 동적 외양 모델을 이용한 자동적인 얼굴 특징 추출과 와핑을 통한 표정 변형 단계, 비선형 피부색 변화 모델을 이용한 표정 생성 단계, Euclidean Distance Transform (EDT)에 의해 계산된 혼합 비율을 사용한 원본 얼굴 영상과 생성된 표정의 합성 등 총 3 단계로 구성된다. 실험결과는 제안된 방법이 다양한 조명조건에서도 자연스럽고 실감적인 표정을 표현한다는 것을 보인다.

• The KIPS Transactions:PartB
• /
• v.18B no.6
• /
• pp.375-384
• /
• 2011

This paper suggests a method to recognize facial expressions of animation characters by means of dominant colors and feature points. The proposed method defines a simplified mesh model adequate for the animation character and detects its face and facial components by using dominant colors. It also extracts edge-based feature points for each facial component. It then classifies the feature points into corresponding AUs(action units) through neural network, and finally recognizes character facial expressions with the suggested AU specification. Experimental results show that the suggested method can recognize facial expressions of animation characters reliably.

• The Journal of the Korea institute of electronic communication sciences
• /
• v.15 no.1
• /
• pp.85-92
• /
• 2020

Deep learning shows outstanding performance in image and video analysis, such as object classification, object detection and semantic segmentation. In this paper, it is analyzed that the performances of deep learning models can be affected by characteristics of train dataset. It is proposed as a method for selecting activation function and optimization algorithm of deep learning to classify facial expression. Classification performances are compared and analyzed by applying various algorithms of each component of deep learning model for CK+, MMI, and KDEF datasets. As results of simulation, it is shown that genetic algorithm can be an effective solution for optimizing components of deep learning model.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.1057-1062
• /
• 2007

얼굴표정 인식은 심리학 연구, 얼굴 애니메이션 합성, 로봇공학, HCI(Human Computer Interaction) 등 다양한 분야에서 중요성이 증가하고 있다. 얼굴표정은 사람의 감정 표현, 관심의 정도와 같은 사회적 상호작용에 있어서 중요한 정보를 제공한다. 얼굴표정 인식은 크게 정지영상을 이용한 방법과 동영상을 이용한 방법으로 나눌 수 있다. 정지영상을 이용할 경우에는 처리량이 적어 속도가 빠르다는 장점이 있지만 얼굴의 변화가 클 경우 매칭, 정합에 의한 인식이 어렵다는 단점이 있다. 동영상을 이용한 얼굴표정 인식 방법은 신경망, Optical Flow, HMM(Hidden Markov Models) 등의 방법을 이용하여 사용자의 표정 변화를 연속적으로 처리할 수 있어 실시간으로 컴퓨터와의 상호작용에 유용하다. 그러나 정지영상에 비해 처리량이 많고 학습이나 데이터베이스 구축을 위한 많은 데이터가 필요하다는 단점이 있다. 본 논문에서 제안하는 실시간 얼굴표정 인식 시스템은 얼굴영역 검출, 얼굴 특징 검출, 얼굴표정 분류, 아바타 제어의 네 가지 과정으로 구성된다. 웹캠을 통하여 입력된 얼굴영상에 대하여 정확한 얼굴영역을 검출하기 위하여 히스토그램 평활화와 참조 화이트(Reference White) 기법을 적용, HT 컬러모델과 PCA(Principle Component Analysis) 변환을 이용하여 얼굴영역을 검출한다. 검출된 얼굴영역에서 얼굴의 기하학적 정보를 이용하여 얼굴의 특징요소의 후보영역을 결정하고 각 특징점들에 대한 템플릿 매칭과 에지를 검출하여 얼굴표정 인식에 필요한 특징을 추출한다. 각각의 검출된 특징점들에 대하여 Optical Flow알고리즘을 적용한 움직임 정보로부터 특징 벡터를 획득한다. 이렇게 획득한 특징 벡터를 SVM(Support Vector Machine)을 이용하여 얼굴표정을 분류하였으며 추출된 얼굴의 특징에 의하여 인식된 얼굴표정을 아바타로 표현하였다.

• Proceedings of the Korean Society for Emotion and Sensibility Conference
• /
• 2001.05a
• /
• pp.74-81
• /
• 2001

얼굴은 내측두(IT: inferotemporal) 영역에 독자적인 처리 공간을 가지고 있는 (Bruce, Desimone, & Gross, 1981; Rolls, 1992) 매우 복잡한 시각 자극이다. 본연구는 이러한 복잡한 얼굴 자극을 구성하고 있는 물리적인 특징들을 추출하여 얼굴을 수치 구조면에서 분석하고 이를 감성 공간과 연결시킬 목적으로 수행되었ㄷ. 이를 위해 본연구에서는 먼저 얼굴 내부에 36개의 특징들 및 특징들 간 관계를 설정하였다. 또한 얼굴 외곽형의 분류를 위해 얼굴 윤곽선 부위에 14개의 특징점을 찍고 코끝에서부터 이들 지점과의 거리를 측정하였다. 사람마다 기본적인 얼굴 14개의 특징점을 찍고 코끝에서부터 이들 지점과의 거리를 측정하였다. 사람마다 기본적인 얼굴 크기가 다르다는 점을 감안하여 이들 특징값들 중 길이값들은 얼굴 좌우폭 또는 얼굴 상하길이를 기주으로 정규화(normalization)되었다. 그런 다음 36개의 얼굴 내부 특징 요소들과 5가지 얼굴 외곽형을 입력값으로 하여 주성분분석(PCA: proncipal component analysis)을 실시하고, 여기서 도출된 다섯 개의 요인점수를 기반으로 5차원 공간을 가정하였다. 이 공간을 대표하는 얼굴을 고루 선정하되 해당 얼굴이 있다고 보기 어려운 영역을 제외하고 평균에 해당하는 얼굴을 추가하여 총 30가지 대표 얼굴 유형을 선정하였다. 선정된 얼굴들에 대해 일차적으로 감성 평가를 실시하여 2차원 감성 공간에 대표 얼굴들을 분포시켰다.

• Journal of the Korea Computer Graphics Society
• /
• v.15 no.1
• /
• pp.7-15
• /
• 2009

In this paper, a novel framework that synthesizes and clones facial expression in parameter spaces is presented. To overcome the difficulties in manipulating face geometry models with high degrees of freedom, many parameterization methods have been introduced. In this paper, a data-driven parameterization method is proposed that represents a variety of expressions with a small set of fundamental independent movements based on the ICA technique. The face deformation due to the parameters is also learned from the data to capture the nonlinearity of facial movements. With this parameterization, one can control the expression of an animated character's face by the parameters. By separating the parameterization and the deformation learning process, we believe that we can adopt this framework for a variety applications including expression synthesis and cloning. The experimental result demonstrates the efficient production of realistic expressions using the proposed method.

• Journal of Internet Computing and Services
• /
• v.5 no.6
• /
• pp.79-91
• /
• 2004

Various facial pose detection and recognition has been a difficult problem. The problem is due to the fact that the distribution of various poses in a feature space is mere dispersed and more complicated than that of frontal faces, This thesis proposes a robust pose-expression-invariant face recognition method in order to overcome insufficiency of the existing face recognition system. First, we apply the TSL color model for detecting facial region and estimate the direction of face using facial features. The estimated pose vector is decomposed into X-V-Z axes, Second, the input face is mapped by deformable template using this vectors and 3D CANDIDE face model. Final. the mapped face is transformed to frontal face which appropriates for face recognition by the estimated pose vector. Through the experiments, we come to validate the application of face detection model and the method for estimating facial poses, Moreover, the tests show that recognition rate is greatly boosted through the normalization of the poses and expressions.

• Journal of the Korea Society of Computer and Information
• /
• v.16 no.8
• /
• pp.49-56
• /
• 2011

Recently, animation contents has become extensively available along with the development of cultural industry. In this paper, we propose a method to analyze a face of animation character and extract 3D rotational information of the face. The suggested method first generates a dominant color model of a face by learning the face image of animation character. Our system then detects the face and its components with the model, and establishes two coordinate systems: base coordinate system and target coordinate system. Our system estimates three dimensional rotational information of the animation character face using the geometric relationship of the two coordinate systems. Finally, in order to visually represent the extracted 3D information, a 3D face model in which the rotation information is reflected is displayed. In experiments, we show that our method can extract 3D rotation information of a character face reasonably.

• Journal of the Korea Society of Computer and Information
• /
• v.26 no.11
• /
• pp.85-92
• /
• 2021

In this paper, a method for effectively detecting rotated face and rotation angle regardless of the rotation angle is proposed. Rotated face detection is a challenging task, due to the large variation in facial appearance. In the proposed polar coordinate transformation, the spatial information of the facial components is maintained regardless of the rotation angle, so there is no variation in facial appearance due to rotation. Accordingly, features such as HOG, which are used for frontal face detection without rotation but have rotation-sensitive characteristics, can be effectively used in detecting rotated face. Only the training data in the frontal face is needed. The HOG feature obtained from the polar coordinate transformed images is learned using SVM and rotated faces are detected. Experiments on 3600 rotated face images show a rotation angle detection rate of 97.94%. Furthermore, the positions and rotation angles of the rotated faces are accurately detected from images with a background including multiple rotated faces.