• Journal of Korea Multimedia Society
• /
• v.11 no.8
• /
• pp.1138-1145
• /
• 2008

Recently, performance-driven facial animation has been popular in various area. In television or game, it is important to guarantee real-time animation for various characters with different appearances between a performer and a character. In this paper, we present a new facial animation approach based on motion capture. For this purpose, we address three issues: facial expression capture, expression mapping and facial animation. Finally, we show the results of various examination for different types of face models.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2000.10b
• /
• pp.919-922
• /
• 2000

본 논문에서는 가상 인터페이스로서 범용적으로 사용할 수 있는 실시간 비전 기반 얼굴 애니메이션을 제안한다. 이를 위해서 실시간으로 얼굴 구성요소를 추출하고, 이를 정량화 하였다. 정량화된 값과 자연스럽게 매핑하기 위해서 정합함수를 통해 3차원 모델에 맵핑하기 위한 방안을 제안한다. 일반적으로 3차원 애니메이션을 수행할 경우, 기본 모델을 중심으로 특정한 사용자만을 위주로 수행되나, 본 논문에서는 임의의 일반 사용자를 위한 3차원 애니메이션을 수행하였다. 여러 사용자에 대하여 얼굴 구성요소 추출을 이용한 3차원 얼굴 애니메이션 동작에 대하여 실험하였으며 실험결과 여러 사용자 얼굴 애니메이션 동작에 대하여 만족할 만한 성능을 보였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.06b
• /
• pp.295-297
• /
• 2006

본 논문에서는 연속 영상에서 가우시안 분포를 사용하여 사람의 얼굴을 추적하는 방법을 제안한다. 영상은 여러 개의 동질한 영역들로 이루어지고, 이 영역들 중 얼굴 영역이 있다고 가정하였다. 영상에 있는 모든 영역들을 가우시안 분포로 표현하였으며, 이들의 집합을 가우시안 분포의 혼합 모델로 표현하였다. 제안된 방범에서는 이전 프레임에서 가우시안 분포들을 찾고, 찾아진 이전 프레임의 가우시안 분포들을 이용하여 현재 프레임의 영역들을 찾는다. 이 영역들 중, 초기에 주어진 얼굴 영역이 있으며 현재 프레임의 영역들에 의해 가우시안 분포는 갱신되고 이 과정을 반복함으로써 얼굴을 추적한다. 가우시안 분포의 개수를 다양하게 변화시켜 실험을 하였고, 이를 통해 가우시안 분포의 혼합 모델로 얼굴을 추적할 수 있음을 보였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2007.10b
• /
• pp.212-216
• /
• 2007

3D 스캐너의 보급으로 3차원 모델 생성이 가능하게 되었으나 결과로 얻은 형상이 아직 사진에서와 같은 사실적 묘사에 미치지 못하고 있다. 본 논문에서는 얼굴의 3D 스캔 데이터에 효율적인 텍스처 매핑을 통해 사실적 렌더링 결과를 얻을 수 있는 방법을 기술한다. 3D 얼굴 스캔 데이터와 얼굴의 사진 이미지의 좌표를 정확하게 맞추어 3D 스캔 데이터와 얼굴 이미지의 버덱스를 매치시켜주고, 얼굴 이미지의 해당 버텍스에 들어 있는 칼라 값을 3D 스캔 데이터의 버텍스에 넘겨주는 텍스처 매핑을 구현한다. 본 논문에서는 정면, 좌측, 우측 3장의 이미지를 이용하여 간단히 멀티텍스처 매핑을 수행하는 방법과 이 때 발생하는 사진 간의 경계선에서 발생하는 문제 해결에 대해 기술한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.450-452
• /
• 2020

본 논문에서는 딥러닝 기반 얼굴 인식 알고리즘에 대해 살펴보고, 이를 청각장애인용 방송에서 화자를 식별하고 감정 표현 자막을 표출하기 위한 배우 얼굴 인식 기술에 적용하고자 한다. 우선, 배우 얼굴 인식을 위한 방안으로 원샷 학습 기반의 딥러닝 얼굴 인식 알고리즘인 ResNet-50 기반 VGGFace2 모델의 구성에 대해 이해하고, 이러한 모델을 기반으로 다양한 전처리 방식을 적용하여 정확도를 측정함으로써 실제 청각장애인용 방송에서 배우 얼굴을 인식하기 위한 방안에 대해 모색한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2024.05a
• /
• pp.862-863
• /
• 2024

기존의 딥러닝 모델을 활용한 얼굴 탐지 시스템은 영상을 처리할 때 이미지의 양이 과도하여 추론 속도가 영상 재생 속도보다 느려지게 되고, 이로 인해 지연 현상이 발생한다. 본 논문은 이미지 크기 조정 및 광학 흐름을 활용하여 얼굴 탐지에 필요한 추론량을 줄이는 기법을 제안한다. 제안된 기법은 세 단계의 처리 과정으로 구성된다. 첫 번째 단계에서는 프레임의 크기를 줄여 프레임 처리 속도를 효과적으로 향상시킨다. 두 번째 단계에서는 비탐지 구간이 아닌 프레임만을 배치 처리하여 딥러닝 모델로 추론하여 처리 시간을 단축시킨다. 세 번째 단계에서는 광학 흐름 알고리즘을 이용하여 비탐지 구간에서 얼굴 추적을 함으로써 정확도는 유지하면서 탐지 시간을 단축한다. 본 논문에서 제안하는 이미지 크기 조정 및 광학 흐름 알고리즘 기반 얼굴 탐지 시스템은 처리 시간을 수십 배 이상 단축하여 영상에서의 얼굴 탐지에 있어서 우수한 성능을 입증하였다.

• Journal of Intelligence and Information Systems
• /
• v.23 no.1
• /
• pp.109-126
• /
• 2017

In the various kinds of intelligent services, many studies for detecting emotion are in progress. Particularly, studies on emotion recognition at the particular time have been conducted in order to provide personalized experiences to the audience in the field of exhibition though facial expressions change as time passes. So, the aim of this paper is to build a model to predict the audience's emotion from the changes of facial expressions while watching an exhibit. The proposed model is based on both sequential neural network and the Valence-Arousal model. To validate the usefulness of the proposed model, we performed an experiment to compare the proposed model with the standard neural-network-based model to compare their performance. The results confirmed that the proposed model considering time sequence had better prediction accuracy.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.30 no.9C
• /
• pp.887-898
• /
• 2005

In this paper, we introduce a probabilistic model based on Bayesian networks BNs) for recognizing human fatigue. First of all, we measured face feature information such as eyelid movement, gaze, head movement, and facial expression by IR illumination. But, an individual face feature information does not provide enough information to determine human fatigue. Therefore in this paper, a Bayesian network model was constructed to fuse as many as possible fatigue cause parameters and face feature information for probabilistic inferring human fatigue. The MSBNX simulation result ending a 0.95 BN fatigue index threshold. As a result of the experiment, when comparisons are inferred BN fatigue index and the TOVA response time, there is a mutual correlation and from this information we can conclude that this method is very effective at recognizing a human fatigue.

• Journal of KIISE:Computing Practices and Letters
• /
• v.14 no.7
• /
• pp.723-727
• /
• 2008

2D face analysis has some limitations which are pose and illumination sensitive. For these reasons, even if many researchers try to study in the 3D face analysis and processing, because of the low computing performance and the absence of a high-speed 3D scanner then a lot of research is not being able to proceed. But, due to improving of the computing performance in these days, the advanced 3D face research was now underway. In this paper, we propose the method of building a 3D face model which deal successfully with dense correspondence problem.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2000.11a
• /
• pp.451-454
• /
• 2000

본 논문은 한글 단어에 따른 한글 발음에 적합한 입술의 움직임을 자동 생성하며 또한 단어에 적절한 얼굴 보정을 생성할 수 있는 입순 움직임과 얼굴 표정을 동기화하는 3차인 일관애니메이션 편집기를 구축하였다. 얼굴 애니메이션 편집기에서 얼굴 표정은 근육 기반 모델 방법으로 정의된 각 얼굴 부위별 근육에 따라 가중치를 조절하여 생성하여 입술 움직임은 텍스트 구동 방법으로 음소에 따른 정의된 입모양 연속적으로 표현하여 동작한다. 또한 이렇게 생성된 얼굴 표정을 저장관리한다. 따라서 3차원 얼굴 애니메이션 편집기는 6가지의 기본 얼굴 표정을 자동적으로 생성할 수 있으며 또한 입력 단어에 적합하도록 각 얼굴 부위별 근육 움직임을 편집한 수 있다. 이렇게 생성된 얼굴 표정들은 데이터베이스에 저장관리할 수 있으며 컴퓨터 대화시 자동적으로 입력 단어에 적합한 입술의 움직임과 얼굴 표정을 동기화하여 자연스러운 3차원 얼굴 애니메이션을 표현할 수 있다.