A Realtime Expression Control for Realistic 3D Facial Animation

현실감 있는 3차원 얼굴 애니메이션을 위한 실시간 표정 제어

This work presents o novel method which extract facial region und features from motion picture automatically and controls the 3D facial expression in real time. To txtract facial region and facial feature points from each color frame of motion pictures a new nonparametric skin color model is proposed rather than using parametric skin color model. Conventionally used parametric skin color models, which presents facial distribution as gaussian-type, have lack of robustness for varying lighting conditions. Thus it needs additional work to extract exact facial region from face images. To resolve the limitation of current skin color model, we exploit the Hue-Tint chrominance components and represent the skin chrominance distribution as a linear function, which can reduce error for detecting facial region. Moreover, the minimal facial feature positions detected by the proposed skin model are adjusted by using edge information of the detected facial region along with the proportions of the face. To produce the realistic facial expression, we adopt Water's linear muscle model and apply the extended version of Water's muscles to variation of the facial features of the 3D face. The experiments show that the proposed approach efficiently detects facial feature points and naturally controls the facial expression of the 3D face model.

본 논문에서는 실시간으로 입력되는 동영상으로부터 영상 내에 존재하는 사람의 얼굴 및 얼굴 특징점들을 자동으로 추출한 후, 추출된 정보를 이용하여 3차원 얼굴 모델의 표정을 실시간으로 제어함으로써 현실감 있는 얼굴 애니메이션 처리가 가능한 새로운 방법을 제시한다. 입력 영상의 각 프레임으로부터 얼굴을 효과적으로 추출하기 위해 기존에 일반적으로 사용되는 색상 공간을 이용한 파라미터 검출 방법에 대변되는 새로운 비파라미터 검출 방법을 제시하였다. 기존의 파라미터 검출 방법은 일반적으로 얼굴의 피부 색상분포를 가우지언 형태로 표현하며 특히 주변조명의 변화 및 배경 영상 등에 민감하게 반응하므로 정화한 영역의 검출을 위한 부가적 작업을 필요로 한다. 이러한 문제점을 효과적으로 해결하기 위하여 본 논문에서는 Hue와 Tint 색상 성분에 기반을 둔 새로운 스킨 색상 공간을 제시하고 모델의 분포특성을 직선 형식으로 표현하여 얼굴검출 시 발생되는 오류를 축소시킬 수 있었다. 또한, 검출된 얼굴 영역으로부터 정확한 얼굴특성 정보를 추출하기 위하여 각 특징영역에 대한 에지검색 결과와 얼굴의 비율 비를 적용하여 효과적으로 얼굴의 특징 영역을 검출하였다. 추출된 얼굴 특징점 변화 정보는 3차원 얼굴 모델의 실시간 표정 변화에 적용되며, 보다 실감 있는 얼굴 표정을 생성하기위하여 사람의 근육 정보와 근육의 움직이는 방법을 나타내는 Waters의 선형 근육 모델에 새로운 근육 정보들을 새롭게 추가함으로써 화장 적용하였다. 실험결과 제안된 방법을 이용하여 실시간으로 입력되는 대상의 얼굴표정을 3차원 얼굴 모델에 자연스럽게 표현할 수 있다.