Abstract
In this paper, we introduce a method to synthesize realistic make-up effects on input images efficiently. In particular, we focus on shading on the make-up effects due to the lighting and face curvature. By doing this, we can synthesize a wider range of effects realistically than the previous methods. To do this, the information about lighting information together with the normal vectors on all pixels over the face region in the input image. Since the previous methods that compute lighting information and normal vectors require relatively heavy computation cost, we introduce an approach to approximate lighting information using cascade pose regression process and normal vectors by transforming, rendering, and warping a standard 3D face model. The proposed method consumes much less computation time than the previous methods. In our experiment, we show the proposed approximation technique can produce naturally looking virtual make-up effects.
본 논문은 입력 영상에 자연스러운 가상 화장 효과를 빠르게 적용하기 위한 방법을 다룬다. 특히 얼굴의 굴곡과 조명에 따라 나타나는 자연스러운 음영 효과를 가상 화장에 적용함으로써 기존의 방법에 비해 자연스럽고 다양한 화장 효과를 얻기 위한 방법을 제안한다. 가상 화장 효과에 음영을 적용하기 위해서는 입력 영상의 조명 환경과 입력 영상의 얼굴 면의 각 화소에 대한 법선 벡터가 필요하다. 기존에 영상에서 조명 환경 및 법선 벡터를 생성하는 과정이 비교적 많은 계산량이 필요하므로 때문에 본 논문에서는 얼굴의 특징점을 찾는 단계적 자세 회귀 방법에 조명 환경을 근사하는 과정을 통합하고, 3차원 표준모델을 변환, 와핑하여 법선 벡터를 계산하는 과정을 통하여 빠르게 화장 효과를 합성하기 위한 방법을 제안한다. 실험을 통하여 본 논문에서 제안하는 방법으로 근사한 조명 환경 및 법선 벡터는 시각적으로 자연스러운 가상 화장 효과를 표현할 수 있는 것을 보였다.
