Development of Virtual Makeup Tool based on Mobile Augmented Reality

Abstract

본 연구에서는 얼굴형 기준 모델 데이터를 기반으로 사용자의 얼굴형을 분석하고 얼굴 형 메이크업을 제공하여 가상 메이크업을 제공하기 위해 증강 현실 기반 메이크업 도구를 구축하였다. 얼굴형을 분석하려면 먼저 카메라로 촬영 한 이미지에서 얼굴을 인식 한 다음 얼굴 윤곽 영역의 특징을 추출하여 분석 속성으로 사용한다. 다음으로 각 얼굴형 기준 모델 데이터의 윤곽 영역 특징과 비교하기 위해 추출된 얼굴 윤곽 영역의 특징점을 정규화한다. 얼굴 모양은 정규화된 윤곽 영역의 특징점과 각 얼굴형 기준 모델 데이터의 특징점 사이의 거리 차이를 이용하여 예측 분석한다. 증강형실기반 가상메이크업에서는 카메라로부터 영상 입력에서는 영상에서 얼굴을 실시간으로 인식하여 얼굴 부위별 영역의 특징점을 추출하고, 얼굴형 분석처리과정을 통해 분석된 얼굴형에 따라 어울리는 메이크업을 제공하여 가상의 메이크업의 결과를 확인 할 수 있다. 우리는 제안된 시스템을 통해 화장품 소비자로 하여금 자신에게 어울리는 메이크업 디자인을 확인하여 화장품 구매 결정에 대한 편의 및 영향을 미칠 것으로 기대한다. 또한 가상의 자아에 얼굴 메이크업을 적용함으로써 매력적인 자신의 이미지를 만들어내는데 도움을 줄 것이다.

In this study, an augmented reality-based make-up tool was built to analyze the user's face shape based on face-type reference model data and to provide virtual makeup by providing face-type makeup. To analyze the face shape, first recognize the face from the image captured by the camera, then extract the features of the face contour area and use them as analysis properties. Next, the feature points of the extracted face contour area are normalized to compare with the contour area characteristics of each face reference model data. Face shape is predicted and analyzed using the distance difference between the feature points of the normalized contour area and the feature points of the each face-type reference model data. In augmented reality-based virtual makeup, in the image input from the camera, the face is recognized in real time to extract the features of each area of the face. Through the face-type analysis process, you can check the results of virtual makeup by providing makeup that matches the analyzed face shape. Through the proposed system, We expect cosmetics consumers to check the makeup design that suits them and have a convenient and impact on their decision to purchase cosmetics. It will also help you create an attractive self-image by applying facial makeup to your virtual self.

I. Introduction

여성의 사회적 진출이 늘어감에 따라 그만큼 외모에 대한 관심과 함께 아름다움을 충족시키기 위한 노력은 계속되고 있으며 이미지를 중요하게 여기고 있는 현대사회에서 메이크업의 중요성을 점점 강조되고 있다[1].

얼굴을 표현 대상으로 하는 메이크업은 형태와 색채를 조화시켜 자유롭게 표현하는 것으로 외모를 변화시키는 중요한 요소라고 할 수 있다. 특히 메이크업 색조는 얼굴의 형태적 특징을 강조하고 수정기능을 가짐으로서 대인 관계에서의 인상뿐만 아니라 자신의 이미지를 만들어 나가는데에도 큰 영향을 미친다. 얼굴의 매력성은 주어진 얼굴 형태와 표정, 그리고 화장으로 결정되는데, 화장은 얼굴 장식의 주된 행위로서 선택적 화장 색체에 따라서 가감될 수 있다. 특히 눈과 입술 화장은 매려적인 인상을 만드는 중심이 된다[2].

얼굴 메이크업은 크게 피부, 눈과 눈썹 그리고 입술의 부위별 영역으로 나눌 수 있으며 그 외에 더 매력적인 얼굴을 위해 파운데이션, 셰이딩, 하이라이트, 블러셔 등을 세부적으로 추가하여 메이크업을 적용한다.

메이크업 기법은 얼굴 유형이나 눈 모양 등에 따라 사람들마다 서로 다르게 적용되기 때문에, 대상의 얼굴에 대해 전체적으로 조화롭게 메이크업이 적용될 수 있도록 적합한 메이크업 방법을 선택하고 적용할 수 있어야 한다.

이와 같이 메이크업은 기본적으로 타고난 얼굴 형태에 조화로운 색체를 배색하여 완성되는 것으로 얼굴 형태와 색체를 관련시켜 실증적으로 연구 개발하는 것이 필수적이다.

따라서 이 연구는 얼굴형 기준 모델 데이터를 기반으로 사용자의 얼굴형을 분석하고 얼굴형에 따른 메이크업을 제공하여 가상메이크업을 할 수 있도록 증강현실기반의 메이크업 제작 도구를 구축하였다. 구축된 시스템을 통해 가상의 자신에게 얼굴 메이크업을 적용해봄으로써 자신의 얼굴형에 어울리는 메이크업을 직접 확인할 수 있어서 매력적인 자신의 이미지 인상을 만들 수 있을 것을 기대할 수 있고, 또한 화장품 소비자로 하여금 화장품 구매 결정에 대한 편의를 제공할 수 있을 것으로 기대한다. 이 연구의 구성은 2장에서는 사진 이미지 또는 실시간에서 가상 메이크업의 시스템에 대한 관련 연구를 알아보고, 3장에서는 증강현실 기반 가상 메이크업을 위한 얼굴형 분석 처리과정을 살펴본다. 4장에서는 구축된 증강현실기반 가상 메이크 시스템의 구성에 대해 살펴보고, 5장에서는 향후 진행에 대해 제시하며 결론을 맺는다.

II. Research Background

사진 이미지 또는 실시간에서 가상 메이크업을 구축한 사례들에 대해 살펴본다.

구자명 외[3]에서는 사진에서 ASM(Active Shape Model)을 이용하여 얼굴의 각 특징 점을 추출하고, 추출된 특징점을 이용하여 화장할 부분의 영역을 생성하는 가상 메이크업 프로그램을 제안하였다. 또한 자연스러운 화장 효과를 표현하기 위해서 기본적인 알파블렌딩을 각각 화장품의 특징에 맞게 변형하여 사용자 피부색과 화장품의 색을 혼합하였고, 얼굴 윤곽, 눈, 눈썹, 입술, 볼의 영역을 생성하고, Foundation, Blush, Lip Stick, Lip Liner, Eye Pencil, Eye Liner, Eye Shadow 종류의 화장을 할 수 있게 구현하였다.

강현민 외[4]에서는 가상 메이크업을 하기 위한 과정으로 사진을 입력 받아 화장을 하기 위한 얼굴영역 추출부분과 추출한 영역에서 각각의 메이크업 부분을 기존의 피부와 잘 어울리게 화장하는 과정으로 나누었다. 얼굴 영역추출은 정확도는 높지만 많은 연산량이 필요한 ASM의 시간을 단축하기 위해 웹서비스를 이용하여 사진을 서버로 전송하고 서비스에서 ASM연산을 한 결과를 안드로이드폰에서 받아 얼굴영역을 추출하였다. 또한 자연스러운 화장이 되도록 사진의 피부 결을 이용하였다.

이재윤 외[5]에서는 대상 얼굴에 새로운 눈, 얼굴, 입술 메이크업 기법을 제안하였다. 눈꺼풀, 눈썹, 머리카락과 같은 세부적인 특징을 잃지 않고 여러 메이크업 예제의 이미지. 피부의 피처 레이어를 감지하여 대상 얼굴에 메이크업 기술을 적용하였고, 블렌딩 기법, 양방향 필터를 사용한 만화 렌더링을 사용하였다. 또한 자연스러운 피부 메이크업 효과를 위해 두 개의 가우스 가중치 맵을 만들어 제안하였다.

정은아 외[6]에서는 가상 메이크업을 위한 개인화된 얼굴 랜드마크 검출이 가능하도록 하는 얼굴 모델 독립형 랜드마크 검출 방법을 제안하였다. 기존의 모델 독립형 랜드마크 검출 방법의 눈, 코, 입 기하구조적 검출 결과의 문제점을 극복하기 위해 얼굴 랜드마크 위치 관계를 고려한 토폴로지를 기반으로 트리 구조 분류기를 학습하고, 테스트 시 미리 학습된 분류기를 이용하여 실시간 검출 성능을 제시하였다.

박지원 외[7]에서는 메이크업 앱을 실시간 화면에서 메이크업을 구현하는 앱으로 정의하고 이에 부합하는 앱 중 화장품 회사의 사용앱에 대해 원활한 매핑과 증강현실의 적용 및 인터페이스의 특징을 분석하였다. 분석의 기준은 앱 사용 방법의 직관적 이해, 메이크업 도구의 다양성, 메이크업 도구의 선택 특징, 정확한 얼굴인식, 움직임 시 메이크업 반영, 자연스러운 메이크업 반영, 복합적인 메이크업 과정 적용의 특징을 분석하였다. 이 연구를 통해 메이크업 정교한 얼굴의 부위인식 및 빠른 증강현실의 적용의 기술과 인터페이스의 개선의 필요성을 제시하였다.

유정민 외[8]에서는 증강현실 기반 가상 화장 응용을 위한 Model-Free 방식의 얼굴 랜드마크 추적 기법을 제안하였다. 기존 증강현실 기반 가상 화장 시스템들은 학습된 얼굴 모델을 사용하여 랜드마크를 추적하기 때문에 다양한 얼굴 형태에 적용에 어려운 문제점을 해결하기 위해, Dense Opticalflow 정보와 이웃 Landmarks의 이동 정보를 이용한 Model-free 방식의 얼굴 추적 기법을 제안하여 개인차가 있는 다양한 얼굴 모양 추적에 적합함과 가상화장에서의 적용 가능성을 제시하였다.

최수미 외[9]에서는 모바일 플랫폼 상에서 3차원 얼굴을 메이크업하기 위해 필요한 핵심 기술을 살펴보고 특히, 포인트 기반 그래픽스 접근방법을 사용하여 데이터간략화, 데이터 렌더링, 데이터 변형하는 방법을 고찰하고, 이러한 접근방법이 메이크업 시뮬레이션처럼 인터랙티브하게 얼굴의 색상을 변경하는 어플리케이션에 효과적임을 확인하였다.

최진호 외[10]에서는 가상의 얼굴에 메이크업을 수행하여 그 결과를 확인할 수 있는 3차원 메이크업 시뮬레이션을 제안하였다. 3차원 얼굴과 특수 분장 소품 모델을 정합한 아바타를 이용하여 모바일 플랫폼 상에서 인터랙티브하게 동작하는 가상 메이크업 시스템을 개발하였고 색상 변경 시 잦은 재 샘플링이 발생하기 때문에 샘플링에 효과적인 포인트 기반 그래픽스를 사용하였다. 사용자는 터치기반 인터랙션을 사용하여 3차원 얼굴 아바타를 생성할 수 있고, 꾸며진 아바타를 사용하여 실시간에 분장을 할 수 있도록 하였다.

III. Facial Form Analysis for Augmented Reality-Based Virtual Makeup

이 연구는 증강현실 기반의 가상 메이크업을 위해 얼굴형별 기준 모델 데이터를 선정하고, 카메라로부터 촬영된 얼굴영상에 대해 자동으로 얼굴형을 예측 분석하고, 분석된 얼굴형과 특징영역을 기반으로 자신에게 어울리는 가상메이크업을 선택하고 확인할 수 있도록 하였다.

3.1 Reference Model Data for Face Types

Table 1. face type

3.2 Face Type Analysis Processing

증강현실 기반의 가상 메이크업 시스템에서 얼굴형의 예측 분석 과정은 [그림1]과 같다.

Fig. 1. Face Type Analysis Process

얼굴형의 예측 분석을 위해서 먼저 카메라를 통해 얼굴영상을 촬영하여 얼굴을 인식한 후 얼굴 윤곽 영역의 특징점을 추출하여 이를 분석 속성으로 사용한다. 다음으로 얼굴형별 기준 모델 데이터의 윤곽 영역 특징점과 비교를 위해 추출된 얼굴 윤곽 영역의 특징점을 정규화한다. 정규화한 윤곽 영역의 특징점과 얼굴형별 기준 모델 데이터의 특징점간의 거리차를 활용하여 얼굴형을 예측분석한다.

기준 얼굴형별 특징점과 카메라로부터 촬영된 얼굴 윤곽 영역 특징점과의 거리차를 이용한 산술계산식은 다음과 같다.

먼저, 추출된 얼굴 윤곽 영역의 특정점을 식(1)과 같이 정규화를 한다.

\(\begin{aligned} \operatorname{Point}\left(x_{i}, y_{i}\right)=& \\ &\left(\frac{T\left(x_{i}\right)}{S c a l e X}-\text { Translation } X,\right.\\ &\left.\frac{T\left(y_{i}\right)}{S c a l e Y}-\text { Translation } Y\right) \end{aligned}\)       (1)

식(1)에서 T(x_i)와 T(y_i)은 얼굴형 분석을 위한 대상 얼굴 특징점으로 카메라로부터 촬영하여 추출한 얼굴 윤관 영역의 특징점(x, y)를 의미한다.

Scale X와 Scale Y은 식(2)와 같이 기준 얼굴형 특징점과 대상 얼굴 특징점간의 가로, 세로의 크기 비율을 의미한다.

\(\text { Scale } X=\frac{T_{x}}{B_{x}}, \quad \text { Scale } Y=\frac{T_{y}}{B_{y}}\)       (2)

TraslationX와 Traslation Y는 식(3)과 같이 대상 얼굴 특징점을 식(2)의 크기 비율과 기준 얼굴형 특징점에 대해 (x, y)축으로 이동하는 것을 의미한다.

\(\begin{aligned} \text { Traslation } X &=\frac{T_{x}}{\text { Scale } X}-B_{x}, \\ \text { Traslation } Y &=\frac{T_{y}}{\text { Scale } Y}-B_{y} \end{aligned}\)       (3)

다음으로 식(4)를 이용하여 정규화된 대상 얼굴 특징점에 대해 기준 얼굴형별 특징점과의 거리를 구한다. 즉, Distance F(j)는 얼굴형 예측값으로 대상 얼굴 특징점(T(x_i), T(y_i))과 해당 기준 얼굴형 특징점 (B_f(j)(x_i)B_f(j)(y_i))과의 차이 합을 의미한다.

\(\begin{aligned} &\text { Distance } F(j)= \\ &\quad \sum_{i=0}^{i=35} \sqrt{\left(T\left(x_{i}\right)-B_{f(j)}\left(x_{i}\right)\right)^{2}+\left(T\left(y_{i}\right)-B_{f(j)}\left(y_{i}\right)\right)^{2}} \end{aligned}\)       (4)

마지막으로 정규화된 대상 얼굴 특징점과 기준 얼굴형병 특징점과의 거리차가 최소인 것을 얼궁형으로 예측한다.(식5)

\(\text { Face Type }=\operatorname{MIN}(\text { Distance } F(1), \ldots, \text { Distance } F(5))\)       (5)

IV. Implementation of Virtual Makeup Based on Augmented Reality

증강현실 기반 가상 메이크업 시스템의 구성도는 [그림2]와 같이 카메라로 입력되는 얼굴을 실시간으로 인식하여 얼굴 부위별 영역의 특징점을 추출하고, 얼굴형 분석처리 과정을 통해 분석된 얼굴형에 따라 어울리는 메이크업을 제공하여 가상의 메이크업을 할 수 있도록 하였다.

Fig. 2. Virtual Makeup Diagram

본 연구에서 개발한 증강현실 기반의 가상 메이크업 도구는 [그림 3]과 같이 실시간 메이크업, 메이크업해보기, 메이크업 정보, 얼굴형 유형 그리고 앱 사용 설명으로 구성되어 있다.

Fig. 3. Configuration of virtual makeup system

실시간 메이크업은 카메라를 통해 입력되는 얼굴의 유형을 분석한 후 얼굴형에 따른 메이크업을 직접 해 볼 수 있다. 영상 메이크업은 카메라를 통해 얼굴 영상을 촬영한 후 얼굴영상에 다양한 메이크업을 해 볼 수 있다. 메이크업 유형은 얼굴 특징의 메이크업에 대해 설명하고, 얼굴형 유형은 얼굴형에 따른 화장법을 알려준다. 개발된 증강현실 기반의 가상 메이크업 도구의 메인화면이다(그림4).

Fig. 4. Main Screen

4.1 Real-Time Makeup

실시간 메이크업은 실시간으로 카메라로부터 입력되는 자신의 얼굴에 얼굴 부위별 메이크업을 선택하여 가상 메이크업을 할 수 있도록 하였다.

먼저 대상 얼굴의 유형 분석을 위해서 카메라로부터 입력되는 얼굴 영상을 촬영하여(그림5(a,b)) 기준 얼굴형별 모델과 비교하여 둥근형, 각진형, 계란형, 역삼각형, 다이아몬드형 등의 얼굴형을 수치적으로 제공하고 가장 높은 수치의 얼굴형을 대상 얼굴형으로 판단하여 해당 얼굴형 기반의 메이크업 방법을 알려준다(그림5(c)).

그리고 분석된 얼굴형에 따라 얼굴 부위별 메이크업으로 눈썹, 아이새도우, 블러셔, 입술 등을 각각 선택하여 카메라로부터 실시간으로 입력되는 사용자의 얼굴에 직접 가상 메이크업을 해 봄으로써 자신에게 어울리는 메이크업을 확인할 수 있다(그림6).

Fig. 5. Analysis Screen of Camera Input Face

Fig. 6. Real-Time Virtual Makeup Screen

4.2 Trying MakeUp

메이크업해보기는 카메라로부터 입력되는 얼굴을 촬영하여 촬영된 얼굴 사진에 얼굴 부위별 메이크업을 선택하여 가상 메이크업을 할 수 있도록 하였다.

카메라로부터 얼굴 영상을 촬영한 후 얼굴 영상으로부터 얼굴 부위 영역별 특징점을 추출하여 눈썹, 아이새도우, 립스틱, 볼터치 등의 가상 메이크업을 해본다(그림7). 가상 메이크업을 통해 자신에게 어울리는 메이크업을 확인할 수 있도록 메이크업 전후를 비교할 수 있는 영상을 제공한다(그림8(a)). 또한 자신에게 어울리는 메이크업으로 선택한 얼굴 부위별 메이크업의 특징을 확인할 수 있도록 메이크업 방법을 제공한다(그림8(b)).

Fig. 7. Make up try screen

Fig. 8. Before and After Makeup Comparison Screen

4.3 Makeup Information

메이크업정보는 얼굴 부위별 눈썹, 아이새도우, 쉐딩, 입술, 블러셔, 메이크업 방법에 대한 설명을 제공하여 초보자나 메이크업에 관심 있는 사용자가 좀 더 얼굴 부위별 메이크업 방식을 알 수 있도록 하였다.

눈썹은 표준형, 일자형, 아치형, 상승형, 각진형 등의 눈썹 모양과 상대방에게 보여지는 이미지에 대한 설명을 제공한다(그림9(b)). 아이새도우는 봄 웜톤, 여름 쿨톤, 가을 웜톤, 겨울 클톤 등의 색상과 상대방에게 보여지는 이미지에 대한 설명을 제공한다. 쉐당은 각진 얼굴의 쉐딩, U존 쉐딩, 코 쉐딩을 얼굴에 그는 모양과 화장법을 제공한다.

입술은 색상과 상대방에게 보여지는 이미지와 어울리는 피부톤 등의 설명을 제공한다. 화장법은 눈썹, 아이새도우, 입술 등을 그리는 방법, 쉐딩하는 방법 그리고 블러셔를 바르는 방법 등에 대한 화장법 설명을 제공한다(그림9(c)).

Fig. 9. Makeup Information Screen

4.4 Face Type

얼굴형 유형에는 [그림10]과 같이 계란형, 각진형, 등근형, 삼각형, 다이아몬드형 둥의 특징 설명과 얼굴형에 따른 눈썹, 쉐딩, 하이라이터, 블러셔 등의 추천 메이크업 방식을 알 수 있도록 하였다.

Fig. 10. Face Type Screen

V. Conclusions

얼굴 영상을 촬영하고 촬영된 영상으로부터 얼굴의 윤곽을 특징점으로 추출하여 기준 얼굴형과 비교하여 얼굴형을 분류하고 해당 얼굴형에 어울리는 메이크업의 유형들을 제시하여 가상 메이크업을 할 수 있도록 구축하였다.

본 연구의 의의는 다음과 같이 요약할 수 있다.

첫째, 제안된 연구의 가상메이크업을 활용하여 카메라로부터 입력되는 사용자의 얼굴 영상을 분석하여 얼굴의 유형을 분류할 수 있다. 기존의 가상 메이크업은 카메라로 입력되는 사용자의 얼굴에 가상 메이크업을 해보지만 본 연구는 카메라로부터 입력되는 사용자의 얼굴 영상에서 얼굴형을 분석한 후 사용자의 얼굴형에 어울리는 눈썹 및 블러셔 형태 등을 제공하여 자신의 어울리는 가상 메이크업을 할 수 있다.

둘째, 제안된 연구의 증강현실 기반의 가상메이크업을 위해서 실시간으로 카메라로부터 입력되는 얼굴 영상을 통해서 실시간으로 얼굴의 랜드마크 추출하게 되는데 이는 카메라를 통한 스노우 필터, 게임, 입력 인터페이스 등의 응용 분야에 활용할 수 있다.

셋째, 제안된 연구의 얼굴형 기반의 가상메이크업을 활용하여 얼굴형 기반 색조 화장의 가상 메이크업을 확인할 수 있어서 대인관계에서의 매력적인 자신의 인상뿐만 아니라 자신의 이미지를 만들 수 있고 화장품 소비자로 하여금 자신에게 어울리는 화장품 구매 결정에 대한 편의를 제공할 수 있다.

향후에는 얼굴형 기반의 가상 메이크업 시스템에서 색조 화장에 대한 사용자의 만족도를 높이기 위해서 퍼스널 컬러에 대한 연구를 포함하여 퍼스널 컬러 기반의 다양한 색조 화장을 적용해 볼 수 있도록 할 예정이다.

본 연구를 통해서 자신의 인상을 매력적으로 만들고자 하는 메이크업에 관심있는 사용자에 자신에게 어울리는 메이크업에 찾을 수 있기를 도움을 주고, 자신에 어울리는 메이크업의 화장품을 구매 결정하는데 도움이 될 수 있도록 화장품 판매처에 실용화 될 것을 기대한다.