Automatic Extraction of the Facial Feature Points Using Moving Color

색상 움직임을 이용한 얼굴 특징점 자동 추출

This paper presents an automatic facial feature point extraction algorithm in sequential color images. To extract facial region in the video sequence, a moving color detection technique is proposed that emphasize moving skin color region by applying motion detection algorithm on the skin-color transformed images. The threshold value for the pixel difference detection is also decided according to the transformed pixel value that represents the probability of the desired color information. Eye candidate regions are selected using both of the black/white color information inside the skin-color region and the valley information of the moving skin region detected using morphological operators. Eye region is finally decided by the geometrical relationship of the eyes and color histogram. To decide the exact feature points, the PCA(Principal Component Analysis) is used on each eye and mouth regions. Experimental results show that the feature points of eye and mouth can be obtained correctly irrespective of background, direction and size of face.

본 논문에서는 컬러 비디오 시퀀스 상에서 눈과 입에 해당하는 얼굴 특징점을 고속으로 추출하는 방법을 제안한다. 자유로운 움직임을 갖는 얼굴 영역을 안정적으로 추출하기 위해 얼굴 색상 분포를 이용한 색상 변환 영상에 움직임 검출 기법을 적용하여 움직이는 살색 부분만을 효율적으로 검출하는 색상 움직임 개념을 사용하였다. 움직임 정보는 살색의 가능성 정도에 따라 가중치가 주어지며 화소 단위의 움직임 여부를 결정하는 문턱값도 살색의 가능성 정도에 따라 적응적으로 결정된다. 눈의 색상분포와 형태소 연산자를 사용한 움직임 살색 영역에서 눈 후보 영역을 추출하고 눈과 눈썹의 상호 위치 관계를 이용하여 눈의 영역을 최종 결정한다. 입의 영역은 눈의 위치를 기준으로 입 후보 영역을 정하고 색상 히스토그램을 이용하여 입의 영역을 검출한다. 찾아진 눈과 입의 영역에서 정확한 특징점의 위치를 구하기 위해 PCA (Principal Component Analysis)를 사용하였다. 실험 결과 복잡한 배경, 개인적인 편차, 얼굴의 방향과 크기 등에 영향을 받지 않고 고속으로 정확한 얼굴의 특징점을 추출할 수 있었다.