한국콘텐츠학회논문지 (The Journal of the Korea Contents Association)

  • 제9권7호
  • /
  • Pages.159-170
  • /
  • 2009
  • /
  • 1598-4877(pISSN)
  • /
  • 2508-6723(eISSN)
한국콘텐츠학회 (The Korea Contents Association)
권호 표지
DOI QR코드

DOI QR Code

컬러 정보를 이용한 실시간 표정 데이터 추적 시스템

Realtime Facial Expression Data Tracking System using Color Information

  • 이윤정 (부산대학교 U-port 정보기술사업단) ;
  • 김영봉 (부경대학교 전자컴퓨터정보통신공학부)
  • 발행 : 2009.07.28
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

온라인 기반의 3차원 얼굴 애니메이션을 위해서 실시간으로 얼굴을 캡처하고 표정 데이터를 추출하는 것은 매우 중요한 작업이다. 최근 동영상 입력을 통해 연기자의 표정을 캡처하고 그것을 그대로 3차원 얼굴 모델에 표현하는 비전 기반(vision-based) 방법들에 대한 연구가 활발히 이루어지고 있다. 본 논문 에서는 실시간으로 입력되는 동영상으로부터 얼굴과 얼굴 특징점들을 자동으로 검출하고 이를 추적하는 시스템을 제안한다. 제안 시스템은 얼굴 검출과 얼굴 특징점 추출 및 추적과정으로 구성된다. 얼굴 검출은 3차원 YCbCr 피부 색상 모델을 이용하여 피부 영역을 분리하고 Harr 기반 검출기를 이용해 얼굴 여부를 판단한다. 얼굴 표정에 영향을 주는 눈과 입 영역의 검출은 밝기 정보와 특정 영역의 고유한 색상 정보를 이용한다. 검출된 눈과 입 영역에서 MPEG-4에서 정의한 FAP를 기준으로 10개의 특징점을 추출하고, 컬러 확률 분포의 추적을 통해 연속 프레임에서 특징점들의 변위를 구한다 실험 결과 제안 시스템 은 약 초당 8 프레임으로 표정 데이터를 추적하였다.

It is very important to extract the expression data and capture a face image from a video for online-based 3D face animation. In recently, there are many researches on vision-based approach that captures the expression of an actor in a video and applies them to 3D face model. In this paper, we propose an automatic data extraction system, which extracts and traces a face and expression data from realtime video inputs. The procedures of our system consist of three steps: face detection, face feature extraction, and face tracing. In face detection, we detect skin pixels using YCbCr skin color model and verifies the face area using Haar-based classifier. We use the brightness and color information for extracting the eyes and lips data related facial expression. We extract 10 feature points from eyes and lips area considering FAP defined in MPEG-4. Then, we trace the displacement of the extracted features from continuous frames using color probabilistic distribution model. The experiments showed that our system could trace the expression data to about 8fps.

키워드

참고문헌

  1. J. Ostermann, "Animation of Synthetic Faces in MPEG-4," Computer Animation, pp.49-51, 1998.
  2. Y. Bediz and G. B. Akar, "View point tracking for 3d display systems," 3th European Signal Processing Conference, 2005.
  3. 이형수, "얼굴의 색상과 모양정보를 이용한 조명 변화에 강인한 얼굴 추적 시스템 구현", 정보처리학회 논문지B, 제10-B권, 제6호, pp.711-718, 2003. https://doi.org/10.3745/KIPSTB.2003.10B.6.711
  4. 김정기, 민경필, 전준철, 최용길, "현실감 있는 3차원 얼굴 애니메이션을 위한 실시간 표정 제어", 인터넷정보학회 논문지, 제7권, 제2호, pp.23-35, 2006.
  5. 권오륜, 전준철, "얼굴모션추정과 복제에 의한 3차원 얼굴 애니메이션", 정보처리학회 논문지, 제14권, 제4호, pp.311-320, 2007.
  6. J. X. Chai, X. Jing, and H. Jessica, "Vision-based control of 3D facial animation," Proceedings of the 2003 ACM SIGGRAPH/Eurographics symposium on Computer animation, pp.193-206, 2003.
  7. G. M. Park and Y. B. Kim, "3D Skin Color Model For Asian Skin Color Segmentation," 2007 MITA Conference Proceedings, pp.165-168, 2007.
  8. H. P. Graf, T. Chen, E. Petajan, and E. Cosatto, "Locating Faces and Facial Parts," Proc. First Int'l Workshop Automatic Face and Gesture Recognition, pp.41-46, 1995.
  9. H. P. Graf, E. Cosatto, D. Gibbon, M. Kocheisen, and E. Petajan, "Multimodal System for Locating Heads and Faces," Proc. SecondInt'l Conf. Automatic Face and Gesture Recognition, pp.88-93, 1996.
  10. J. Yang and A. Waibel, "A Real-Time Face Tracker," Proc. Third Workshop Applications of Computer Vision, pp.142-147, 1996.
  11. P. Viola and M. J. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features," IEEE CVPR, Vol.1, No.2, pp.511-518, 2001. https://doi.org/10.1109/CVPR.2001.990517
  12. 배정완, 최권택, 변혜란, "Pan-Tilt-Zoom-Camera에서 AAM과 CAMShift를 이용한 얼굴 검출 및 추적", 한국정보과학회 2005 가을 학술발표 논문집, 제32권, 제2호, pp.931-933. 2005.
  13. 최권택, 변혜란, "얼굴 영역 추적과 입 검출을 이용한 AAM 얼굴 모양 파라미터 추정", 한국정보과학회 2005 가을 학술발표 논문집, 제32권, 제2호, pp.928-930, 2005.
  14. D. Chai and K. N. Ngan, "Face Segmentation Using Skin-Color Map in Videophone Applications," IEEE Transactions on Circuits and Systems for Video Technology, Vol.9, No.4, 1999(6). https://doi.org/10.1109/76.767122
  15. J. C. Terrillon, M. Shirazi, H. Fukamachi, and S. Akamatsu, "Comparative performance of differenct skin chrominance models and chrominance spaces for the automatic detection of human faces in color images," in Proceedings Fourth IEEE International Conference on Automatic Face and Gesture Recognition, 2000. https://doi.org/10.1109/AFGR.2000.840612
  16. R. Lienhart and M. Jochen, "An extended set of haar-like features for rapid object detection," IEEE ICIP 2002, Vol.1, pp.900-903, 2002. https://doi.org/10.1109/ICIP.2002.1038171