A system for facial expression synthesis based on a dimensional model of internal states

내적상태 차원모형에 근거한 얼굴표정 합성 시스템

  • 한재현 (연세대학교 인지과학 연구소) ;
  • 정찬섭 (연세대학교 인지과학 연구소)
  • Published : 2002.09.01

Abstract

Parke and Waters' model[1] of muscle-based face deformation was used to develop a system that can synthesize facial expressions when the pleasure-displeasure and arousal-sleep coordinate values of internal states are specified. Facial expressions sampled from a database developed by Chung, Oh, Lee and Byun [2] and its underlying model of internal states were used to find rules for face deformation. The internal - state model included dimensional and categorical values of the sampled facial expressions. To find out deformation rules for each of the expressions, changes in the lengths of 21 facial muscles were measured. Then, a set of multiple regression analyses was performed to find out the relationship between the muscle lengths and internal states. The deformation rules obtained from the process turned out to produce natural-looking expressions when the internal states were specified by the pleasure-displeasure and arousal-sleep coordinate values. Such a result implies that the rules derived from a large scale database and regression analyses capturing the variations of individual muscles can be served as a useful and powerful tool for synthesizing facial expressions.

쾌-불쾌, 각성-수면의 2차원 감정상태 공간에서 임의의 좌표값을 지정하면 Parke와 Waters[1]의 근육 기반 얼굴모형에 근거하여 그것에 해당하는 표정을 자동 합성할 수 있는 시스템을 개발하였다. 얼굴 변형의 준거 설정을 위하여 정찬섭, 오경자, 이일병과 변혜란[2]의 표정 DB에 수록된 표정 자료 및 내적감정상태 모형을 사용하였다. DB 내 표정 자료들은 감정 모형에 근거하여 차원값 및 범주로 기술된 내적상태 정보를 포함하고 있었다. 내적상태 변화에 따른 표정의 변형 규칙을 찾기 위해 표집된 표정들에 대해 21개 얼굴 근육의 변화량을 측정하였다. 내적감정상태와 얼굴 근육들의 관계 구조를 파악하기 위해 수집된 자료들을 대상으로 회귀분석을 실시하였다. 이러한 과정을 거쳐 얻어진 변형 규칙은 꽤-불쾌 및 각성-수면 차원값으로 주어지는 내적상태에 대한 자연스러운 표정을 합성해내었다. 이같은 결과는 방대한 양의 자료 및 개별 근육의 변화를 포착하는 회귀분석으로부터 도출된 규칙이 얼굴표정을 합성하는데 유용하고 강력한 도구가 될 수 있음을 시사한다.

Keywords

References

  1. Computer facial animation Parke, F. I.;Waters, K.
  2. 과학기술부 감성공학기술개발사업 최종보고서, G-17-01-09 표정/제스처에 의한 감성측정기술 및 DB개발 정찬섭;오경자;이일병;변혜란
  3. The maximally Discriminative Facial Movement Coding System(Max) Izard, C. E.
  4. Rationale and reliability for EMFACS Coders Ekman, P.;Friesen, W. V.
  5. A system for Identifying Affect Expressions by Holistic Judgements (Affex) Izard, C. E.;Dougherty, L. M.;Hembree, E. A.
  6. What the face reveals The study of spontaneous facial expressions in psychology Rosenberg, E. L.;P. Ekman(ed.);E. Rosenberg(ed.)
  7. Social Cognition v.4 Fuzzy concepts and the perception of emotion in facial expressions Russell, J. A.;Bullock, M.
  8. 한국감성과학회지 v.1 no.1 얼굴표정에 의한 내적상태 추정 한재현;정찬섭
  9. Processing the Facial Imagine The computer synthesis of expressive faces Waters, K.;Terzopoulos, D.;V. Bruce(ed.);A. Cowey(ed.);A. W. Ellis(ed.);D. I. Perrett(ed.)
  10. Facial Action Coding System(FACS) Ekman, P.;Friesen, W. V.
  11. The psychology of facial expression A componential approach to the meaning of facial expressions Smith, C. A.;Scott, H. S.:J. A. Russell(ed.);J. M. Fernandez-Dols(ed.)
  12. Proceedings of IEEE International Conference on Systems, Man and Cybernetics v.5 Analysis and synthesis of facial expressions for MPEG-4 system Yin, L.;Basu, A
  13. Proceedings of the 13th international Conference on pattern Recognition v.3 Analysis and synthesis of six primary facial expression using range images Tatsuno, Y.;Suzuki, S.;Yokoya, N.;Iwasa, H.;Takemura, H.
  14. British Journal of Social Psychology v.30 Facial asymmetry in emotional expressions: A meta-analysis of research Skinner, M.;Mullen, B.
  15. Aspects of face processing Towards the quantification of facial expressions with the use of a mathematic model of the face Pilowsky, I.;Thornton, M.;Stokes, B. B.;H.D. Ellis(ed.);M.A. Jeeves FRSE(ed.);F. Newcombe(ed.);A. Young(ed.)
  16. Journal of Communication v.25 Facial areas and emotional information Boucher, J.;Ekman, P.
  17. Perception v.19 Reaction time measures of feature saliency in schematic faces Fraser, I. H.;Craig, G. L.;Parker, D. M.
  18. Judgment of feeling states from facial behavior: A bottom-up approach Snodgrass, J.