The KIPS Transactions:PartA (정보처리학회논문지A)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Facial Expression Control of 3D Avatar by Hierarchical Visualization of Motion Data

모션 데이터의 계층적 가시화에 의한 3차원 아바타의 표정 제어

  • 김성호 (숭의여자대학교 정보통신계열 멀티미디어 콘텐츠전공) ;
  • 정문렬 (서강대학교 미디어공학과)
  • Published : 2004.08.01
Download PDF
⟨ Previous Next ⟩

Abstract

This paper presents a facial expression control method of 3D avatar that enables the user to select a sequence of facial frames from the facial expression space, whose level of details the user can select hierarchically. Our system creates the facial expression spare from about 2,400 captured facial frames. But because there are too many facial expressions to select from, the user faces difficulty in navigating the space. So, we visualize the space hierarchically. To partition the space into a hierarchy of subspaces, we use fuzzy clustering. In the beginning, the system creates about 11 clusters from the space of 2,400 facial expressions. The cluster centers are displayed on 2D screen and are used as candidate key frames for key frame animation. When the user zooms in (zoom is discrete), it means that the user wants to see mort details. So, the system creates more clusters for the new level of zoom-in. Every time the level of zoom-in increases, the system doubles the number of clusters. The user selects new key frames along the navigation path of the previous level. At the maximum zoom-in, the user completes facial expression control specification. At the maximum, the user can go back to previous level by zooming out, and update the navigation path. We let users use the system to control facial expression of 3D avatar, and evaluate the system based on the results.

본 논문은 사용자로 하여금 계층적 가시화 기법에 의한 표정들의 공간으로부터 일련의 표정을 선택하게 함으로써 3차원 아바타의 표정 제어기법을 기술한다. 본 시스템에서는 2,40P0여개의 표정 프레임을 이용하여 2차원 표정공간을 구성하였으며, 3차원 아바타의 표정 제어는 사용자가 표정공간을 항해하면서 수행한다. 그러나 표정의 수가 너무 많아 사용자가 항해를 하는데 어려움이 많기 때문에 계층적 가시화 기법이 필요하다. 표정공간을 계층적으로 분할하기 위해, 퍼지 클러스터링을 이용한다. 초기 단계에서는 2,400여개의 표정들을 이용하여 약 11개의 클러스터센터를 가지도록 클러스터링한다. 클러스터 센터들은 2차원 평면에 표시되며 후보 키 프레임으로 사용된다 사용자는 후보 키 프레임들 중에서 특정 키 프레임들을 선택하여 초기 항해경로를 생성한다. 사용자가 줌 인(이산적인 단계를 가지고 있음)을 하면 상세한 단계를 보기를 원한다는 의미이므로 줌 인된 단계에 적합한 표정 클러스터들을 생성한다. 단계가 증가될 때 마다 클러스터의 수를 두 배로 하고, 클러스터의 수만큼 표정들을 클러스터링한다. 사용자는 현재 단계에서 그전 단계의 항해경로를 따라 새로운 키 프레임(클러스터 센터)들을 선택하여 항해경로를 갱신한다. 줌 인을 최대로 한 마지막 단계에서 항해경로를 갱신하면 표정 제어 설정이 끝난다. 사용자는 언제든지 줌 아웃을 통해 그 전단계로 돌아가서 항해경로를 수정할 수 있다. 본 논문은 본 시스템이 어떤 효과가 있는지를 알기 위해 사용자들로 하여금 본 시스템을 사용하여 3차원 아바타의 표정 제어를 수행하게 하였으며, 그 결과를 평가한다.

Keywords

References

  1. Demetri Terzopoulos, Barbara Mones-Hattal, Beth Hofer, Frederic Parke, Doug Sweetland, Keith Waters, 'Facial animation : Past, present and future', Panel, SIGGRAPH97 https://doi.org/10.1145/258734.258899
  2. Frederic I. Parke, Keith Waters, 'Computer facial animation,' A K Peters, 1996
  3. Brian Guenter, Cindy Grimm, Daniel Wood, Henrique Malvar, Frederic Pighin, 'Making Faces', SIGGRAPH 98 Conference Proceedings, July, 1998 https://doi.org/10.1145/280814.280822
  4. Won-Sook Lee, Prem Kalra, Nadia Magnenat Thalmann, 'Model based face reconstruction for animation', Proc. MMM'97, Singapore, pp.323-338, 1997
  5. Won-Sook Lee, Nadia Magnenat-Thalmann, 'From real faces to virtual faces : Problems and solutions,' Proc. 3LA'98, Limoges, pp.5-19, 1998
  6. Cyriaque Kouadio, Pierre Poulin, and Pierre Lachapelle, 'Real-time facial animation based upon a bank of 3D facial expressions', Proc. Computer Animation 98, June, 1998 https://doi.org/10.1109/CA.1998.681917
  7. Wonseok Chae, Yejin Kim, Sung Yong Shin, 'An Example-based Approach to Text-driven Speech Animation with Emotional Expressions,' EUROGRAPHICS 2003, Vol. 22, No. 3
  8. J. C. Bezdek, 'Pattern Recognition with Fuzzy Objective Function Algorithms, Plenum Press, New York, 1981
  9. R. O. Duda and P. E. Hart, 'Patterm Classification and Scene Analysis,' Wiley, New York, 1973
  10. J. C. Dunn, 'A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters', Journal of Cybernetics, 3, pp.32-57, 1973 https://doi.org/10.1080/01969727308546046
  11. R. W. Floyd, 'Algorithm 97 : Shortest Path,' CACM Vol. 5, pp.345, 1962 https://doi.org/10.1145/367766.368168
  12. T. Cox and M. Cox, 'Multidimensional Scaling,' Chapman & Hall, London, 1994
  13. 김성호, 정문렬, '모션 데이터를 이용한 3차원 아바타 얼굴표정 제어', 정보처리학회논문지A, 제11-A권 제6호, 2004 https://doi.org/10.3745/KIPSTA.2004.11A.5.383
  14. Seber, G. A. F., 'Multivaiate Observations,' Wiley, New York, 1984
  15. Ying Zhao and George Karypis, 'Evaluation of hierarchical clustering algorithms for document datasets,' pp.515-524, ACM Press, 2002
  16. S. C. Johnson, 'Hierarchical Clustering Schemes,' Psychometrika, 2, pp.241-254, 1967 https://doi.org/10.1007/BF02289588