DOI QR코드

DOI QR Code

3D Face Modeling from a Frontal Face Image by Mesh-Warping

메쉬 워핑에 의한 정면 영상으로부터의 3D 얼굴 모델링

  • 김중식 (동국대학교 멀티미디어학과) ;
  • 김진모 (동국대학교 영상문화콘텐츠연구원) ;
  • 조형제 (동국대학교 멀티미디어학과)
  • Received : 2012.08.16
  • Accepted : 2012.11.08
  • Published : 2013.01.31

Abstract

Recently the 3D modeling techniques were developed rapidly due to rapid development of computer vision, computer graphics with the excellent performance of hardware. With the advent of a variety of 3D contents, 3D modeling technology becomes more in demand and it's quality is increased. 3D face models can be applied widely to such contents with high usability. In this paper, a 3D face modeling is attempted from a given single 2D frontal face image. To achieve the goal, we thereafter the feature points using AAM are extracted from the input frontal face image. With the extracted feature points we deform the 3D general model by 2-pass mesh warping, and also the depth extraction based on intensity values is attempted to. Throughout those processes, a universal 3D face modeling method with less expense and less restrictions to application environment was implemented and it's validity was shown through experiments.

최근 컴퓨터 비전, 컴퓨터 그래픽스 분야의 급속한 발전과 하드웨어의 우수한 성능으로 인해 3차원 모델링 기술 또한 급속히 발전 되었다. 그리고 다양한 3D 컨텐츠들의 등장으로 3차원 모델링 기술의 수요가 더욱 많아지고 그 질 또한 높아지고 있다. 3D 얼굴 모델은 이러한 컨텐츠들에 폭 넓게 적용될 수 있어 활용성이 높다. 본 논문에서는 주어진 한 장의 2D 정면 얼굴 영상으로부터 3D 얼굴을 모델링하는 방법을 제안한다. 이를 위해 다수의 정점으로 구성된 3D 일반 얼굴 모델을 입력 얼굴 영상과의 대응관계를 통해 변형하여 3D 얼굴을 모델링한다. 우선 AAM을 이용하여 입력된 얼굴 영상에서 특징점을 추출한다. 그리고 추출된 특징점만으로 직관적인 모델을 변형하기 위해 메쉬 워핑을 적용한다. 여기에 얼굴의 깊이 정보를 유도하기 위하여 한 장의 정면 얼굴 영상을 활용한 명도 변화 기반의 깊이 값의 추출을 시도한다. 이러한 과정을 통해 경제적으로 부담되지 않으며 사용 환경에 대한 제한이 적어 보편적으로 활용될 수 있는 3D 얼굴 모델링 방법을 구현하고 그 타당성을 실험으로 보인다.

Keywords

References

  1. 이원우, 우운택, "실감 3D 콘텐츠 제작을 위한 영상 기반 객체 모델링 연구 동향", 한국 멀티미디어학회지, 제10권, 제3호, pp. 24-33, 2006.
  2. A.D. Crocombe, A.D. Linney, J. Campos, and R. Richards, "Non-Contact Anthropometry using Projected Laser Line Distortion: Three Dimensional Graphic Visualisation and Applications," Optics and Lasers in Engineering, Vol. 28, No. 2, pp. 137-155, 1997. https://doi.org/10.1016/S0143-8166(97)00008-0
  3. J. Ahlberg, Candide-3-An Updated Parameterised Face, Report no. LiTH-ISY-R-2326, Dept. of Electrical Engineering, 2001.
  4. Y. Lee, D. Terzopuolos, and K. Waters, "Realistic Modeling for Facial Animation," Proc. SIGGRAPH, pp. 55-61, 1995.
  5. In Kyu Park, Hui Zhang, and Vladimir Vezhnevets, "Image-Based 3D Face Modeling System," EURASIP Journal on Applied Signal Processing, pp. 2072-2090, 2005.
  6. 이원범, 이만희, 박인규, "두 장의 영상을 이용한 스마트폰에서의 3차원 얼굴 모델링," 한국 정보과학회논문지: 시스템 및 이론, 제38권, 제5호, 2011.
  7. V. Blanz and T Vetter, "A Morphable Model for the Synthesis of 3D faces," Proc of SIGGRAPH, pp. 187-194, 1999.
  8. H. Guo, J. Jiang, and L. Zhang, "Building a 3D Morphable Face Model by using Thin Plate Splines for Face Reconstruction," LNCS Vol. 3338, pp. 258-267, 2004.
  9. Y. Hu, D. Jiang, S. Yan, L. Zhang, and H. zhang, "Automatic 3D Reconstruction for Face Recognition," Proc. of the Sixth IEEE International Conference on Automatic Face and Gesture Recognition, pp. 843-848, 2004.
  10. Z. Zhang, Z. Liu, D. Adler, M.F. Cohen, E. Hanson, and U. Shan, "Robust and Rapid Generation of Animated Faces from Video Images: A Model-Based Modeling Approach," International Journal of Computer Vision, Vol. 58, No. 2, pp. 93-119, 2004. https://doi.org/10.1023/B:VISI.0000015915.50080.85
  11. 장용석, 정선태, 김부균, 조성원, "3D 변형가능 형상 모델 기반 3D 얼굴 모델링," 한국콘텐츠학회논문지, 제8권, 제1호, pp. 212-227, 2008. https://doi.org/10.5392/JKCA.2008.8.1.212
  12. 정도준, 장재식, 박세현, 김항준, "Active Contours를 사용한 얼굴 검출," 한국멀티미디어학회 2002년도 춘계학술발표논문집(상), pp. 195-199, 2002.
  13. T.F. Cootes, C.J. Taylor, D. Cooper, and J. Graham, "Active Shape Models-Their Training and Application," Computer Vision and Image Understanding, Vol. 61, No. 1, pp. 38-59, 1995. https://doi.org/10.1006/cviu.1995.1004
  14. T.F. Cootes, D.J. Edwards, S.J. Taylor, "Active Appearance Models," IEEE Trans. Pattern Anal. Vol. 23, No. 6, pp. 681-658, 2001. https://doi.org/10.1109/34.927467
  15. 엄기문, 안충현, 이수인, 3차원 모델링 기술 동향, 정보통신산업진흥원, [IITA] 정보통신 연구진흥원 학술정보 주간 기술 동향 1185호, 2005.
  16. L. Torresani, A. Hertzmann, and C. Bregler, "Learning Non-Rigid 3D Shape from 2D Motion," Proc. Of Neural Information Processing Systems, pp. 1555-1562, 2003.
  17. G. Wolberg, "Digital Image Warping," IEEE Computer Society Press Monograph, pp. 222-240, 1990.
  18. 황규현, 박상훈, "동영상 합성 및 편집을 위한 특징점 기반 조명 및 그림자 추정," 한국컴퓨터그래픽스학회, Vol. 18, No. 1, pp. 1-9, 2012.

Cited by

  1. Developing Yellow Dust and Fine Particulate Masks for Children vol.26, pp.3, 2016, https://doi.org/10.15269/JKSOEH.2016.26.3.350
  2. 어린이 보건용 마스크의 인증기준 마련을 위한 3D 얼굴치수 및 호흡량 연구 vol.27, pp.4, 2017, https://doi.org/10.15269/jksoeh.2017.27.4.269