A Low Cost 3D Skin Wrinkle Reconstruction System Based on Stereo Semi-Dense Matching

반 밀집 정합에 기반한 저가형 3차원 주름 데이터 복원

  • 장천 (경원대학교 일반대학원 전자계산학과) ;
  • 황보택근 (경원대학교 IT대학)
  • Published : 2009.08.30

Abstract

In the paper, we proposed a new system to retrieve 3D wrinkle data based on stereo images. Usually, 3D reconstruction based on stereo images or video is very popular and it is the research focus, which has been applied for culture heritage, building and other scene. The target is object measurement, the scene depth calculation and 3D data obtained. There are several challenges in our research. First, it is hard to take the full information wrinkle images by cameras because of light influence, skin with non-rigid object and camera performance. We design a particular computer vision system to take winkle images with a long length camera lens. Second, it is difficult to get the dense stereo data because of the hard skin texture image segmentation and corner detection. We focus on semi-dense stereo matching algorithm for the wrinkle depth. Compared with the 3D scanner, our system is much cheaper and compared with the physical modeling based method, our system is more flexible with high performance.

본 논문은 스테레오 영상에 기반한 3차원 주름 데이터 복원 시스템을 제안한다. 일반적으로, 3차원 데이터 복원 연구는 스테레오 영상 또는 비디오 영상을 통해, 문화유산과 같은 건물이나 주변 환경에 적용하는 연구가 최근 활발히 진행되고 있다. 3차원 데이터 복원에서 사물 측정의 목적은 각 영상간의 깊이 정보 계산을 통해 3차원 데이터를 획득하는 것이다. 본 연구를 진행하기 위해선 몇 가지 고려해야할 사항이 있다. 첫째로, 카메라 성능과 비 균일한 구성의 피부, 그리고 조명의 영향 때문에 촬영 시 주름의 완전한 정보를 얻기가 힘들다. 따라서 본 논문은 주름의 정보를 최대한 완전하게 얻기 위해, 근접 촬영이 가능한 접사렌즈를 사용하였다. 둘째로, 피부 영상은 영상 분할이나 특징점을 추출하는데 부정확한 문제점이 있어, 스테레오 영상의 밀집 정보를 얻기가 힘들다. 따라서 본 논문은 주름의 정확한 깊이 정보 계산을 위해 반 밀집에 기반한 스테레오 정합 알고리즘을 사용한다. 본 시스템은 기존의 3차원 스캐너와 비교해 비용 절감의 효과가 있으며, 실험 결과 일반적인 모델링 방법보다 고성능의 결과를 보여주며 이를 통해 활용방안이 많을 것으로 예상된다.

Keywords

References

  1. A. Chiuso, H. Jin, P. Favaro, and S. Soatto, 'MFm: 3-D Motion and Structure from 2-D Motion Causally Integrated Over Time Implementation', Proceedings of ECCV2000, pp.734-750, 2000.
  2. R. Zhang, P. S. Tsai, J. E. Cryer, and M. Shah, 'Shape from shading: a survey', IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 21, No. 8, pp.690-706, 1999. https://doi.org/10.1109/34.784284
  3. G. Pavlidis, A. Koutsoudis, F. Arnaoutoglou, V. Tsioukas, and C. Chamzas, 'Methods for 3D digitization of Cultural Heritage', Journal of cultural heritage No. 8, pp.93-98, 2007.
  4. O. G. Cula, K. J. Dana, F. P. Murphy, and B. K. Rao, 'Skin Texture Modeling', International Journal of Computer Vision, Vol. 62, No. 1-2. pp.97-119, 2005 https://doi.org/10.1007/s11263-005-4637-2
  5. B. K. P. Horn, M. J. Brooks, 'The Variational Approach to Shape from Shading', Computer Version, Graphics & Image Processing, Vol. 33, No. 2, pp.174-208, 1986. https://doi.org/10.1016/0734-189X(86)90114-3
  6. Y. Z. Yu, J. T. Chang, 'Shadow Graphs and 3D Texture Reconstruction', International Journal of Computer Vision, Vol. 62, No. 1-2, pp.35-60, 2005. https://doi.org/10.1007/s11263-005-4634-5
  7. M. Pollefeys, L. V. Gool, M. Vergauwen, F. Verbiest, K. Cornelis, J. Tops, and R. Koch, 'Visual Modeling with a Hand-Held Camera', International Journal of Computer Vision, Vol. 59, No. 3, pp.207-232, 2004. https://doi.org/10.1023/B:VISI.0000025798.50602.3a
  8. G. Michael, S. Noah, C. Brian, H. Hugues, and M. S. Steven, 'Multi-View Stereo For Community Photo Collections', Proceedings of ICCV2007, pp.1-8, 2007.
  9. M. Pollefeys, D. Nister, J. M. Frahm, A. Akbarzadeh, P. Mordohai, B. Clipp, C. Engels, D. Gallup, S. J. Kim, P. Merrell, C. Salmi, S. Sinha, B. Talton, L. Wang, Q. Yang, H. Stewenius, R. Yang, G. Welch, and H. Towles, 'Detailed Real-Time Urban 3D Reconstruction From Video', International Journal of Computer Vision, Vol. 78, No. 2, pp.143-167, 2008. https://doi.org/10.1007/s11263-007-0086-4
  10. S. I. Choi, C. H. Kim, and C. H. Choi, 'Shadow Compensation in 2D Images for Face Recognition', Pattern Recognition, Vol. 40 , No. 7, pp.2118-2125, 2007. https://doi.org/10.1016/j.patcog.2006.11.020
  11. M. Pollefeys, R. Koch, and L. V. Gool, 'A Simple and Efficient Rectification Method for General Motion', Proceedings of ICCV99, pp.496–501, 1999.
  12. O. Veksler, 'Dense Features for Semi-Dense Stereo Correspondence', International Journal of Computer Vision, Vol. 47, No.1-3, pp.247-260, 2002. https://doi.org/10.1023/A:1014506211316
  13. J. Cech, and R. Sara, 'Efficient Sampling of Disparity Space for Fast and Accurate Matching', IEEE Conference on Computer Vision and Pattern Recognition. pp.1-8, 2007.