A 3D Face Modeling Method Using Region Segmentation and Multiple light beams

지역 분할과 다중 라이트 빔을 이용한 3차원 얼굴 형상 모델링 기법

  • Lee, Yo-Han (Department of Electronic Engineering Sogang University) ;
  • Cho, Joo-Hyun (Department of Electronic Engineering Sogang University) ;
  • Song, Tai-Kyong (Department of Electronic Engineering Sogang University)
  • Published : 2001.11.25

Abstract

This paper presents a 3D face modeling method using a CCD camera and a projector (LCD projector or Slide projector). The camera faces the human face and the projector casts white stripe patterns on the human face. The 3D shape of the face is extracted from spatial and temporal locations of the white stripe patterns on a series of image frames. The proposed method employs region segmentation and multi-beam techniques for efficient 3D modeling of hair region and faster 3D scanning respectively. In the proposed method, each image is segmented into face, hair, and shadow regions, which are independently processed to obtain the optimum results for each region. The multi-beam method, which uses a number of equally spaced stripe patterns, reduces the total number of image frames and consequently the overall data acquisition time. Light beam calibration is adopted for efficient light plane measurement, which is not influenced by the direction (vertical or horizontal) of the stripe patterns. Experimental results show that the proposed method provides a favorable 3D face modeling results, including the hair region.

본 논문에서는 한 개의 카메라와 한 대의 환등기(LCD 환등기 혹은 슬라이드 환등기)를 이용하여 2차원 얼굴 영상으로부터 3차원 얼굴 형상을 모델링하는 방법을 제안한다. 환등기를 이용하여 사람 얼굴에 라이트 빔을 투영하고 이를 조금씩 이동시키며 영상을 획득한 뒤 각 2차원 영상의 지역적 정보와 영상들 사이의 시간적 정보를 함께 이용하여 3차원 형상을 복원하는 방법을 채택하였다. 제안된 방법에서는 특정이 서로 다른 영역들의 효과적인 3차원 좌표 모델링을 위해 영상을 그림자 부분 얼굴 부분 그리고 머리카락 부분으로 나누어 처리하는 지역 분할(region segmentation) 기법을 도입하였고, 2차원 얼굴 영상 획득 시간을 줄이고 고속 3차원 스캔을 위하여 한 영상 안에 다수의 라이트 빔(multiple light beams)을 이용하였다. 또 한 라이트 빔의 경계를 정확하게 검출하기 위하여 라이트 빔 캘리브레이션(light beam calibration) 기법을 제안하여 사용하였다. 실험 결과 제안한 방법을 통해서 머리카락 부분을 포함한 전체 얼굴 영역에서 향상된 3차원 모델링 결과를 얻을 수 있었다.

Keywords

References

  1. R. Klette, K. Schluns and A. Koschan, ComputerVision:Three-Dimensional Data from Images, Springer Verlag pp.347-376 ,1998
  2. M. Trobina, 'Error model of coded-light range sensor', Technical Report BIWITR-164, ETHZentrum, 1995
  3. Z. Zhang, 'A flexible new technique for camera calibration', Technical Report MSR-TR-98-71, Dec. 1998
  4. J.-Y. Bouguet and P. Perona, '3D phtography on your Desk', Proc. 6th Int. Conf. Computer Vision, pp. 43-50, Bombay, India, Jan. 1998 https://doi.org/10.1109/ICCV.1998.710699
  5. J. F. Canny, 'A computational approach to edge detectioin', IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 8, no. 6, pp 679-698, 1986
  6. B. Curless and M. Levoy, 'Better optical triangulation through spacetime analysis', Proc. 5th Int. Cof. Computer Vision, pp. 987-993, MIT, Cambridge, MA, USA, June, 1995 https://doi.org/10.1109/ICCV.1995.466772
  7. J.-Y. Bouguet, Visual Method for Three-Dimensional Modeling, Ph. D. thesis, California Institute of Technology, pp. 125-187, 1999
  8. J. Heikkila and O. silven. 'A four-step camera calibration procedure with implicit image correction', Proc. IEEE Computer Society Conf. Computer Vision an Pattern Recognition, pp. 1106-1112, 1997 https://doi.org/10.1109/CVPR.1997.609468
  9. R. C. Gonzalez and R. E. Woods, Digital Image Processing, Addison-Wesley, pp. 191-195, 1992