Journal of the Institute of Electronics Engineers of Korea CI (전자공학회논문지CI)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

Albedo Based Fake Face Detection

빛의 반사량 측정을 통한 가면 착용 위변조 얼굴 검출

  • Kim, Young-Shin (Sungkyunkwan University, School of Information and Communication Engineering) ;
  • Na, Jae-Keun (Sungkyunkwan University, School of Information and Communication Engineering) ;
  • Yoon, Sung-Beak (Sungkyunkwan University, School of Information and Communication Engineering) ;
  • Yi, June-Ho (Sungkyunkwan University, School of Information and Communication Engineering)
  • 김영신 (성균관대학교 정보통신공학부) ;
  • 나재근 (성균관대학교 정보통신공학부) ;
  • 윤성백 (성균관대학교 정보통신공학부) ;
  • 이준호 (성균관대학교 정보통신공학부)
  • Published : 2008.11.25
Download PDF
⟨ Previous Next ⟩

Abstract

Masked fake face detection using ordinary visible images is a formidable task when the mask is accurately made with special makeup. Considering recent advances in special makeup technology, a reliable solution to detect masked fake faces is essential to the development of a complete face recognition system. This research proposes a method for masked fake face detection that exploits reflectance disparity due to object material and its surface color. First, we have shown that measuring of albedo can be simplified to radiance measurement when a practical face recognition system is deployed under the user-cooperative environment. This enables us to obtain albedo just by grey values in the image captured. Second, we have found that 850nm infrared light is effective to discriminate between facial skin and mask material using reflectance disparity. On the other hand, 650nm visible light is known to be suitable for distinguishing different facial skin colors between ethnic groups. We use a 2D vector consisting of radiance measurements under 850nm and 659nm illumination as a feature vector. Facial skin and mask material show linearly separable distributions in the feature space. By employing FIB, we have achieved 97.8% accuracy in fake face detection. Our method is applicable to faces of different skin colors, and can be easily implemented into commercial face recognition systems.

특수 분장을 이용하여 매우 정교하게 제작된 가면을 쓴 얼굴 위변조의 경우 일반적인 밝기 영상으로는 검출이 용이하지 않다. 최근의 획기적인 특수 분장 기술 발전을 고려할 때 성공적인 얼굴 인식시스템 개발을 위해 가면을 쓴 얼굴 위변조 검출 연구는 매우 중요하다. 본 연구에서는 물질의 재질 및 표면 색상에 따른 반사율의 차이를 기반으로 가면을 착용하는 얼굴 위변조 검출 방법을 제안한다. 우선 실제 얼굴 인식 시스템의 적용 환경을 고려할 때 알비도(albedo)를 단순히 빛의 반사량, 즉, 영상에서의 그레이 값으로 간략화 할 수 있음을 보였다. 이를 기반으로 850nm 적외선 조명이 얼굴 피부와 가면재질의 구분에 가장 적합하고, 인종 간 다른 피부색에 대해서는 685nm 조명에서 뚜렷한 차이를 보임을 알 수 있었다. 이 두 파장대의 조명하에서 측정한 영상의 그레이 값으로 2D 특징 벡터를 만들어 사용하면 특징 공간 상에서의 얼굴 피부와 가면 재료의 분포는 선형적으로 분리가 가능한 분포를 갖게 되는 것을 알 수 있었다. Fisher Linear Discriminant(FLD)를 적용하여 97.8%의 가면 얼굴 검출율을 얻을 수 있었다. 제안하는 방법은 기존의 상용 얼굴 인식 시스템에 매우 적은 비용과 간단한 방법으로 추가 적용하여 모든 인종에 대한 얼굴 위변조 검출이 가능하다.

Keywords

References

  1. F. Bettinger, and T. F. Cootes, "A model of facial behaviour," IEEE CNF, pp.123-128, 2004
  2. J. Park, C. Kim, J. Na, and J. Yi, "Effectively Exploiting Distortion of Structured Light Pattern for Capturing Depth Discontinuities," FCV, 2007
  3. N. G. Jablonski and G. Chaplin, 'The evolution of human skin coloration,' Journal of Human Evolution, vol. 39, pp. 57-106, 2000 https://doi.org/10.1006/jhev.2000.0403
  4. R. O. Duda, P. E. Hart, and D. G. Stork, "Pattern Classification", Wiley-interscience, Second edition, pp. 117-124, 2000
  5. K. Hadobás, S. Kirsch, A. Carl, M. Acet, and E. F. Wassermann, "Reflection properties of nanostructure-arrayed silicon surfaces," Nanotechnol, vol. 11, pp. 161-164, 2000 https://doi.org/10.1088/0957-4484/11/3/304
  6. M. StÄorring, "Computer Vision and Human Skin Colour," Faculty of Engineering and Science, Aalborg University, 2004
  7. E. Angelopoulou, "The Reflectance Spectrum of Human Skin," Technical Report MS-CIS-99-29, Pennsylvania University, 1999
  8. C. Donner, and H. W. Jensen, "A Spectral Shading Model for Human Skin," ACM SIGGRAPH 2006 Sketches, vol. 147, 2006
  9. C. Donner, and H. W. Jensen, "Light diffusion in multilayered translucent materials," ACM SIGGRAPH 2005 Papers, pp. 1032-10390, 2005
  10. R. Basri, and D. Jacobs, "Photometric Stereo with General, Unknown Lighting," IEEE CVPR, pp. 374-381, 2001
  11. H. Hayakawa, "Photometric stereo under a light source with arbitraty motion," Society of America, vol. 11, no. 11, 1994
  12. A. L Yuille, D. Snow, R. Epstein, and P. N. Belhumeur, "Determining Generative Models of Objects under Varying Illumination: Shpae and Albedo from Multiple Images using SVD and Integrability," IJCV, vol. 35(3), pp. 203-222, 1999 https://doi.org/10.1023/A:1008180726317
  13. I. Kemelmacher, and R. Basri, "Indexing with Unknown Illumination and Pose," IEEE CVPR, 2005
  14. P. N. Belhumeur, D. J. Kriegman, and A. L. Yuille, "The Bas-Relief Ambiguity," IEEE CVPR, pp. 1060-1066, 1997
  15. R. Epstein, A. L. Yuille, and P. N. Belhumeur, "Learning Object Representations from Lighting Variations," ECCV International Workshop, pp. 179-199, 1996
  16. A. Yuille, and D. Snow, "Shape and Albedo from Multiple Images using Integrability," IEEE CVPR, 1997
  17. W. Huang, and R. Mariani, "Face detection and precise eyes location," IEEE CVPR, vol. 4, pp. 722-727, 2000
  18. S. G. Narasimhan, V. Ramesh, and S. K. Nayar, "A Class of Photometric Invariants: Separating Material from Shape and Illumination," IEEE ICCV, vol.2, pp.1387-1394, 2003
  19. C. Zandonella, "T-ray specs," Nature, vol 424, 2003, 'www.nature.com/nature'
  20. Roithner LaserTechnik Co., 'http://www.roithner-laser.com/'