Recognition method using stereo images-based 3D information for improvement of face recognition

얼굴인식의 향상을 위한 스테레오 영상기반의 3차원 정보를 이용한 인식

  • 박장한 (중앙대학교 첨단영상대학원) ;
  • 백준기 (중앙대학교 첨단영상대학원)
  • Published : 2006.05.01

Abstract

In this paper, we improved to drops recognition rate according to distance using distance and depth information with 3D from stereo face images. A monocular face image has problem to drops recognition rate by uncertainty information such as distance of an object, size, moving, rotation, and depth. Also, if image information was not acquired such as rotation, illumination, and pose change for recognition, it has a very many fault. So, we wish to solve such problem. Proposed method consists of an eyes detection algorithm, analysis a pose of face, md principal component analysis (PCA). We also convert the YCbCr space from the RGB for detect with fast face in a limited region. We create multi-layered relative intensity map in face candidate region and decide whether it is face from facial geometry. It can acquire the depth information of distance, eyes, and mouth in stereo face images. Proposed method detects face according to scale, moving, and rotation by using distance and depth. We train by using PCA the detected left face and estimated direction difference. Simulation results with face recognition rate of 95.83% (100cm) in the front and 98.3% with the pose change were obtained successfully. Therefore, proposed method can be used to obtain high recognition rate with an appropriate scaling and pose change according to the distance.

본 논문에서는 스테레오 얼굴영상으로부터 3차원 정보인 거리와 깊이 정보를 이용해 거리에 따라 얼굴인식률이 떨어지는 것을 개선하였다. 단안 영상은 객체의 거리, 크기, 이동, 회전, 깊이 등의 불확실한 정보로 인해 인식률이 떨어지는 문제점이 있다. 또한 얼굴의 회전, 조명, 표정변화 등의 영상정보가 취득되지 않으면 인식률이 매우 저하되는 단점이 있다. 그래서 본 연구는 이와 같은 문제점을 해결하고자 한다. 제안된 방법은 눈 검출 알고리듬, 얼굴의 회전 방향분석, PCA(Principal Component Analysis)로 구성된다. 또한 제한된 영역에서 얼굴을 고속으로 검출하기 위해 RGB컬러공간에서 YCbCr공간으로 변환한다. 얼굴후보 영역에서 다층 상대적인 밝기 맵을 생성하여 얼굴의 기하학적인 구조로부터 얼굴인지를 판별한다. 스테레오 얼굴영상으로부터 거리 및 눈과 입의 깊이 정보를 취득하고, 거리에 따라 확대, 축소, 이동, 회전 등의 정규화를 통해 $92{\times}112$ 크기의 얼굴을 검출한다. 검출된 왼쪽 얼굴영상과 추정된 방향의 차를 PCA로 학습한다. 제안된 방법은 정면에서 최대 95.8%(100cm), 포즈변화에 따라 98.3%의 인식률을 얻을 수 있었다. 따라서 실험을 통하여 제안된 방법은 거리에 따라 확대, 축소와 회전 등의 정확한 정규화로 높은 인식률을 얻을 수 있음을 보였다.

Keywords

References

  1. S. Kong, J. Heo, B. Abidi, J. Paik, and M. Abidi, 'Recent advances in visual and infrared face recognition-A review,' Computer Vision, Image Understanding, vol. 97, no. 1, pp. 103-135, January 2005 https://doi.org/10.1016/j.cviu.2004.04.001
  2. 손광훈,신형철,양욱일,'3차원 얼굴인식 기술 현황 및 전망',전자공학회 학회지,vol. 33,no. 1, pp. 46-54, 2005년 1월
  3. A. Moreno, A. Sanchez, J. Velez, and F. Diaz, 'Face recognition using 3D surface-extracted descriptors,' The Irish Machine Vision & Image Processing Conference (IMVIP'03), pp. 1-8, September 2003
  4. X. Lu, D. Colbry, and A. Jain, 'Three-dimensional model based face recognition,' Proc. 2004, 17th International Conference on Pattern Recognition (ICPR 2004), pp.1-4, August 2004 https://doi.org/10.1109/ICPR.2004.1334127
  5. U. Park H. Chen, and A. Jain, '3D model-assisted face recognition in video,' Proc. 2005, 2nd Canadian Conference on Computer and Robot Vision (CRV'05), pp. 322-329, 2005 https://doi.org/10.1109/CRV.2005.2
  6. V. Blanz and T. Vetter, 'Face recognition based on fitting a 3D morphable model,' IEEE Trans. Pattern Analysis, Machine Intelligence, vol. 25, no. 9, pp. 1-12, September 2003 https://doi.org/10.1109/TPAMI.2003.1227983
  7. N. Uchida, T. Shibahara, T. Aoki, H. Nakajima, and K. Kobayashi, '3D face recognition using passive stereo vision,' IEEE International Conference on Image Processing (ICIP05), pp. II-950-953, 2005 https://doi.org/10.1109/ICIP.2005.1530214
  8. 이영학,심재창,이태홍,'등고선 영역의 투영 벡터를 이용한 3차원 얼굴 인식',멀티미디어학회 논문지,vol. 6,no. 2,pp. 230-239,2003년 4월
  9. 송환종,양욱일,손광훈,'3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정',전자공학회 논문지,vol. 40-SP,no. 6,pp. 457-466,2003년 11월
  10. A. Nefian and M. Hayes III, 'An embedded HMM-based approach for detection and recognition,' Proc. 1999 IEEE International Conference on Acoustics, Speech, and Signal Processing, vol. 6, pp. 3553-3556, 1999
  11. B. McLindin, 'Baselining illumination variables for improved facial recognition system performance,' 4th EURASIP Conf., Video/Image Processing, Multimedia Communications, vol. 1, pp. 417-422, July 2003 https://doi.org/10.1109/VIPMC.2003.1220497
  12. L. Sirivich and M. Kirby, 'Low-dimensional procedure for the characterization of human faces,' Journal Optical Society of America A: Optics, Image Science, Vision, vol. 4, no. 3, pp. 519-524, March 1987 https://doi.org/10.1364/JOSAA.4.000519
  13. O. Faugeras, Three-Dimensional Computer Vision, MIT Press, 2001
  14. C. Gonzalez and E. Woods, Digital Image Processing, 2nd Edition, Prentice Hall, 2001
  15. L. Chen and W. Lin, 'Visual surface segmentation from stereo,' Image, Vision Computing, vol. 15, no. 2, pp. 95-106, 1997 https://doi.org/10.1016/S0262-8856(96)01116-X
  16. D. Kim, Y. Yoon, and J. Choi, 'A quasi-feature based image mosaic algorithm using modified block matching criteria,' Trans. IEE Japan, vol. 121-C, no. 5, pp. 892-898, May 2001
  17. D. Chi, and K. Ngan, 'Face Segmentation Using Skin-Color map in Videophone Applications,' IEEE Trans. Circuits and systems for video technology, vol. 9, no. 4, pp. 551-564, June 1999 https://doi.org/10.1109/76.767122
  18. Y. Kim, S. Jang, S. Kim, C. Park, and J. Paik, 'Pose-Invariant Face Detection Using Edge-Like Blob Map and Fuzzy Logic,' Proc. 2005 IEA/AIE 2005, LNCS, vol. 3533, pp. 695-704, June 2005 https://doi.org/10.1007/11504894_96