Journal of KIISE:Software and Applications (한국정보과학회논문지:소프트웨어및응용)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

The Extraction of Face Regions based on Optimal Facial Color and Motion Information in Image Sequences

동영상에서 최적의 얼굴색 정보와 움직임 정보에 기반한 얼굴 영역 추출

  • 박형철 (공주대학교 전자계산학과) ;
  • 전병환 (공주대학교 전자계산학과)
  • Published : 2000.02.15
Download PDF
⟨ Previous Next ⟩

Abstract

The extraction of face regions is required for Head Gesture Interface which is a natural user interface. Recently, many researchers are interested in using color information to detect face regions in image sequences. Two most widely used color models, HSI color model and YIQ color model, were selected for this study. Actually H-component of HSI and I-component of YIQ are used in this research. Given the difference in the color component, this study was aimed to compare the performance of face region detection between the two models. First, we search the optimum range of facial color for each color component, examining the detection accuracy of facial color regions for variant threshold range about facial color. And then, we compare the accuracy of the face box for both color models by using optimal facial color and motion information. As a result, a range of $0^{\circ}{\sim}14^{\circ}$ in the H-component and a range of $-22^{\circ}{\sim}-2^{\circ}$ in the I-component appeared to be the most optimum range for extracting face regions. When the optimal facial color range is used, I-component is better than H-component by about 10% in accuracy to extract face regions. While optimal facial color and motion information are both used, I-component is also better by about 3% in accuracy to extract face regions.

자연스러운 사용자 작업 환경인 헤드 제스처 인터페이스를 구현하기 위해서는 얼굴 영역 추출에 관한 연구가 선행되어야 하는데, 최근에는 동영상에서 얼굴 영역을 추출하기 위해 색상 정보를 이용하는 연구가 많이 진행되고 있다. 본 논문에서는 대표적으로 사용되는 HSI 컬러 모델과 YIQ 컬러 모델의 각 색상 성분인 H(hue)와 I(in-phase)를 이용하여 얼굴 영역의 추출 성능을 비교한다. 먼저 각 색상 성분에 대해 임계 구간 변화에 따른 최적의 얼굴색 구간을 설정하여 얼굴 영역 추출의 정확도를 비교한다. 다음으로 설정된 최적의 얼굴색 정보와 움직임 정보를 결합한 영상에 대해 얼굴 박스를 추출함으로써 최종적인 얼굴 영역 추출의 정확도를 비교 평가한다. 실험 결과, 최적의 얼굴색 정보를 표현하는 구간은 HSI의 H 성분의 경우 $0^{\circ}{\sim}14^{\circ}$, YIQ의 I 성분은 $-22^{\circ}{\sim}-2^{\circ}$인 것으로 나타났다. 이 최적 구간에 의한 각 색상 성분의 얼굴 영역 추출의 정확도에서는 I 성분이 H 성분에 비해 약 10% 정도 높은 추출율을 나타냈으며, 최적의 얼굴색 정보와 움직임 정보를 결합한 영상의 경우에서도 I 성분이 약 3% 정도의 보다 나은 얼굴 영역 추출 결과를 얻었다.

Keywords

References

  1. C. Morimoto, Y. Yacoob and L. Davis, 'Recognition of Head Gestures using Hidden Markov Models,' Proc, of Int'l Conf. on Pattern Recognition, pp.461-465, 1996
  2. R. Chellappa, C. L. Wilson and S. Sirohey, 'Human and Machine Recognition.of Faces; A Survey,', Proc. of the IEEE, Vol. 83, No.5, pp.704-740, 1995
  3. L. C. De Silva, K. Aizawa and M. Hatori, 'Detection and Tracking of Facial Feature by Using Edge Pixel Counting and Deformable Circular Template Matching,' Trans. on IEICE Information and System, Vol. E78-D, No.9, pp.1195-1207, 1995
  4. C. L. Huang and C. W. Chen, 'Human Facial Feature Detection for Face Interpretation and Recognition,' Pattern Recognition, Vol. 25, No. 12, pp.1435-1444, 1992 https://doi.org/10.1016/0031-3203(92)90118-3
  5. R. Brunelli and T. Poggio, 'Face Recognition: Features versus Templates,' IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 15, No. 10, pp.1042-1052, 1993 https://doi.org/10.1109/34.254061
  6. Y. H. Kwon and N. V. Lobo, 'Face Detection Using Templates,' Proc. of Int'l Conf. on Pattern Recognition, Vol. 1, pp.764-767, 1994
  7. S. Sirohey, 'Human Face Segmentation and Identification,' Tech. Report, CAR-TR_695, Center for Automation Research, Univ. of Maryland, 1993
  8. T. C. Chang, T. S. Huang and C. Novak, 'Facial Feature Extraction from Color Images,' Proc. of Int'I Conf. on Pattern Recognition, Vol. 2, pp.39-43, 1994
  9. 유태웅, 오일석 '색채 분포 정보에 기반한 얼굴 영역 추출', 정보과학회논문지(B), 제24권, 제2호, pp.180-192, 1997
  10. N. Herodotou, K. N. Plataniotis and A. N. Venetsanopoulos, 'Automatic Location and Tracking of the Facial Region in Color Video Sequences,' Signal Processing: Image Communication, Vol. 14, No.5, pp.359-388, 1999 https://doi.org/10.1016/S0923-5965(98)00018-6
  11. Y. Dai and Y. Nakano, 'Face-Texture Model Based on SGLD and Its Application in Face Detection a Color Scene,' Pattern Recognition, Vol. 29, No. 6, pp.1007-1017, 1996 https://doi.org/10.1016/0031-3203(95)00139-5
  12. J. C. Terrillon, M. David and S. Akarnatsu, 'Automatic Detection of Human Faces in Natural Scene Images by Use of a Skin Color Model and of Invariant Moments,' Proc. of Int'l Workshop on Automatic Face- and Gesture-Recognition, pp. 112-117, 1998
  13. L. Stringa, 'Eyes Detection for Face Recognition,' Applied Artificial Intelligence, Vol. 7, No. 4, pp.365-382, 1993 https://doi.org/10.1080/08839519308949995
  14. C. H. Lee, J. S. Kim and K. H. Park, 'Automatic Human Face Location in a Complex Background using Motion and Color Information,' Pattern Recognition, Vol. 29, No. 11, pp.1877-1889, 1996 https://doi.org/10.1016/0031-3203(96)00036-2
  15. R. C. Gonzalez and R. E. Woods, Digital Image Processing, Addison Wesley, pp.228-235, 1993
  16. R. Crane, A Simplified Approach to Image Processing, Prentice-Hall, pp.17-18, 1997