Journal of KIISE:Software and Applications (한국정보과학회논문지:소프트웨어및응용)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

Reconstruction of High-Resolution Facial Image Based on Recursive Error Back-Projection of Top-Down Machine Learning

하향식 기계학습의 반복적 오차 역투영에 기반한 고해상도 얼굴 영상의 복원

  • 박정선 (전남대학교 멀티미디어학과) ;
  • 이성환 (고려대학교 컴퓨터학과)
  • Published : 2007.04.15
Download PDF
⟨ Previous Next ⟩

Abstract

This paper proposes a new reconstruction method of high-resolution facial image from a low-resolution facial image based on top-down machine learning and recursive error back-projection. A face is represented by a linear combination of prototypes of shape and that of texture. With the shape and texture information of each pixel in a given low-resolution facial image, we can estimate optimal coefficients for a linear combination of prototypes of shape and those that of texture by solving least square minimizations. Then high-resolution facial image can be obtained by using the optimal coefficients for linear combination of the high-resolution prototypes. In addition, a recursive error back-projection procedure is applied to improve the reconstruction accuracy of high-resolution facial image. The encouraging results of the proposed method show that our method can be used to improve the performance of the face recognition by applying our method to reconstruct high-resolution facial images from low-resolution images captured at a distance.

본 논문에서는 하향식 기계 학습 및 반복적 오차 역투영음 이용하여 한 장의 저해상도 얼굴 영상으로부터 고해상도 얼굴 영상을 복원하는 방법을 제안한다. 먼저 얼굴 영상을 독립된 형태 기저와 질감 기저의 선형 중첩으로 표현하고, 주어진 저해상도 얼굴 영상을 형태 기저와 질감 기저의 선형 중첩으 로 최대한 근사하게 표현할 수 있는 계수를 추정한다. 이 추정된 계수를 고해상도 얼굴 영상의 형태 기저 와 질감 기저의 선형 중첩 계수로 사용함으로써 고해상도 얼굴 영상을 복원한다. 또한, 복원된 고해상도 얼굴 영상의 정확도를 개선하기 위하여 학습 기반 오차 역투영 과정을 반복적으로 적용한다. 다양한 실험을 통하여, 제안된 방법이 저해상도 얼굴 영상으로부터 고해상도 얼굴 영상을 효과적으로 복원함을 입증하였으며, 이 방법을 사용하여 원거리 감시 시스템에서 획득된 저해상도 얼굴 영상을 고해상도 얼굴 영상으로 합성함으로써, 얼굴 인식 시스템의 성능을 높일 수 있음을 확인하였다.

Keywords

References

  1. B. Tom and A. K. Katsaggelos, 'Resolution Enhancement Monochrome and Color Video Using Motion Compensation' IEEE Trans, on Image Processing, Vol10, No.2, pp. 278-287, February 2001 https://doi.org/10.1109/83.902292
  2. S. Baker and T. Kanade, 'Limit on Super Resolution and How to Break Them,' IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol.24, No. 9, pp. 1167-1183, September 2002 https://doi.org/10.1109/TPAMI.2002.1033210
  3. M. G. Kang and S. Chaudhuri, 'Super-Resolution Inage Reconstruction,' IEEE Signal Processing Magazine, Vol. 23, No. 3, pp. 19-36, May 2003 https://doi.org/10.1109/MSP.2003.1203206
  4. F. Dekeyser, P. Perez, and P. Bouthemy, 'Restoration of Noisy, Blurred, Undersampled Image Sequences Ising Parametric Motion Model,' Proc. of the International Symopsium on Image/Video Communications over Fixed and Mobile Network, ISIVC 2000, Rabat, Morcocco, Apirl 2000
  5. P. S. Windyga, 'Fast impulsive noise removal.' IEEE Trans. on Image Processing, Vol. 10, No. 1, pp. 173-178, 2001 https://doi.org/10.1109/83.892455
  6. M. J. Jones, P. Sinha, T. Vetter, and T. Poggio, 'Top-down Learning of Low-level Vision Tasks,' Current Biology[brief communecation], Vol. 7, pp. 991-994, 1997 https://doi.org/10.1016/S0960-9822(06)00419-2
  7. J.-S. Park and S.-W. Lee, 'Resolution Enhancement of Facial Image Based on Top-down Learning,' Proc. of ACM SIGMM 2003 Workshop on Video Surveillance, November 2003, pp. 59-64 https://doi.org/10.1145/982452.982460
  8. D. Beymer, A. Shashua, and T. Poggio, 'Example-Based Image Analysis and Synthesis,' AI Memo 1431/CBCL Paper 80, Massachusetts Institute of Technology, Cambridge, MA, November 1993
  9. T. Vetter and N. E. Troje, 'Separation of Texture and Shape in Images of Faces for Image Coding and Synthesis,' Journal of the Optical Society of America A. Vol. 14, No. 9, pp. 2152-2161, 1997 https://doi.org/10.1364/JOSAA.14.002152
  10. V. Blanz and T. Vetter, 'Morphable Model for the Synthesis of 3D Faces,' Proc. of SIGGRAPH'99, Los Angeles, pp. 187-194, 1999