A High-Resolution Image Reconstruction Method Utilizing Automatic Input Image Selection from Low-Resolution Video

저해상도 동영상에서의 자동화된 입력영상 선별을 이용한 고해상도 영상 복원 방법

  • Kim Sung-Deuk (Dept. of IT & Electronics Education, Andong National University)
  • 김성득 (안동대학교 정보전자공학교육과)
  • Published : 2006.03.01

Abstract

This paper presents a method to extract a good high-resolution image from a low-resolution video in an automatic manner. Since a high-resolution image reconstruction method utilizing several low-resolution input images works better than a conventional interpolation method utilizing single low-resolution input image only if the input images are well registered onto a common high-resolution grid, low-resolution input images should be carefully chosen so that the registration errors can be carefully considered. In this paper, the statistics obtained from the motion-compensated low-resolution images are utilized to evaluate the feasibility of the input image candidates. Maximum motion-compensation error is estimated from the high-resolution image observation model. U the motion-compensation error of the input image candidate is greater than the estimated maximum motion-compensation error, the input image candidate is discarded. The number of good input image candidates and the statistics of the motion-compensation errors are used to choose final input images. The final input images chosen from the input image selection block are given to the following high-resolution image reconstruction block. It is expected that the proposed method is utilized to extract a good high-resolution image efficiently from a low-resolution video without any user intervention.

이 논문은 저해상도 동영상에서 자동화된 방식으로 한 장의 좋은 화질의 고해상도 영상을 얻는 방안을 제시한다. 여러 장의 저해상도 영상을 이용하여 고해상도 영상을 얻는 방법이 한 장의 저해상도 영상만을 이용하는 전통적인 보간 방법에 비해 좋은 결과를 보이기 위해서는 입력 영상들이 공통된 고해상도 격자에 잘 정합되어야 하므로, 정합오차를 충분히 고려하여 입력영상들을 주의 깊게 선택한다. 본 논문에서는 움직임 보상된 저해상도 영상들로부터 얻어진 통계적 특성을 활용하여 입력 영상 후보들의 입력 영상으로서의 적합성을 평가한다. 고해상도 영상획득모델로부터 움직임 보상오차의 최대값을 추정한다. 입력 영상 후보의 움직임 보상오차가 추정된 움직임 보상오차의 최대값보다 크면 입력 영상후보는 선정에서 제외된다. 선정된 적절한 유효 입력 영상 후보의 수와 움직임 보상오차의 통계치를 고려하여 최종 입력 영상들을 선별한다. 입력 영상 선별부에서 최종적으로 선별된 입력 영상들은 뒤따르는 고해상도 영상복원부로 입력된다. 제안된 방식은 사용자의 간섭없이 저해상도 동영상에서 효과적으로 입력 영상들을 선별하여 좋은 화질의 고해상도 영상을 얻는 응용에 사용될 것으로 기대된다.

Keywords

References

  1. S. C. Park, M. K. Park, and M. G. Kang, 'Super-resolution image reconstruction: a technical overview,' IEEE Signal Processing Magazine, pp. 21-36, May 2003 https://doi.org/10.1109/MSP.2003.1203207
  2. S. Borman and R. L. Stevenson, 'Super-resolution from image sequences - a review,' Proc. Midwest Symposium Circuits Syst., pp. 374-378, Aug. 1998 https://doi.org/10.1109/MWSCAS.1998.759509
  3. R. R. Schultz and R. L. Stevenson, 'Extraction of high-resolution frames from video sequences,' IEEE Trans. Image Processing, vol. 5, pp. 996-1011, June 1996 https://doi.org/10.1109/83.503915
  4. R. C. Hardie, K. J. Barnard, and E. E. Armstrong, 'Joint MAP registration and high-resolution image estimation using a sequence of undersampled images,' IEEE Trans. Image Processing, vol. 6, pp. 1621-1633, Dec. 1997 https://doi.org/10.1109/83.650116
  5. Y. Altunbasak, A. J. Patti, and R. M. Mersereau, 'Super-resolution still and video reconstruction from MPEG-coded video,' IEEE Trans. Circuits Syst. Video Technol., vol. 12, pp. 217-226, April 2002 https://doi.org/10.1109/76.999200
  6. E. S. Lee and M. G. Kang, 'Regularized adaptive high-resolution image reconstruction considering inaccurate subpixel registration', IEEE Trans. Image Processing, vol. 12, pp. 826-837, July 2003 https://doi.org/10.1109/TIP.2003.811488
  7. S. Baker and T. Kanade, 'Limits on super-resolution and how to break them', IEEE Trans. Pattern Analysis Machine Intelligence, vol. 24, pp. 1167-1183, Sept. 2002 https://doi.org/10.1109/TPAMI.2002.1033210