일차원 패치 학습을 이용한 고속 내용 기반 보간 기법

Fast Content Adaptive Interpolation Algorithm Using One-Dimensional Patch-Based Learning

  • 투고 : 2010.05.27
  • 심사 : 2010.08.30
  • 발행 : 2011.01.25

초록

본 논문은 저해상도 입력 영상을 고해상도 영상으로 복원하는 고속 학습기반 보간 기법을 제안한다. 일반적인 학습기반 초고해상도 기법은 여러 종류의 저해상도 영상과 고해상도 영상의 상관성을 통해 고주파 정보를 사전에 학습하고, 합성 단계에서 학습한 정보를 이용해 임의의 저해상도 영상을 고해상도 영상으로 복원한다. 이런 기존 학습기반 초 고해상도 기법은 방대한 양의 학습된 정보를 메모리에 저장해야만 하는 단점이 있을 뿐만 아니라 이차원 블록 단위 정합 과정을 거쳐야 하기 때문에 상당한 연산량이 요구된다. 이러한 문제점을 보완하기 위해 본 논문은 일차원 패치 단위 학습을 통해 학습 정보 저장용 메모리 크기 및 연산량을 크게 줄이는 기법을 제안한다. 실험 결과에 따르면, 제안한 기법은 전통적인 bicubic 보간 기법보다 평균 0.7dB 정도 높은 PSNR을 보이며, SSIM도 평균 0.01이상 향상되는 결과를 보인다.

This paper proposes a fast learning-based interpolation algorithm to up-scale an input low-resolution image into a high-resolution image. In conventional learning-based super-resolution, a certain relationship between low-resolution and high-resolution images is learned from various training images and a specific high frequency synthesis information is derived. And then, an arbitrary low resolution image can be super-resolved using the high frequency synthesis information. However, such super-resolution algorithms require heavy memory space to store huge synthesis information as well as significant computation due to two-dimensional matching process. In order to mitigate this problem, this paper presents one-dimensional patch-based learning and synthesis. So, we can noticeably reduce memory cost and computational complexity. Simulation results show that the proposed algorithm provides higher PSNR and SSIM of about 0.7dB and 0.01 on average, respectively than conventional bicubic interpolation algorithm.

키워드

참고문헌

  1. X. Li and M. Orchard, "New edge directed interpolation," IEEE Trans. Image processing, vol. 10, no. 10, pp. 1520-1527, Oct. 2001.
  2. 신정호, 정정훈, 백준기, "정칙화된 영상복원을 이용한 공간 적응적 영상보간," 전자공학회논문지 제35권 SP편, 11호, 1578-1584쪽, 1998년 11월.
  3. 정신철, 송병철, "영역별 특성을 고려한 적응적 영상 보간 방법," 전자공학회논문지 제46권 SP편, 5호, 111-119쪽, 2009년 9월.
  4. M. Zhao, M. Bosma, and G. de Haan, "Making the best of legacy video on modern displays," J. Soc. Inf. Display, vol. 15, no. 1, pp. 49-60, 2007. https://doi.org/10.1889/1.2451557
  5. W. Freeman, T. Jones, and E. Pasztor, "Example-based super-resolution," IEEE Computer Graphics and Applications, vol. 40, no. 1, pp. 23-47, 2000.
  6. W. Fan and D. Yeung, "Image hallucination using neighbor embedding over visual primitive manifolds," IEEE Proc. CVPR, 2007.
  7. G. de Haan and E. B. Bellers, "Deinterlacing- an overview," Proc. of the IEEE, vol. 86, no. 9, pp. 1839-1857, Sep. 1998. https://doi.org/10.1109/5.705528
  8. Tao Chen, Hong Ren Wu, and Zheng Hua Yu, "Efficient de-interlacing algorithm using edge-based line average interpolation," Optical Engineering, vol. 39, no. 8, pp. 2101-2105, Aug. 2000. https://doi.org/10.1117/1.1305262
  9. H. Yoo and J. Jeong, "Direction-oriented interpolation and its application to de-interlacing," IEEE Trans. Consumer Electronics, vol. 48, no. 4, pp. 954-962, Nov. 2002.
  10. W. Kim, S. Jin, and J. Jeong, "Novel intra deinterlacing algorithm using content adaptive interpolation," IEEE Trans. Consumer Electronics, vol. 53, no. 3, pp. 1036-1043, Aug. 2007.
  11. Z.Wang, "The SSIM index for image quality assessment," http://www.cns.nyu.edu/-lcv/ssim/.
  12. Z Wang, AC Bovik, HR Sheikh, "Image quality assessment: from error visibility to structural similarity," IEEE Trans. Image Processing, vol. 13, no. 4, pp. 1-14, April 2004. https://doi.org/10.1109/TIP.2004.839582