Broadcasting and Media Magazine (방송과미디어)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지

딥러닝 기반 Super Resolution 기술의 현황 및 최신 동향

  • Published : 2020.04.30
Download PDF
⟨ Previous Next ⟩

Abstract

최근 Ultra-High Definition(UHD) 등의 고해상도 디스플레이가 시장에 등장하고 이에 따라 소비자의 요구가 커지면서 기존의 Full-High Definition(FHD)과 같은 저해상도(Low Resolution, LR) 영상을 고해상도(High Resolution, HR) 영상으로 변환할 수 있는 초해상화(Super-Resolution) 알고리즘에 대한 관심이 커지고 있다. 그러나 기존의 전통적인 초해상화 기법들은 고해상도 영상을 복원하는 과정에서 디테일한 부분의 화질 저화 및 열화가 존재하는 것을 확인할 수 있다. 본 논문에서는 이러한 문제를 해결하기 위해 최근 널리 연구되고 있는 딥러닝 기반의 초해상화 알고리즘 연구의 최신 기술 현황 및 동향을 소개하고자 한다. 딥러닝 기반의 초해상화 알고리즘은 기존의 전통적인 기법들에 비해 높은 성능을 보여주고 있으며 현재까지도 다양한 네트워크가 제안되며 활발히 연구되고 있다. 본 논문에서는 딥러닝 기반의 초해상화 알고리즘 중 대표적인 네트워크들을 분석하고 다양한 데이터 셋에 대한 해당 네트워크의 실험 결과를 통해 딥러닝 기반의 초해상화 알고리즘의 우수성을 확인하고자 한다.

Keywords

References

  1. R. Timofte, V. De, and L. Van Gool. "Anchored neighborhood regression for fast example-based super-resolution." IEEE International Conference on Computer Vision (ICCV), pp. 1920-1927, 2013.
  2. R. Timofte, V. De Smet, and L. Van Gool. "A+: Adjusted anchored neighborhood regression for fast super-resolution." Asian Conference on Computer Vision (ACCV), pp. 111-126. Springer, 2014.
  3. C. Dong, C.C. Loy, K. He, and X. Tang, "Image super-resolution using deep convolutional networks." European Conference on Computer Vision (ECCV), Springer, pp. 184-199, 2014.
  4. Dong, Chao, Chen Change Loy, and Xiaoou Tang. "Accelerating the super-resolution convolutional neural network."European conference on computer vision. Springer, Cham, 2016.
  5. J. Kim, J.K. Lee, and K.M. Lee. "Accurate image super-resolution using very deep convolutional networks." IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1637-1645, 2016.
  6. K. Simonyan, A. Zisserman. "Very deep convolutional networks for large-scale image recognition." International Conference on Learning Representations (ICLR), pp. 1-14, 2015.
  7. B. Lim, S. Son, H. Kim, S. Nah, and K.M. Lee, "Enhanced deep residual networks for single image super-resolution." IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1132-1140, 2017.
  8. C. Ledig, L. Theis, F. Huszar, J. Caballero, A. Aitken, A. Tejani, J. Totz, Z. Wang, and W. Shi. Photo-realistic single image super-resolution using a generative adversarial network. arXiv preprint arXiv:1609.04802, 2016.
  9. W. Shi, J. Caballero, F. Huszar, J. Totz, A. P. Aitken, R. Bishop, D. Rueckert, and Z. Wang. "Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network." IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1874-1883, 2016.
  10. K. Simonyan and A. Zisserman. Very deep convolutional networks for large-scale image recognition. In International Conference on Learning Representations (ICLR), 2015
  11. J. Johnson, A. Alahi, and L. Fei-Fei. Perceptual losses for real-time style transfer and super-resolution. European Conference on Computer Vision (ECCV), pp 694-711. Springer, 2016
  12. M. Bevilacqua, A. Roumy, C. Guillemot, and M. L. Alberi-Morel. "Low-complexity single-image super-resolution based on nonnegative neighbor embedding." British Machine Vision Conference (BMVC), pp. 1-10, 2012.
  13. R. Zeyde, M. Elad, and M. Protter, "On single image scale-up using sparse-representation," International Conference on Curves and Surfaces, Springer, pp. 711-730, 2010.
  14. D. Martin, C. Fowlkes, D. Tal, and J. Malik, "A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics." Computer Vision, 2001. ICCV 2001. Proceedings. Eighth IEEE International Conference on. IEEE, vol. 2, pp. 416-423, 2001.
  15. J. B. Huang, A. Singh, and N. Ahuja. "Single image super-resolution from transformed self-exemplars." IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 5197-5206, 2015.