Broadcasting and Media Magazine (방송과미디어)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지

인공지능 기반 영상 화질 개선 최신 기술 동향

  • Published : 2020.01.30
Download PDF
⟨ Previous Next ⟩

Abstract

최근 모바일 기기를 위한 카메라 관련 기술이 발전하면서 취득할 수 있는 영상의 화질 또한 크게 향상되고 있다. 그러나, 일상 생활에서 빈번히 발생하는 다양한 실내외 불규칙한 조명 조건 및 저조도 환경은 여전히 영상 화질 저하를 야기한다. 본 고에서는 이러한 문제를 해결하기 위해 최근 널리 연구되고 있는 심층신경망 기반 영상 화질 개선 연구의 최신 동향을 소개하고자 한다. 먼저, 다양한 최적화 기법을 바탕으로 영상 내 조명 성분을 추정하고, 이를 개선하는 방법들에 대해 간략히 설명한다. 또한, 영상 인식, 객체 검출 등에서 뛰어난 성능을 입증한 합성곱 신경망 구조를 기반으로 영상의 잠재적 특징을 효과적으로 검출한 후 이를 바탕으로 개선된 영상을 생성하는 방법에 대해 설명한다. 다양한 데이터셋에 대한 실험 결과를 통해 인공지능 기반 영상 화질 개선의 우수성을 보인다.

Keywords

References

  1. E. H. Land, ''The Retinex theory of color vision,'' Sci. Amer., vol. 237, no. 6, pp. 108-128, Dec. 1977. https://doi.org/10.1038/scientificamerican1277-108
  2. S. Wang, J. Zheng, H.-M. Hu, and B. Li, ''Naturalness preserved enhancement algorithm for non-uniform illumination images,'' IEEE Trans. Image Process., vol. 22, no. 9, pp. 3538-3548, Sep. 2013. https://doi.org/10.1109/TIP.2013.2261309
  3. X. Fu, D. Zeng, Y. Huang, X.-P. Zhang, and X. Ding, "A weighted variational model for simultaneous reflectance and illumination estimation," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2016, pp. 2782-2790.
  4. X. Guo, Y. Li, and H. Ling, ''LIME: Low-light image enhancement via illumination map estimation,'' IEEE Trans. Image Process., vol. 26, no. 2, pp. 982-993, Feb. 2017. https://doi.org/10.1109/TIP.2016.2639450
  5. W. Kim, ''Image enhancement using patch-based principal energy analysis,'' IEEE Access, vol. 6, pp. 72620- 72628, 2018. https://doi.org/10.1109/ACCESS.2018.2882470
  6. W. Kim, R. Lee, M. Park, and S-H. Lee, "Low-light image enhancement based on maximal diffusion values," IEEE Access, vol. 7, pp. 129150-129163, Dec. 2019. https://doi.org/10.1109/ACCESS.2019.2940452
  7. K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition," in Proc. IEEE Int'l. Conf. Comput. Vis. Patt. Recognit., Jun. 2016, pp. 770-778.
  8. R. Wang, Q. Zhang, C-W. Fu, X. Shen, W-S. Zheng, and J. Jia, "Underexposed photo enhancement using deep illumination estimation," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2019, pp. 6849-6857.
  9. A. Ignatov, N. Kobyshev, K. Vanhoey, R. Timofte, and L. Van Gool, "DSLR-quality photos on mobile devices with deep convolutional networks," in Proc. IEEE Int. Conf. Comput. Vis., Oct. 2017, pp. 3297-3305.
  10. J. Park, J-Y. Lee, D. Yoo, and I. S. Kweon "Distort-and-recover: color enhancement using deep reinfoecement learning," in Proc. IEEE Int. Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 5928-5936.
  11. Y-S. Chen, Y-C. Wang, M-H. Kao, and Y-Y. Chuang, "Deep photo enhancer: unpaired learning for image enhancement from photographs wit GANs," in Proc. IEEE Int. Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 6306-6314.
  12. I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio, "Generative adversarial nets," in Proc. Neural Inf. Process. Syst., Dec. 2014, pp. 1-9.
  13. V. Bychkovsky, S. Paris, E. Chan, and F. Durand, "Learning photographic global tonal adjustment with a database of input / output image pairs," in Proc. IEEE Int. Conf. Comput. Vis. Pattern Recognit., Jun. 2011, pp. 97-104.
  14. Retinex Theory of Color Vision, NASA, Washington, DC, USA, 2001.
  15. P. Sen, N. K. Kalantari, M. Yaesoubi, S. Darabi, D. B. Goldman, and E. Shechtman, ''Robust patch-based HDR reconstruction of dynamic scenes,'' ACM Trans. Graph., vol. 31, no. 6, 2012, Art. no. 203.
  16. A. Mittal, R. Soundararajan, and A. C. Bovik, "Making a "completely blind'' image quality analyzer," IEEE Signal Process. Lett., vol. 20, no. 3, pp. 209-212, Mar. 2013. https://doi.org/10.1109/LSP.2012.2227726
  17. K. Gu, S. Wang, G. Zhai, S. Ma, X. Yang, W. Lin, W. Zhang, and W. Gao, "Blind quality assessment of tone-mapped images via analysis of information, naturalness, and structure," IEEE Trans. Multimedia, vol. 18, no. 3, pp. 432-443, Mar. 2016. https://doi.org/10.1109/TMM.2016.2518868
  18. K. Gu, W. Lin, G. Zhai, X. Yang, W. Zhang, and C. W. Chen, "No-reference quality metric of contrast-distorted images based on information maximization," IEEE Trans. Cybern., vol. 47, no. 12, pp. 4559-4565, Dec. 2017. https://doi.org/10.1109/TCYB.2016.2575544
  19. K. Gu, D. Tao, J.-F. Qiao, and W. Lin, "Learning a no-reference quality assessment model of enhanced images with big data," IEEE Trans. Neural Netw. Learn. Syst., vol. 29, no. 4, pp. 1301-1313, Apr. 2018. https://doi.org/10.1109/TNNLS.2017.2649101