Journal of the Korea Computer Graphics Society (한국컴퓨터그래픽스학회논문지)

Korea Computer Graphics Society (한국컴퓨터그래픽스학회)
권호 표지
DOI QR코드

DOI QR Code

Development of compound eye image quality improvement based on ESRGAN

ESRGAN 기반의 복안영상 품질 향상 알고리즘 개발

  • Received : 2023.09.12
  • Accepted : 2024.03.20
  • Published : 2024.06.01
Download PDF
⟨ Previous Next ⟩

Abstract

Demand for small biomimetic robots that can carry out reconnaissance missions without being exposed to the enemy in underground spaces and narrow passages is increasing in order to increase the fighting power and survivability of soldiers in wartime situations. A small compound eye image sensor for environmental recognition has advantages such as small size, low aberration, wide angle of view, depth estimation, and HDR that can be used in various ways in the field of vision. However, due to the small lens size, the resolution is low, and the problem of resolution in the fused image obtained from the actual compound eye image occurs. This paper proposes a compound eye image quality enhancement algorithm based on Image Enhancement and ESRGAN to overcome the problem of low resolution. If the proposed algorithm is applied to compound eye image fusion images, image resolution and image quality can be improved, so it is expected that performance improvement results can be obtained in various studies using compound eye cameras.

최근 방위 산업에서는 전시상황에서 병사의 전투력 및 생존성 증대를 위하여 지하 공간, 좁은 통로등에서 적에게 노출되지 않으며 정찰임무를 수행할 수 있는 소형 생체 모방 로봇의 수요가 늘어나고 있다. 특히 소형생체 모방 로봇에 사용 가능한 생체모방 영상 센서에 대한 연구가 많이 진행되고 있다. 그중 복안영상센서는 작은 크기, 적은 수차, 넓은 화각 등의 장점을 갖으며, 복안영상센서를 통해 출력된 복안 영상을 이용해 깊이 추정, HDR 등을 구현 하여 다양한 임무에서 활용 가능하다. 다만 복안영상은 작은 렌즈 크기와 렌즈의 구조로 인하여 영상의 품질이 저하되는 현상이 발생한다. 특히 복안영상으로 출력된 각 Sub-Aperture 이미지를 융합 시 이미지 품질이 많이 저하된다. 본 논문은 이미지 융합 시 이미지의 품질이 저하되는 문제를 극복하기 위하여 여러 이미지 개선 기능과 생성 신경망의 한 종류인 ESRGAN를 사용하여 복안영상 품질 향상 알고리즘을 제안한다. 본 논문에서 제안한 알고리즘은 이미지 전처리부, 이미지 융합부, 이미지 개선 부로 구성된다. 제안한 알고리즘을 복안 영상에 적용하면 영상 품질을 높힐 수 있어, 복안 영상을 이용한 다양한 연구에 활용될 수 있다.

Keywords

Acknowledgement

이 논문은 2021년 정부(방위사업청)의 재원으로 국방기술진흥연구소의 지원을 받아 수행된 연구임(KRIT-CT-21-032)

References

  1. 이우석; 이강수; 이호철. 곤충 눈 모사 설계 위한 가시화 기법의 적용 방법 연구. 한국생산제조학회 학술발표대회논문집 275-275, 2015.
  2. KIRSCHFELD, K. The resolution of lens and compound eyes. In: Neural principles in vision. Berlin, Heidelberg: Springer Berlin Heidelberg, p. 354-370, 1976.
  3. 김동건, et al. 초박형 라이트필드 카메라의 실시간 분해능 향상 알고리즘 개발. Journal of the Korea Computer Graphics Society, 27.3: 25-29, 2021.
  4. SHIN, Do-Kyung, et al. No-Reference Image Quality Assessment Based on Statistical Characterization of Frequency Bands. The Society of Convergence Knowledge Transactions, 10.1: 81-101, 2022
  5. 신재우, et al. 딥러닝 기반 손상된 흑백 얼굴 사진 컬러 복원. Journal of the Korea Computer Graphics Society, 24.2: 1-9, 2018. https://doi.org/10.15701/kcgs.2018.24.2.1
  6. LEDIG, Christian, et al. Photo-realistic single image super-resolution using a generative adversarial network. In: Proceedings of the IEEE conference on computer vision and pattern recognition p. 4681-4690, 2017.
  7. Wang, Xintao, et al. "Esrgan: Enhanced super-resolution generative adversarial networks." Proceedings of the European conference on computer vision (ECCV) workshops. 2018.
  8. SHARMA, Prith, et al. Image Enhancement using ESRGAN for CNN based X-Ray Classification. In: 2022 5th International Conference on Contemporary Computing and Informatics (IC3I). IEEE, p. 1965-1969, 2022.
  9. SONG, Chengkun, et al. Low resolution face recognition system based on ESRGAN. In: 2021 3rd International Conference on Applied Machine Learning (ICAML). IEEE, p. 76-79, 2021.
  10. Wang, Manyu, et al. "A new image denoising method based on Gaussian filter." 2014 International Conference on information science, electronics and electrical engineering. Vol. 1. IEEE, 2014.
  11. ZHANG, Zhengyou. A flexible new technique for camera calibration. IEEE Transactions on pattern analysis and machine intelligence, 22.11: 1330-1334, 2000. https://doi.org/10.1109/34.888718
  12. Li, Zhengguo, et al. "Detail-enhanced multi-scale exposure fusion." IEEE Transactions on Image processing 26.3, 1243-1252, 2017. https://doi.org/10.1109/TIP.2017.2651366
  13. Mertens, Tom, Jan Kautz, and Frank Van Reeth. "Exposure fusion: A simple and practical alternative to high dynamic range photography." Computer graphics forum. Vol. 28. No. 1. Oxford, UK: Blackwell Publishing Ltd, 2009.
  14. Pizer, Stephen M., et al. "Adaptive histogram equalization and its variations." Computer vision, graphics, and image processing 39.3, 355-368, 1987 https://doi.org/10.1016/S0734-189X(87)80186-X
  15. Wang, Xintao, et al. "Real-esrgan: Training real-world blind super-resolution with pure synthetic data." Proceedings of the IEEE/CVF international conference on computer vision. 2021.
  16. Mittal, Anish, Anush Krishna Moorthy, and Alan Conrad Bovik. "No-reference image quality assessment in the spatial domain." IEEE Transactions on image processing 21.12, 4695-4708, 2012. https://doi.org/10.1109/TIP.2012.2214050
  17. Ward, Chris M., et al. "Image quality assessment for determining efficacy and limitations of Super-Resolution Convolutional Neural Network (SRCNN)." Applications of Digital Image Processing XL. Vol. 10396. SPIE, 2017.
  18. Zhang, Wenlong, et al. "Ranksrgan: Super resolution generative adversarial networks with learning to rank." IEEE Transactions on Pattern Analysis and Machine Intelligence 44.10, 7149-7166, 2021. https://doi.org/10.1109/TPAMI.2021.3096327
  19. Tao, Yu, and Jan-Peter Muller. "Super-resolution restoration of MISR images using the UCL MAGiGAN system." Remote Sensing 11.1, 52, 2018.