Wavelet Mix Module: Preserving High-Frequency in Network using Wavelet Transform

웨이블릿 혼합 모듈: 웨이블릿 변환을 이용한 네트워크 내 고주파 성분 보존

  • Kim, Min Woo (Department of ECE, INMC, Seoul National University) ;
  • Cho, Nam Ik (Department of ECE, INMC, Seoul National University)
  • 김민우 (서울대학교 전기정보공학부, 뉴미디어통신공동연구소) ;
  • 조남익 (서울대학교 전기정보공학부, 뉴미디어통신공동연구소)
  • Published : 2022.06.20

Abstract

본 논문에서는 '스케치로부터 RGB 이미지로의 변환'을 수행하는 웨이블릿 기반의 네트웍에서 생성된 이미지 품질을 높이기 위해, 네트워크가 저주파수에 편향되어 학습이 되는 것을 완화하고자 Wavelet Mix Module(WMM)을 제안하였다. WMM 은 UNet 구조의 skip-connection 과정에 적용되며, 웨이블릿 변환을 사용하여 인코더 특성으로부터 세부값을 추출하여 디코더 특성으로 전달함으로써 네트워크 내에서 고주파 성분이 보존되도록 한다. WMM 이 적용된 네트워크로부터 생성된 이미지는 정량적 및 정성적인 결과가 개선됨을 실험을 통해 확인하였다.

Keywords

Acknowledgement

이 논문은 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행되었으며, 2022 년도 BK21 FOUR 정보기술미래인재 교육연구단에 의하여 지원되었음 (2021R1A2C2007220).