심층 신경망을 이용한 저조도 영상에서 Retinex 기반 반사 영상 생성

Generating a Retinex-based Reflectance Image from a Low-Light Image Using Deep Neural Network

Abstract

저조도 영상의 개선에 관한 연구는 대부분 대비 개선을 목적으로 한다. 저저도 영상에서 밝기 개선, 대조 개선, 및 조명 성분 감쇠 등의 다양한 연구가 진행됐다. 최근에 인공신경망으로 상기 방법들을 대체하는 연구가 진행 중이다. 본 논문에서는 Retinex 이론에 기반하여 조명 광원이 존재하는 저저도 영상으로부터 조명 성분을 감쇠하고, 반사 성분만을 생성하는 기법을 심층신경망으로 대체하는 방법을 제안한다. 실험에서는 102장의 저저도 영상으로 학습시킨 인공신경망으로 반사 영상을 생성하였는데, PSNR=30.8682(db), SSIM=0.4345를 얻었다.

Improvement of low-light image mainly focuses on the contrast enhancement. Many researches have been carried out for brightness enhancement, contrast improvement and illumination reduction. Recently, the aforementioned approaches have been replaced by artificial neural networks. This paper proposes a methodology that can replace the Retinex-based reflectance image acquisition by deep neural network. Experiments carried out on 102 low-light images validated the feasibility of the replacement by producing PSNR=30.8682(db) and SSIM=0.4345.

그림 1. 광원 조명의 영향을 받는 저저도 영상 Fig. 1. Low-light images affected by light source

그림 2. 기존 저조도 영상 향상과 제안 방법의 차이. (a) 일반적인 DNN 기반 영상 생성[9] 및 (b) 기제작된 반사 영상 생성 알고리즘을 DNN으로 대체하는 구조도 Fig. 2. Difference of conventional reflectance image methods and the proposed method. (a) The approach of the former and (b) diagram replacing a customized reflectance map generation algorithm with DNN

그림 3. 결과 그림. (a) 입력영상, f 및 (b) 반사 영상, rR Fig. 3. Resulting images. (a) input images, f and (b) reflectance images, rR

그림 4. 제안 방법의 전체 흐름도 Fig. 4. The overall block diagram of the proposed method

그림 5. 심층신경망의 네트워크 구조 Fig. 5. The network structure of the deep neural network

그림 6. 실험에 사용된 광원이 존재하는 저저도 영상 Fig. 6. Low-light images under illumination used in experiments

그림 7. 스트라이드=1로 중첩 패치 생성 Fig. 7. Generating overlapped patches with stride=1

그림 8. 패치의 크기와 은닉층의 개수에 따른 로스의 그래프. (a) 8x8 patch 및 은닉층 개수 2개, (b) 8x8 patch 및 은닉층 개수 3개, (c) 16x16 patch 및 은닉층 개수 2개 및 (d) 16x16 patch 및 은닉층 개수 3개. Fig. 8. Graph of loss with respect to the size of patches and the number of hidden layers. (a) 8x8 patch and two hidden layers, (b) 8x8 patch and three hidden layers, (c) 16x16 patch and two hidden layers, and (d) 16x16 patch and three hidden layers.

그림 9. (a) 입력 저저도 영상, (b) 출력 타겟 영상, 및 (c) 예측 영상 Fig. 9. (a) input low-light images, (b) output target images, and (c) predicted images

표 1. LPF input image와 LPF reflectance image의 RMSE, PSNR, 및 SSIM의 객관적 성능 평가. Bold는 가장 좋은 성능을 표기함 Table 1. Performance evaluation of RMSE, PSNR and SSIM of LPF input image and LPF reflectance image. Bold numbers represent the best scores

표 2. target reflectance image와 predicted reflectance image의 RMSE, PSNR, 및 SSIM의 객관적 성능 평가. Bold는 가장 좋은 성능을 표기함 Table 2. Performance evaluation of RMSE, PSNR and SSIM of target reflectance image and predicted reflectance image. Bold numbers represent the best scores