Deep Network for Detail Enhancement in Image Denoising

영상 잡음 제거에서의 디테일 향상을 위한 심층 신경망

Abstract

Image denoising is considered as a key factor for capturing high-quality photos in digital cameras. Thus far, several image denoising methods have been proposed in the past decade. In addition, previous studies either relied on deep learning-based approaches or used the hand-crafted filters. Unfortunately, the previous method mostly emphasized on image denoising regardless of preserving or recovering the detail information in result images. This study proposes an detail extraction network to estimate detail information from a noisy input image. Moreover, the extracted detail information is utilized to enhance the final denoised image. Experimental results demonstrate that the proposed method can outperform the existing works by a subjective measurement.

1. 서론

최근 고성능 스마트폰과 디지털카메라의 등장으로 일반인들도 고품질의 디지털 영상을 쉽게 얻을 수 있게 되었다. 하지만 실제 카메라로 얻은 디지털 영상에는 카메라 센서, 신호의 간섭 및 증폭, 촬영환경 등의 요인으로 영상에서 잡음(noise)이 발생하는 문제가 발생한다. 잡음은 영상의 품질 저하의 결정적인 요소로, 고품질의 영상을 위해서는 반드시 제거해야 하는 중요한 요소 중 하나이다.

대표적인 잡음의 종류에는 가산성 백색 가우시안 잡음(additive white Gaussian noise), 점 잡음(salt-and-peppernoise), 정규 잡음(uniform noise) 등이 있다. 그중 가장 흔하게 알려진 잡음은 가산성 백색 가우시안 잡음으로, 모든 주파수 대역에 존재하는 잡음을 의미하며 가우시안(Gaussian) 형태의 확률 변수를 가진다. 또한 정규 분포를 가지는 잡음이기 때문에, 어느 정도 랜덤(random)하면서 자연계에서 쉽게 볼 수 있는 잡음의 효과를 가지고 있다. 이러한 특성으로 인하여 가산성 백색 가우시안 잡음을 제거하기 위한 필터링 기반의 방법부터 딥 러닝 기반의 방법까지 여러 가지 연구가 진행되고 있다.

전통적인 필터링 기반 잡음 제거(denoising) 방법으로는 공간 영역(spatial domain) 필터가 많이 사용되고 있다. 특히, 이러한 잡음 제거 필터 기반의 방법으로는 비 지역적 필터(nonlocal mean filter)가 있다[1]. 같은 영역 내에서 비슷한 명도(intensity) 값을 갖는 이웃 픽셀의 평균을 구하는 방식인 양방향 필터(bilateral filter)와는 다르게, 영상 전체 영역에서 비슷한 구조를 가진 영역들을 모아 평균을 취한 값을 갖는 방법이다 (예를 들어,NLBayes[2], BM3D[3,4], WNNM[5]). 그 밖에도 디블러링(deblurring)에서의 잡음 제거 방법, HDR 영상에서의 칼만 필터(Kal-manfilter)를 활용한 잡음 제거 방법 등 다양한 방법이 연구되어 왔다[6,7]. 하지만 이러한 필터링 기반잡음 제거 방법은 디테일(detail)이 블러(blur) 되는 문제점이 있다.

영상 잡음 제거에서 전통적인 필터링 기반 이후에나온 방법으로는 딥 러닝 (deeplearning) 기반의 방법이 있다. 특히, 딥 러닝 기법의 하나인 합성 곱 신경망(convolutional neural network, CNN)은 이미지학습 분야에서 좋은 성능을 보이고 있어 많이 사용되고 있다. 합성 곱 신경망을 활용한 영상 잡음 제거의 최근 연구에는 가우시안 잡음을 제거하는 DnCNN[8,9]이 있다. 영상 분류나 인식을 위한 신경망의 경우 전 결합 레이어(fully connected layer)를 거쳐 이미지의 차원 축소를 통해 피쳐(feature)를 이진 비트스트림(binary bitstream)으로 나타내는 작업이 대부분 필요하지만,DnCNN 잡음 제거 신경망의 경우는 영상의 크기를 유지하며 합성 곱 연산(convolution)을 진행하는 특징이 있다. 그리고 학습(training) 과정에서는 잡음 영상에서 원본(ground truth) 영상을 뺀 영상을 사용하기 때문에, 출력 레이어에서의 값의 범위가 기존 합성 곱 신경망보다 상대적으로 작아진다. 따라서 학습의 정확도가 높아지는 특징이 있다.

이렇게 영상 잡음 제거에서의 딥 러닝을 활용한 방법은 잡음 제거에 있어서 큰 결과 향상을 가져왔다. 딥 러닝 기반 영상잡음 제거 방법에서는 네트워크가 원본과의 차이를 최소화 하는 방식으로 학습을 하게 되어 잡음을 제거하게 된다. 하지만 이 과정에서 영상 내 객체들의 디테일 정보가 있는 픽셀의 경우 블러 되어 정보가 손실되는 문제가 있다.

본 논문에서는 기존의 딥 러닝 기반 영상 잡음 제거 신경망(denoising network)의 디테일 정보가 블러 되는 문제를 개선하기 위한 디테일 추출 모델을 제안한다. 선행된 디테일 추출 모델에서 생성한 디테일 맵(detail map)을 이용하여, 기존의 DnCNN 입력 영상의 디테일을 강조 시켜, 향상된 디테일을 가진결과를 도출한다. 실험 부분의 결과 영상에서 확인할 수 있듯이, 제안한 방법이 BM3D, DnCNN, 그리고 원본보다 디테일 측면에서 향상됨을 확인할 수 있다.

또한 주관적 품질 측정 방법인 시각적 선호도 실험에서도, 향상된 디테일로 인해 제안한 방법의 결과가 이전 방법과 원본보다 좋은 평가 결과를 보인다.

2. 제안한 방법

제안한 방법은 Fig.1과 같이 크게 세 단계로 구성된다. 첫 번째 단계는 디테일 추출 신경망(detail extraction network)이다. 이 단계에서는 입력 영상인 잡음 영상으로부터 디테일을 강조 시키는 역할을 하게 될 디테일 맵을 추출한다. 두 번째 단계인 잡음 영상의 디테일 강조에서는 이전 단계에서 추출한 디테일 맵과 잡음 제거 신경망인 DnCNN의 입력 영상과 연산하여 디테일을 강조 시킨다. 마지막 단계인 잡음 제거 단계에서는 디테일이 강조된 잡음 영상을 입력으로 넣어 디테일 향상과 잡음이 제거 된 최종 결과를 얻는다.

Fig. 1. Overall procedure for the proposed network structure.

2.1 디테일 추출 신경망

본 논문에서는 디테일 추출을 위한 신경망으로 U-net 구조를 사용하였다[10,11]. U-net은 기존에 이미지 분할(image segmentation) 분야에서 이미지내의 물체의 분할을 위한 경계선을 찾는 데 사용되는 네트워크 구조로, 경계선 검출(edge detection)에 장점을 가진 구조이다. 이러한 장점 때문에 디테일 추출을 위해 사용되었다.

Fig. 2. Detail Extraction network

Fig.2는 본 논문에서 사용한 U-net 구조의 네트워크로, 총 10개의 합성 곱 블록(convolution block)으로 이루어져 있다[11]. 입력 영상으로는 R, G, B3채널의 잡음 영상이 들어가고, 결과 영상으로는 네트워크가 생성한 디테일 맵이 추출된다.1-4 블록에서는 블록마다 피쳐(feature)들의 크기가 절반으로 줄어들고, 차원 수는 두배로 늘어난다. 합성 곱 블록의 후반부인 7-10 블록에서는, 전반부와는 반대로 블록마다 크기가 두배씩 늘어나서 원래의 크기로 복구되며, 차원의 수는 절반 씩 줄어든다. 전반부와 후반부의 각 블록마다 합성 곱과 ReLU 활성 함수를 포함하고 있다. 서브 샘플링(subsampling)과 업 샘플링(upsampling) 연산에는 각 합성 곱 마다 3×3 크기의 커널을 사용하였고, 학습을 돕기 위하여 블록마다 합성 곱 연산 후 배치 정규화(batchnormalization)를 실시하였다. 본 논문에서는 서브 샘플링과 업 샘플링 과정에서 손실될 수 있는 피쳐 정보를 얻는 데 도움을 주고자 8-9 블록에 대칭 숏 컷 커넥션(symmetric short cutconnection)을 사용하였다[10].5-6 블록에서는 조금 더 적은 수의 가중치(weight)와 매개변수(parameter)로 빠른 학습을 위한 역주 팽창 합성 곱(dilated convolution)을 사용하였다[12,13].

10개의 합성 곱 블록 이후, 마지막 합성 곱 레이어에는 1×1 커널을 사용하여 3채널의 결과 영상을 얻는다. 이전 연구에서 마지막 레이어의 활성 함수(activation function)는 출력으로 0-1 사이의 값을 갖는 하이퍼볼릭 탄젠트(tanh)를 사용한다[14]. 하지만 본 연구에서는 원본으로 만든 정답 영상인 디테일 맵의값의 범위가 1 이상의 값을 가질 수 있기 때문에, 학습 과정에서의 네트워크 출력 또한 1 이상의 값을 가질 수 있도록 하이퍼볼릭 탄젠트가 아닌 ReLU 활성 함수를 사용하였다.

손실함수(lossfunction)로는 SSIM와 VGG을 사용하였다. SSIM은 구조적 유사 지수를 측정하는 방법으로 디테일 정보의 구조적 손실을 최소화하기 위하여 사용하였다[15].VGG 손실 함수의 경우 수식 (1)과 같이 구성하였다[16].VGG 손실 함수의 경우 미리 학습된 VGG19 모델을 통하여 추출한 특징 맵(feature map)과 원본으로 생성한 디테일 맵의 유클리드 거리(Euclidean distance)를 최소화하는 방법이다.

\(L_{V G G}\left(D_{G} D_{R}\right)=\frac{1}{W_{i, j} H_{i, j}} \sum_{x=1}^{W_{i}} \sum_{y=1}^{H_{i}}\left(\Phi_{i, j}\left(D_{G}\right)_{x, y}-\Phi_{i, j}\left(D_{R}\right)_{x, y}\right)^{2}\)       (1)

수식에서 \(\Phi_{i, j}\)는 j번째 합성 곱 블록의 활성 함수이후,i번째 최대 풀링(max pooling) 레이어 이전의 특징 맵을 의미한다. 본 논문에서는 이전 연구의 값을 따라서 \(\Phi_{5,4}\)로 설정하였다. \(W_{i, j}\)와 \(H_{i, j}\)는 추출된 특징 맵의 차원을 나타낸다. 손실함수의 입력으로 들어가는 \(D_{G}\)는 원본 영상을 이용하여 만든 디테일 맵이고, \(D_{R}\)은 디테일 추출 신경망의 출력이다.

다음은 수식 (2)는 위에서 설명한 구조적 차이를 최소화 할 SSIM 손실 함수와 VGG19 모델 중간 레이어의 특징 맵의 차이를 최소화할 VGG 손실 함수의 합으로 정의한 최종 손실 함수 수식이다.

\(L_{D R}\left(D_{G}, D_{R}\right)=L_{S S I M}\left(D_{G} D_{R}\right)+L_{V G G}\left(D_{G}, D_{R}\right)\)       (2)

다음 수식에서 \(D_{G}\)와 \(D_{R}\)는 수식 (1)에서와 같이 각각 원본 영상을 사용하여 만든 디테일 맵과 디테일추출 신경망의 출력이다.

학습용 입력 영상인 잡음 영상은 가우시안 잡음방법을 사용하여 생성하였으며, 가우시안 잡음의 매개 변수로 평균(mean)은 0, 표준편차(std)는 0.1로 설정하였다. 학습용 정답 영상인 디테일 맵의 경우 수식 (3)과 같이 가우시안 스무딩 필터를 이용한 원본 영상과의 연산을 통하여 비율 영상(ratioimage)을 생성 하는 방법을 이용하였다[17].

\(D_{G}=\left(I_{G}+\alpha\right) /\left(I_{B}+\alpha\right)\)       (3)

다음 수식에서 \(I_{G}\)는 원본 영상이고, \(I_{B}\)는 가우시안스무딩 필터를 사용한 블러 영상이다. 의 경우 수식의 분모가 0이 되는 것을 방지하기 위하여 더해 주었고, 본 논문에서는 값을 이전 연구를 따라서 모두 0.02로 설정하였다[17].

가우시안 스무딩 필터에 의해 블러 된 영상을 R, G, B 채널 마다 각각 나누게 되면,Fig.3의 (b), (c), (d)와 같이 R,G,B 채널 각각의 디테일 정보가 남은비율 영상이 추출된다. 추출된 디테일 맵은 디테일부분에서 Fig.4(c)와 같이, 디테일 위치인 가로축이5인 지점에서 픽셀 값 1을 기준으로 한쪽은 크게 감소하고, 한쪽은 크게 증가하는 형태의 그래프를 가진다. 때문에 이 비율 영상을 입력 영상과 곱해주었을 때 디테일 정보를 강조 시킬 수 있는 일종의 선명효과 필터(sharpen filter)와 같은 역할을 하게 된다. 디테일 맵 생성 시, 경계선 보존 스무딩 필터(edge preserving smoothing)를 사용한다면, 블러 영상에는 경계선 정보가 보존된다. 경계선 정보가 보존된 블러영상을 수식 (3)과 같이 연산하게 되면 경계선의 픽셀 값은 원본과 차이가 없기 때문에, 경계선에서는 Fig. 4(c)와 같은 값의 분포를 얻지 못하고 모두 1로상쇄된다. 따라서 본 논문에서는 경계선을 포함한 디테일을 모두 강조 시키기 위하여 가우시안 스무딩필터를 사용하였다.

2.2 잡음 영상의 디테일 강조(Detail enhancement of
noisy image)

다음은 잡음 제거 신경망의 새로운 입력 영상을 만드는 단계이다. 수식 (4)와 같이, 앞 단의 디테일추출 신경망을 통하여 얻은 디테일 맵을 기존의 입력 영상인 잡음 영상과 곱하여 디테일 정보를 강조시켰다.

\(I_{E}=I_{N} \cdot D_{R}\)       (4)

수식에서 \(I_{N}\)는 원본으로부터 가우시안 노이즈 방법을 사용하여 얻은 잡음 영상으로, 디테일 추출 신경망에 입력으로 들어간 잡음 영상과 동일하다. 디테일 추출 신경망을 통하여 얻은 디테일 맵인 \(D_{R}\)은Fig. 4(c)와 같은 픽셀 값의 분포를 가진다. 디테일을 기준으로 양쪽의 이웃 픽셀 값이 각각 작아지고, 커지기 때문에 이를 \(I_{N}\)과 곱하게 되면, \(I_{N}\)의 디테일 정보가 강조된 새로운 입력 영상 \(I_{E}\)를 생성하게 된다.

Fig. 3. Example of the generation of an detail map from a ground truth image. (a) Ground truth. (b) Detail map(R-channel). (c) Detail map(G-channel). (d) Detail map (B-channel).

Fig. 4. Illustration of the computation of an detail map. (a) Ground truth. Note that, in this case, pixel values are abruptly changed at the detail region. (b) Blurred version of the ground truth. (c) Detail map.

2.3 잡음 제거 신경망

잡음 제거 신경망은 DnCNN 구조를 사용하여 잡음 제거 신경망을 구성하였다[8]. 입력의 경우 기존의 DnCNN에서는 가우시안 노이즈 방법을 사용하여 얻은 잡음 영상 이 입력으로 사용되었지만, 본 논문의 제안한 방법에서는 디테일 맵으로 디테일을 강조시켜 새로 생성한 입력 영상인 \(I_{E}\)를 사용하였다.

3. 실험 및 결과

3.1 실험 환경

본 논문에서는 실험환경으로 Ubuntu16.04LTS 운영체제, CPU: Intel® Core™ i7-7700CPU 3.60Hz, GPU: GTXTitanXp의 PC 환경에서 파이썬 텐서플로우(python tensorflow)를 사용하여 실험하였다. 학습 정보는 디테일 추출 신경망은 256×256으로 크기를 조정한 100,000장의 Place2 데이터셋을 사용하였고 30epoch를 수행하였다. 잡음 제거 신경망의 경우 256×256으로 크기를 조정한 100,000장의 image-net 데이터셋을 사용하였고 50epoch를 수행하였다. 학습 시 입력 영상과 정답 영상을 tfrecord 형식의 직렬화(serialized) 데이터를 만들어 학습 속도를 향상시켰다. 최적화의 경우 두 신경망 모두 아담 최적화(Adamo ptimization) 방법을 사용하였고, 학습률(learning rate)은 0.0001로 설정하였다.

3.2 결과 영상 비교

Fig.5는 제안한 방법과 이전의 영상 잡음 제거 방법을 비교하기 위한 결과 영상이다. Fig. 5(a)와 Fig. 5(b)는 각각 원본과 입력으로 사용된 잡음 영상이고, Fig. 5(c)와 Fig.5(d)는 영상 잡음 제거의 이전 연구 방법인 BM3D와 DnCNN의 결과 영상이다.

Fig.5에서 볼 수 있듯이, 이전 방법인 Fig.5(c)와 Fig. 5(d)는 잡음은 사라졌지만 일부 디테일 정보가 손실되었다. 반면에 제안한 방법인 Fig.5(e)의 경우 디테일 정보를 강조 하고 잡음을 제거하여, 품질이 더 향상된 결과를 얻었다. 더 나아가 제안한 방법인 Fig. 5(e)는 원본 영상인 Fig.5(a) 보다 디테일이 향상되어, 더욱 선명한 결과를 얻은 것을 확인할 수 있다.

Fig.6은 제안한 방법의 디테일 맵과 기존에 존재하는 선명 효과 필터(sharpening filter)를 사용 하였을 때의 결과를 비교하기 위한 영상들이다. 선명 효과 필터의 대표적인 방법인 비선명 마스크(unsharp masking) 방법을 이용하여 입력 잡음 영상을 선명하게 한 후, 제안한 방법과 같은 DnCNN 모델을 사용하여 잡음 제거를 통해 얻은 결과이다.

구체적으로, 비선명 마스크의 필터로는 라플라시안 필터(Laplacian filter)를 사용하였고, 커널 사이즈는 5x5로 하였다. 비선명 마스크를 이용한 결과는 제안한 방법과는 다르게, 디테일을 강조하는 과정에서 디테일이 아닌 지역의 잡음도 강조하게 된다. 따라서 같은 잡음 제거 모델을 적용하였을 때, 비선형 마스크를 활용한 방법의 결과에는 제거되지 못한 잡음이남게 된다.Fig.6에서 확인할 수 있듯이, 제안한 방법인 Fig.6(d)는 비선형 마스크를 활용한 방법인 Fig. 6(c) 보다 잡음 제거와 디테일 측면에서 향상된 결과를 보인다.

Fig. 5. Visual comparison of previous denoising method and proposed method. (a) Ground truth. (b) Noisy. (c) BM3D. (d) DnCNN. (e) Proposed.

Fig. 6. Visual comparison of conventional unsharp masking method and proposed method. (a) Ground truth. (b) Noisy. (c) Result of unsharp masking method. (d) Proposed.

3.3 주관적 품질 측정 실험(subjective quality as-
sessment test) 결과

결과 영상 비교에서, 디테일 측면에서 DnCNN 뿐만 아니라 원본보다도 품질이 향상된 것을 확인하였다. 때문에 본 논문에서는 원본과 비교하여 측정해야 하는 객관적 품질 측정 방법을 사용하지 못하고, 이를 대신하여 결과 영상의 품질 측정을 위해 주관적 품질 측정 방법인 시각적 선호도 실험(viewing preference assessment)을 진행하였다[18]. 실험 방법은 실험자가 원본, DnCNN, 그리고 제안한 방법 3가지 영상을 주관적으로 비교하여 영상의 품질이 가장 좋은 영상을 선택하는 방식이다. 총 10개의 장면(scene)으로 구성하였으며, 장면마다 세 종류의 영상을 랜덤순서로 배치하였다.Fig.7(a)와 같이 실험자는 장면마다 1분 동안 영상을 번갈아 가며 자유롭게 돌려볼수 있으며, 관찰 후에는 20초 동안 평가 및 휴식 후 다음 장면으로 넘어간다.

본 실험에 참여한 18명의 피실험자는 전부 20, 30대 성인이며, 대학교 캠퍼스 내에서 모집하였다. 실험은 해상도 1920×1080의 주사율 60Hz를 가진 삼성전자 디스플레이(LS32F351FUKXKR)로 실험을 진행하였다. 실험 결과는 Fig.7(b) 에서 볼 수 있듯이, 제안한 방법이 이전 방법인 DnCNN, 원본보다 73.9%의 비율로 품질이 더 낫다는 평가를 받았다.

Fig. 7. Viewing preference assessment. (a) Test environment. (b) Test result.

4. 결론

본 논문에서는 디테일 추출 신경망과 기존의 잡음제거 신경망을 이용하여 디테일 측면에서 향상된 결과를 보였다. 잡음을 포함한 영상의 전체적인 디테일을 강조시키는 기존의 선명 효과 필터와는 다르게,디테일 추출 신경망을 통하여 추출 된 디테일 맵이디테일 정보만을 강조 시키는 필터와 같은 역할을 한다는 것을 알 수 있었다. 이러한 디테일 맵을 이용하여 디테일을 강조 시킨 잡음 영상을 잡음 제거 신경망에 입력하였고, 최종적으로 잡음 제거를 하는 동시에 디테일이 보완된 결과를 얻을 수 있었다.

영상 잡음 제거 분야에서 잡음 제거와 디테일 정보를 유지하는 것은 서로 상충관계(trade-off)에 있다. 본 논문의 결과에서 볼 수 있듯이 잡음 제거 이전에 디테일을 강조하고, 기존의 잡음 제거 신경망의 입력으로 사용하여, 디테일 정보들이 잡음과 함께 손실되는 문제를 보완할 수 있었다. 하지만 디테일 맵또한 입력 영상인 잡음 영상으로부터 추출 되기 때문에, 완벽한 디테일 맵 추출에는 아직까지 한계가 있다. 따라서 향후에는 향상된 합성 곱 신경망 또는 생산적 적대 신경망(generative adversarial network, GAN)을 이용하여 정교한 디테일 맵을 추출 할 수 있다면, 영상 잡음 제거 과정에서 디테일이 더욱 향상된 결과를 얻을 수 있을 것으로 예상된다.