Post Processing Noise Reduction Algorithm of SAP Using Convolution Neural Network

합성곱신경망을 이용한 SAP 잡음 제거 후처리 알고리즘

Abstract

Because salt and pepper noise is a type of impulse, even a small amount of noise could cause a large image degradation. In this paper, we proposed a salt-and-pepper noise removal method using the convolutional neural network. It consists of four phases. In the first step, the proposed method reconstructs noisy image using a traditional salt-and-pepper noise reduction method, and in the second step, the result image of previous step is filtered with Gaussian low pass filter. After that, we reconstruct the filtered image using convolution neural network. In the last step, the pixels with salt-and-pepper noise are replaced with the result of previous phase. Simulation results show that the proposed method yields not only objective image qualities(PSNR, SSIM) but also subjective image qualities for all SAP noise ratios.

Ⅰ. 서론

SAP(salt and pepper) 잡음이란 데이터의 전송과정에서의 오류나 메모리 셀(cell) 오류, 또는 아날로그의 디지털 변환과정에서의 오류로 야기되는 임펄스(impulse) 타입의 잡음을 의미한다[1-2]. 이러한 SAP 잡음이 이미지에 적용되면 이미지의 화소값은 최대값(salt 잡음) 또는 최소값(pepper 잡음)으로 변형되게 된다.

SAP 잡음을 제거하는 가장 전통적인 방법은 일정 크기의 윈도우 내 화소값들 중 중간값으로 화소값을 대체하는 필터인 미디언 필터 기법이다[3]. 적용이 매우 간단하고 낮은 복잡도를 가지지만 잡음 비율이 커지는 경우 복원성능이 급격히 떨어지는 단점이 있다. 이를 해결하기 위한 방법으로 필터링 과정에서 가변블록 크기를 사용하는 AMF(adaptive median filter) 방법[4]과 이에 기반한 DBMF(decision-based median filter) 방법[5], IMF(iterative median filter) 방법[6], 그리고 MMF(min-max filter) 방법[7] 등이 소개되었다.

Yi 등이 제안한 AFSWMF(adaptive fuzzy switching weighted mean filter) 방법은 먼저 화소값의 잡음 정도를 잡음이 없는 경우, 잡음이 약간 있는 경우, 잡음이 많이 있는 경우로 나누어 분류한다. 이후 잡음 정도에 따라 서로 다른 방법으로 화소값을 복원하는 방법을 제시하고 있다[8]. Zhang 등이 제안한 NAMF(non-local adaptive mean filter) 방법은 이전의 여러 SAP 잡음 제거 알고리즘들처럼 잡음의 위치를 추정하고, 이 위치의 화소값을 복원한다. 이후 마지막 과정에서 일반적인 백색가우시안 잡음을 제거하기 위해 주로 사용되는 비국부 평균 필터(non-local mean filter)를 SAP 잡음을 제거에 적합하도록 변경하고 이를 적용함으로써 복원영상의 화질을 개선하는 방법이다[9]. RWMF(reliability-based weighted mean filter)는 신뢰도 기반 가중 평균을 이용한 SAP 잡음 제거 알고리즘이다. 먼저 SAP 잡음의 위치를 판별하고 판별된 위치의 화소값을 주변 화소값들의 거리에 대한 가중평균을 이용하여 일차로 잡음 이미지를 복원한다. 이 과정에서 거리에 따른 주변화소의 영향도를 고려하기 위해서 가우시안 커널 계수를 사용하였다. 이렇게 일차로 복원된 화소값은 복원과정에서 사용된 잡음이 없는 화소의 개수에 비례하는 신뢰도 행렬을 이용하여 추가 보정한다[10].

제안하는 SAP 잡음 제거 알고리즘은 크게 네 단계로 구성되어 있다. 먼저 첫 번째 단계에서는 기존의 다양한 SAP 잡음 제거 알고리즘을 적용하여 일차로 복원을 수행한다. 제안하는 논문에서는 이 단계에서 RWMF([10]) 방법을 적용하였다. 두 번째 단계에서는 일차복원 이미지에 저역통과필터를 적용하는 단계로 가우시안 필터를 적용하였다. 세 번째 단계는 사전 학습된 합성곱신경망(convolution neural network)을 이용하여 이미지의 화질을 개선하며 마지막 단계에서 잡음 위치의 화소값을 대체함으로써 최종적인 복원 이미지를 얻어낸다.

논문의 구성은 2장에서 대표적인 SAP 잡음 제거 방법인 미디언 필터를 비롯해서 AFSWMF, NAMF, RWMF 방법 대해서 소개하고, 3장에서는 제안하는 알고리즘을 각 단계별로 기술하다. 4장에서는 제안하는 알고리즘의 성능평가를 위해 다양한 SAP 잡음 비율에 대해서 12개의 실험 이미지에 적용하여 객관적 화질과 주관적 화질 결과를 비교하였으며, 마지막 절에서 결론을 맺는다.

Ⅱ. 관련 이론

본 절에서는 기존의 SAP 잡음 제거 알고리즘으로서 비국부필터링 방법과 신뢰도기반후처리기법에 대해서 간략히 기술한다.

2.1 비국부 필터링

비국부필터링(NAMF, non-local adaptive mean filter)은 이미지에서 백색가우시안 잡음을 제거하는 다양한 잡음 제거 방법들의 기본 이론으로 사용되고 있다[11]. 잡음이 없는 순수 데이터를 x_i,j, 잡음이 추가된 데이터를 y_i,j라고 하고 비국비 필터링을 통해서 예측된 값 \(\begin{aligned}\hat {x}_{i,j}\end{aligned}\)는 다음 식을 통해서 구할 수 있다.

\(\begin{aligned}\widehat{x_{i, j}}=\frac{\sum_{i, j \in \Omega_{r}} w_{i, j} y_{i, j}}{\sum_{i, j \in \Omega_{r}} w_{i, j}}\end{aligned}\)       (1)

여기서 w_i,j는 위치에 따른 가중치를 나타내며, Ω_r은 i 위치의 값과 비교대상이 되는 영역을 나타낸다. 위 수식을 개념적으로 살펴보면 추정값 \(\begin{aligned}\hat {x}_{i,j}\end{aligned}\)는 주변에 포함된 잡음이 포함된 화소값인 y_i,j의 가중 평균으로 구할 수 있음을 의미한다.

2.2 RWMF (reliability-based weighted mean filter)

RWMF([10])는 신뢰도 기반의 후처리를 포함하는 방법으로서 크게 SAP 잡음위치검출 단계, SAP 잡음 화소복원단계, 신뢰도 기반 후처리 단계로 구성되어 있다.

첫 번째 단계에서는 잡음을 포함하고 있는 이미지 y_i,j가 있을 때 잡음의 위치를 저장하는 행렬인 \(\begin{aligned}\tilde{P}=\left(\tilde{p}_{i, j}\right) \in\{0,1\}\end{aligned}\)을 아래와 같이 생성한다.

\(\begin{aligned}\tilde{p}_{i, j}=\left\{\begin{array}{ll}1 & , y_{i, j}=0 \text { or } 255 \\ 0 & , \text { otherwise }\end{array}\right.\end{aligned}\)       (2)

이후 \(\begin{aligned}\tilde{p}_{i, j}=1\end{aligned}\)인 화소 위치에 대해서 (i, j)를 중심으로 (2w + 1) × (2w + 1) 크기 윈도우 내에 포함된 \(\begin{aligned}\tilde{p}_{m,n}=0\end{aligned}\)의 개수를 다음과 같이 산출한다.

\(\begin{aligned}\begin{array}{l}c_{i, j}(w)=\operatorname{count}\left(\tilde{p}_{m, n}=0\right) \\ \quad \text { for } m, n \in W_{i, j}^{(2 w+1) \times(2 w+1)}\end{array}\end{aligned}\)       (3)

여기서, count(\(\begin{aligned}\tilde{p}_{m,n}=0\end{aligned}\))은 특정 영역내에서 잡음이 없는 화소의 개수를 의미한다. 윈도우의 크기를 지정하는 w는 처음 1부터 시작하며, c_i,j(w) = 0인 경우 1씩 증가하며, 최대 w_max까지 확대한다.

두 번째 단계에서는 검출된 화소의 위치를 가변 크기 블록내의 주변 화소값의 거리에 대한 가중평균으로 복원하며, 이때 복원한 이미지 Z = (z_i,j)∈R^M×N는 식(4)과 같이 표현된다.

여기서 g^i,j_m,n은 복원위치와 복원에 사용되는 잡음이 없는 화소 위치 사이의 거리에 따른 가중치로 아래와 같이 가우시안 형태의 함수를 정규화하여 사용한다.

\(\begin{aligned}z_{i, j}=\left\{\begin{array}{ll}\frac{\sum_{m, n} g_{m, n}^{i, j} \times\left(1-p_{m, n}\right) \times y_{m, n}, \quad m, n \in W_{i, j}^{(2 w+1) \times(2 w+1)}}{\sum_{m, n}\left(1-p_{m, n}\right), \quad m, n \in W_{i, j}^{(2 w+1) \times(2 w+1)}} & \text { for } c_{i, j}(w)>0 \\ \frac{z_{i-1, j-1}+z_{i-1, j}+z_{i, j-1}}{3} & \text { for } c_{i, j}(w)=0\end{array}\right.\\\end{aligned}\)       (4)

\(\begin{aligned}g_{m, n}^{i, j}=\operatorname{normalize}\left(\frac{1}{2 \pi \sigma^{2}} e^{-\left(\frac{(i-m)^{2}+(j-n)^{2}}{2 \sigma^{2}}\right)}\right)\end{aligned}\)       (5)

normalize(.)는 전체 가중치의 계수 합이 1이 나오도록 정규화하였음을 의미한다.

마지막 단계인 신뢰도 기반 후처리 단계에서는 각 위치에서의 신뢰도 매트릭스를 다음과 같이 구성한다.

\(\begin{aligned}M_{i, j}^{\text {reliable }}=\left[\begin{array}{ccc} M_{i-1, j-1} & M_{i, j-1} & M_{i+1, j-1} \\ M_{i-1, j} & 8 & M_{i+1, j} \\ M_{i-1, j+1} & M_{i, j+1} & M_{i+1, j+1} \end{array}\right]\\M_{m, n}=\left\{\begin{array}{ll} 8 & , \text { for noiseless position } \\ c_{m, n}(1), & \text { for noisy pixel position } \end{array}\right.\\\end{aligned}\)       (6)

이러한 신뢰도 매트릭스를 활용하여 최종 복원이미지 Y = (y_i,j)∈R^M×N의 값은 식(7)을 이용하여 구할 수 있다.

\(\begin{aligned}y_{i, j}=\sum_{m, n}\left(Z_{m, n} \times M_{m, n}\right) / \sum_{m, n} M_{m, n}\\for \; m, n \in W_{i, j}^{3 \times 3}\end{aligned}\)       (7)

Ⅲ. 제안하는 알고리즘

제안하는 SAP 잡음제거 후처리 기법은 그림 1과 같이 크게 네 단계로 구성되어 있다. 첫 번째 단계는 입력된 SAP 잡음 이미지를 기존의 SAP 잡음 제거 알고리즘을 이용하여 일차 복원을 수행한다. 제안하는 알고리즘은 후처리 알고리즘이기 때문에 이 단계에서 사용되는 방법에는 제약을 두지는 않는다. 다만 일차 복원의 성능이 우수할수록 최종 복원성능이 더욱 우수할 것이다. 두 번째 단계에서는 일차 복원된 이미지에 대해서 저역통과필터(low pass filter)를 적용한다. 이는 일차 복원과정에서의 플리커(flicker) 등을 제거하기 위함이다. 세 번째 단계에 서는 이전 단계에서의 결과물인 일차 복원된 이미지의 저주파성분을 대상으로 3개의 층(layer)를 가지는 학습된 합성곱신경망을 이용하여 출력이미지를 생성한다. 이제 마지막 단계에서는 SAP 잡음 발생 화소위치의 데이터를 이전 단계에서의 출력 이미지 화소값으로 대체함으로써 최종적인 SAP 잡음 제거 이미지를 생성한다.

<그림 1> 제안하는 알고리즘의 블록다이어그램

3.1 SAP 잡음 이미지의 일차 복원

SAP 잡음 영상이 입력되면 복원 화소 위치 결정을 위해 가장 먼저 잡음의 위치를 검출한다. 입력 잡음 이미지를 X = (x_i,j)∈R^M×N라고 할 때 잡음의 위치를 나타내는 noise_i,j는 다음 수식과 같이 결정한다.

\(\begin{aligned}noise_{i, j}=\left\{\begin{array}{ll}\text { true } & , x_{i, j}=0 \text { or } 255 \\ \text { false } & , \text { otherwise }\end{array}\right.\end{aligned}\)       (8)

여기서 noise_i,j = true는 i,j위치에서의 화소값이 SAP 잡음임을 의미한다.

식(8)에서 확인한 잡음위치 화소값의 일차 복원을 위해서 기존의 다양한 방법을 적용할 수 있지만 제안하는 방법에서는 2.3절에서 소개한 RWMF([10])를 사용하여 다음 식과 같이 복원한다.

\(\begin{aligned}y_{i, j}^{1 s t}=\left\{\begin{array}{ll}R W F M\left(x_{i, j}\right), & \text { for } \text { noise }_{i, j}=\text { true } \\ x_{i, j}, & \text { for } \text { noise }_{i, j}=\text { false }\end{array}\right.\end{aligned}\)       (9)

여기서 y^1st_i,j는 SAP 잡음 이미지를 일차 복원한 이미지를 의미한다.

3.2 일차 복원 이미지의 저주파성분 검출

잡음이미지에 대한 일차 복원이 완료되면 식(10)에 표현되어 있는 가우시안(Gaussian) 저역통과필터를 이용하여 이미지의 저주파성분만을 검출한다.

\(\begin{aligned}G(x, y)=\frac{1}{2 \pi \sigma^{2}} \exp \frac{-\left(x^{2}+y^{2}\right)}{2 \sigma^{2}}\end{aligned}\)       (10)

일차 복원 영상에 저역통과필터를 적용하는 이유는 크게 두 가지이다. 첫 번째는 일차 복원과정에서 SAP 화소값이 잘못 복원된 경우 해당 화소 위치는 플리커와 같은 고주파 성분이 나타날 수 있다. 저역통과 필터는 이러한 고주파 성분을 제거해 줄 수 있는 장점이 있다. 두 번째는 다음 단계에서 사용할 합성곱 신경망을 학습하는 과정에서 입력 영상의 차원을 줄일 수 있는 장점이 있기때문이다.

3.3 합성곱 신경망 학습모델을 이용한 복원

제안하는 방법에서 사용한 합성곱 신경망은 [12]에서의 신경망 구조를 사용한다. 초해상도(super-resolution) 영상을 위해 Dong 등이 제안한 이 신경망 구조는 그림 2에서 보는 바와 같이 단지 3개 계층(layer)으로 구성되어 있으며, 각 레이어별의 동작을 단계별로 확인하면 다음과 같다.

<그림 2> 3개 계층을 가진 합성곱신경망 (convolution neural network) 구조 ([12])

<그림 3> 고려한 합성곱신경망의 각 계층별 구성

먼저 계층1과 계층2는 합성곱(convolution)과 ReLU(Rectified Linear Unit)로 구성되어 있으며 각 단계에서의 출력값은 다음과 같다.

F₁(Y^1st) = max(0, W₁*Y^1st + B₁)

F₂(Y^1st) = max(0, W₂*F₁(Y^1st) + B₂)       (11)

여기서 F₁(Y^1st)와 F₂(Y^1st)는 입력 Y^1st에 대해서 각 계층에서의 출력을 의미한다. 마지막 계층인 계층3은 합성곱과 선형(linear)으로 구성되어 있으며 이 신경망을 통한 최종 출력은 다음과 같다.

F(Y^1st) = W₃*F₂(Y^1st) + B₃       (12)

이러한 3계층 구조의 합성곱신경망에 대한 학습과정에서 사용되는 손실함수(loss function)는 다음과 같다.

\(\begin{aligned}L(\Theta)=\frac{1}{n} \sum_{i, j}\left\|F\left(Y_{i, j}^{1 s t} ; \Theta\right)-O_{i, j}\right\|^{2}\end{aligned}\)       (13)

여기서 θ는 학습파라미터이며, F(Y^1st_i,j;θ)는 학습 파라미터 θ일때의 합성곱신경망의 출력값을 의미하고, 마지막으로 O_i,j는 원본영상을 의미한다. 식(13)의 손실함수를 살펴보면 이는 원본값과 예측값 차이의 제곱자승의 평균 즉, MSE(mean square error)을 의미한다. MSE는 객관적 화질의 정량지표를 나타내는 PSNR 수식의 분모에 포함되기 때문에 MSE를 손실 함수로서 최소화한다는 것은 PSNR을 최대화함을 의미한다.

이상의 과정에서 기술한 제안한 방법에서 사용한 합성곱 신경망 모델을 의사코드(pseudo code)로 나타내면 다음과 같다.

SAPusingCNN = Sequential()

# add model layers

SAPusingCNN.add(Conv2D(filters=128,

kernel_size = (9, 9),

kernel_initializer='glorot_uniform',

activation='relu',

padding='valid', use_bias=True,

input_shape=(None, None, 1)))

SAPusingCNN.add(Conv2D(filters=64,

kernel_size = (3, 3),

kernel_initializer='glorot_uniform',

activation='relu',

padding='same', use_bias=True))

SAPusingCNN.add(Conv2D(filters=1,

kernel_size = (5, 5),

kernel_initializer='glorot_uniform',

activation='linear',

padding='valid', use_bias=True))

3.4 SAP 잡음 위치 화소 복원

마지막 단계에서는 식(8)에서 기술한 입력 이미지의 SAP 잡음 위치 화소값을 앞선 3단계를 거처 도출된 이미지의 화소값으로 대체하는 것으로 최종 SAP 잡음 복원 이미지를 생성한다. 이를 식으로 표현하면 다음과 같다.

\(\begin{aligned}y_{i, j}=\left\{\begin{array}{ll}F\left(Y_{i, j}^{1 s t} ; \bar{\Theta}\right), & \text { for } \text { noise }_{i, j}=\text { true } \\ x_{i, j}, & \text { for } \text { noise }_{i, j}=\text { false }\end{array}\right.\end{aligned}\)       (14)

여기서 y_i,j는 최종 복원이미지를 의미하며 \(\begin{aligned}\bar{\Theta}\end{aligned}\)는 학습된 최종파라미터이고 \(\begin{aligned}F\left(Y_{i, j}^{1 s t} ; \bar{\Theta}\right)\end{aligned}\)는 학습모델을 이용하여 복원된 이미지를 의미한다.

Ⅳ. 실험 및 분석 결과

제안하는 알고리즘의 성능검증을 위해 네 가지(176×14 , 352×28 , 256×256, 512×512)의 서로 다른 크기를 가지는 12개의 이미지를 사용하였으며, 5가지(10%, 30%, 50%, 70%, 90%)의 서로 다른 잡음이 발생한 경우를 고려하여 실험을 수행하였다. 실험을 수행한 하드웨어 및 소프트웨어 환경은 다음과 같다.

제안하는 알고리즘 1단계에서의 일차 복원기법으로는 RWMF를 적용하였고, 2단계의 저역통과필터로는 5×5 크기의 가우시안 필터를 사용하였다. 3단계에서는 [12]가 제안한 합성곱신경망을 적용하였으며 이때 구성에 사용한 f₁, f₂, f₃ 커널 크기(그림 2 참조)는 각각 9, 3, 5의 값을 사용하였다.

제안하는 방법의 성능검증을 위해 기존의 미디언 필터링(MF), AFSWMF[8], NAMF[9], RWMF[10] 방법을 적용한 경우의 결과를 비교하였다. 표1~표5은 기존의 방법과 제안하는 방법을 적용한 경우 결과 이미지에 대한 PSNR(peak to signal to noise ratio)을 나타내며 PSNR의 수식은 다음과 같다.

\(\begin{aligned} \begin{array}{l}P S N R=20 \log _{10}(\frac{255}{\sqrt{M S E}}) \\where, \\M S E=\frac{1}{M N} \sum_{i=0}^{N-1} \sum_{j=0}^{M-1}(x(i, j)-\hat{x}_{m}(i, j))^{2} \\m=A, B, C, D \end{array} \end{aligned}\)       (15)

<표 1> SAP 잡음비율 10%일 때 Median Filter(A), AFSWMF(B), NAMF(C), RWMF(D) 그리고 제안하는 방법(E)을 이용한 복원 영상의 PSNR

<표 2> SAP 잡음비율 30%일 때 Median Filter(A), AFSWMF(B), NAMF(C), RWMF(D) 그리고 제안하는 방법(E)을 이용한 복원 영상의 PSNR

<표 3> SAP 잡음비율 50%일 때 Median Filter(A), AFSWMF(B), NAMF(C), RWMF(D) 그리고 제안하는 방법(E)을 이용한 복원 영상의 PSNR

<표 4> SAP 잡음비율 70%일 때 Median Filter(A), AFSWMF(B), NAMF(C), RWMF(D) 그리고 제안하는 방법(E)을 이용한 복원 영상의 PSNR

<표 5> SAP 잡음비율 90%일 때 Median Filter(A), AFSWMF(B), NAMF(C), RWMF(D) 그리고 제안하는 방법(E)을 이용한 복원 영상의 PSNR

결과에서 볼 수 있듯이 제안하는 알고리즘은 비교에 사용된 다른 방법과 비교하여 모든 잡음 비율에 대해서 높은 PSNR을 나타내고 있다. 이는 제안하는 방법에서사용한 합성곱신경 망이 손실함수를 MSE값으로 사용하고 있기 때문에 PSNR에 최적화되어 있기 때문일 것이다. 특히 잡음비율이 낮은 경우에 보다 높은 성능향상을 보이고 있다. 또 다른 객관적 화질 지표로서 이미지의 압축이나 변환 등으로 발생한 왜곡을 포함하고 있는 영상과 원본 영상에 대한 인간의 시각적 화질차이를 측정하는 방법인 SSIM(Structural Similarity Index)이다. 원본이미지가 X이고 왜곡된 이미지를 Y라고 할 때 SSIM의 계산 수식은 다음과 같다.

\(\begin{aligned} \begin{array}{l}P S N R=20 \log _{10}\left(\frac{255}{\sqrt{M S E}}\right)\\where, \\M S E=\frac{1}{M N} \sum_{i=0}^{N-1} \sum_{j=0}^{M-1}\left(x(i, j)-\hat{x}_{m}(i, j)\right)^{2} \\m=A, B, C, D\end{array}\end{aligned}\)       (15)

여기서 μ_x, μ_y, σ_x, σ_y는 각각 원본이미지와 왜곡이미지의 평균값과 표준편차 값을 의미하며, σ_xy는 공분산을 의미한다. c₁, c₂는 분모가 0이 되지 않도록 하기 위한 파라미터이다. 표 6~표 10은 기존방법과 제안하는 방법을 적용한 결과이미지의 SSIM을 비교하고 있다. 결과를 살펴보면 PSNR 뿐만 아니라, SSIM값 또한 여러 기존의 방법들 보다 높게 나타남을 알 수 있다.

<표 6> SAP 잡음비율 10%일 때 Median Filter(A), AFSWMF(B), NAMF(C), RWMF(D) 그리고 제안하는 방법(E)을 이용한 복원 영상의 SSIM

<표 7> SAP 잡음비율 30%일 때 Median Filter(A), AFSWMF(B), NAMF(C), RWMF(D) 그리고 제안하는 방법(E)을 이용한 복원 영상의 SSIM

<표 8> SAP 잡음비율 50%일 때 Median Filter(A), AFSWMF(B), NAMF(C), RWMF(D) 그리고 제안하는 방법(E)을 이용한 복원 영상의 SSIM

<표 9> SAP 잡음비율 70%일 때 Median Filter(A), AFSWMF(B), NAMF(C), RWMF(D) 그리고 제안하는 방법(E)을 이용한 복원 영상의 SSIM

<표 10> SAP 잡음비율 90%일 때 Median Filter(A), AFSWMF(B), NAMF(C), RWMF(D) 그리고 제안하는 방법(E)을 이용한 복원 영상의 SSIM

마지막으로 그림 4은 잡음비율이 30%인 경우 주관적 화질을 비교하고 있다. 주관적 화질 역시 제안하는 방법이 우수함을 볼 수 있으며, 특히 글씨가 포함되어 있는 부분에서 성능 향상을 보다 두드러지게 확인할 수 있다.

<그림 4> SAP 잡음 비율이 30%인 경우 5개의 이미지(왼쪽부터 news, stefan, airplane, dollar, lighthouse)에 대한 복원 이미지(위에서부터 MF, AFSWMF, NAMF, RWMF, 그리고 제안하는 방법으로 각각 복원한 이미지)

Ⅳ. 결론 및 향후연구

임펄스 형태의 SAP 잡음이 이미지에 나타난 경우 적은 양의 잡음 비율로도 큰 화질열화를 발생시킨다. 본 논문에서 제안하는 합성곱신경망을 이용한 SAP 잡음 제거 방법은 잡음을 일차로 제거한 복원영상을 기준으로 후처리를 수행함으로써 성능을 향상시키는 방법이다. 따라서 기존의 다양한 SAP 잡음제거 알고리즘과 함께 적용할 수 있다는 장점을 가질 수 있다. 후처리의 핵심인 합성곱 신경망은 3개의 계층만을 가지는 단순한 구조임에도 불구하고 SAP 잡음제거에 높은 성능을 가질 수 있음을 보였다.

실험결과 객관적 화질의 지표인 PSNR, SSIM 모두 비교에 사용된 기본의 방법들 보다 높은 성능을 가지는 것으로 나타났으며, 특히 PSNR의 경우 학습에 사용한 손실함수의 영향으로 성능 향상이 두드러지는 것을 알 수 있다. 주관적 화질 또한 제안하는 방법이 상대적으로 우수한 것으로 나타났고, 특히 글씨가 포함된 영역에서 그 차이가 두드러지게 나타났다.

향후 이러한 합성곱신경망을 낮은 동적영역(dynamic range)를 가지는 영상의 화질개선에도 적용할 수 있는 방법을 연구하고자 한다.