Performance Evaluation of U-net Deep Learning Model for Noise Reduction according to Various Hyper Parameters in Lung CT Images

폐 CT 영상에서의 노이즈 감소를 위한 U-net 딥러닝 모델의 다양한 학습 파라미터 적용에 따른 성능 평가

Abstract

In this study, the performance evaluation of image quality for noise reduction was implemented using the U-net deep learning architecture in computed tomography (CT) images. In order to generate input data, the Gaussian noise was applied to ground truth (GT) data, and datasets were consisted of 8:1:1 ratio of train, validation, and test sets among 1300 CT images. The Adagrad, Adam, and AdamW were used as optimizer function, and 10, 50 and 100 times for number of epochs were applied. In addition, learning rates of 0.01, 0.001, and 0.0001 were applied using the U-net deep learning model to compare the output image quality. To analyze the quantitative values, the peak signal to noise ratio (PSNR) and coefficient of variation (COV) were calculated. Based on the results, deep learning model was useful for noise reduction. We suggested that optimized hyper parameters for noise reduction in CT images were AdamW optimizer function, 100 times number of epochs and 0.0001 learning rates.

본 연구의 목적은, U-net 딥러닝 모델을 이용하여 CT 영상에서의 노이즈 감소 효과를 다양한 하이퍼 파라미터를 적용하여 평가하였다. 노이즈가 포함된 입력 영상 생성을 위하여 Gaussian 노이즈를 적용하였고, 총 1300장의 CT 영상에서 train, validation, test 셋의 비율을 8:1:1로 유지하여 U-net 모델을 적용하여 학습하였다. 연구에서 적용된 하이퍼파라미터는 최적화 함수 Adagrad, Adam, AdamW와 학습횟수 10회, 50회, 100회와 학습률 0.01, 0.001, 0.0001을 적용하였으며, 최대 신호 대 잡음비와 영상의 변동계수 값을 계산하여 정량적으로 분석하였다. 결과적으로 U-net 딥러닝 모델을 적용한 노이즈 감소는 영상의 질을 향상시킬 수 있으며 노이즈 감소 측면에서 유용성을 입증하였다.

Ⅰ. INTRODUCTION

디지털 전산화 단층 촬영 (computed tomography, CT) 영상은 X선을 기반으로 인체 내의 해부학적 정보를 외과적 수술 없이 획득할 수 있으므로, 의료영상 분야에서 중요한 역할을 차지하고 있다^[1]. 하지만, 디지털 CT 영상의 포함된 노이즈 분포는 통계적 변동으로 발생하는 랜덤 노이즈, CT 장치의 회전과 전기의 변동으로 발생하는 전기적 노이즈, X선 양자를 검출하는 데 통계적 변동으로 발생하는 통계적 노이즈, 검출기의 낮은 광자 카운트에 통계적 오류로 발생하는 Poisson 노이즈가 포함되어 있으므로 영상의 질적 저하를 유발하는 원인이 되고 있다^[2].

기존에는 노이즈 분포를 감소하기 위하여 디지털 영상처리 분야에서 필터링 기법이 사용되었다. 설정한 커널 크기에 해당하는 영상의 픽셀값을 중간값으로 대체하는 중간값 필터 (median filter)와 주파수 도메인에서 노이즈 신호를 확률적으로 제거하는 방법을 적용하는 위너 필터 (Wiener filter) 기법, 두 가지 방법을 혼합한 변형된 중간값 위너 필터 (modified median Wiener filter, MMWF)가 대중적으로 의료영상에 적용되고 있다^[3,4]. 필터 기법은 상대적으로 단순하고, 신속하게 적용한 장점이 있지만, 의료영상의 윤곽선에 대한 정보 보존이 어렵다는 제한점이 있다^[5].

최근에는 그래픽 처리 장치 발전 및 방대한 양의 데이터를 처리할 수 있는 컴퓨터 보조 진단(computed-aided diagnosis, CAD) 기반의 딥러닝 모델을 사용하여 CT 영상의 질적 향상을 도출한 연구가 활발히 진행되고 있다^[6,7]. 윤 등은 딥러닝 모델을 적용하여 추가적인 CT 검사 없이 전신 CT 영상의 질을 향상할 수 있는 연구를 수행하였다^[7]. 최 등은 흉부 X선 영상을 이용하여 잔차 신경망(residual neural network, ResNet) 기반의 폐렴 진단모델의 성능을 평가하는 연구를 수행하였다^[8]. 이렇듯 의료영상에서의 영상의 질을 향상하는데 딥러닝 기술이 전반적으로 사용되고 있다. 다양한 딥러닝 모델 중 U-net 네트워크는 합성곱 신경망(convolution neural network, CNN) 기반의 영상 분류 (image segmentation) 분야에서 우수한 성능을 나타내고 있다^[9]. 또한, ResNet 기반의 U-net 네트워크를 적용하여 영상의 포함된 노이즈를 감소하는 데 효과가 있음을 입증한 연구가 보고되었다^[10]. 기존 수행된 연구 결과는 일반 영상을 대상으로 수행하였으며, 폐 CT 영상과 같은 의료영상 적용 및 평가에 관한 연구 수행은 미비한 시점이다.

그러므로 본 연구는 폐 CT 영상의 포함된 노이즈를 U-net 딥러닝 네트워크를 적용하여 감소하고, U-net 네트워크의 성능 평가 및 유용성을 확인하고자 한다. 또한, 최적화 함수, 학습 횟수, 학습률의 학습 파라미터를 변경하여 결과 영상을 획득함으로써 노이즈 분포 감소에 최적화된 하이퍼파라미터를 확인하고, 영상의 질 향상의 가능성을 입증하였다.

Ⅱ. MATERIAL AND METHODS

1. U-net 네트워크 구성

Fig. 1과 같이 U-net은 입력 영상의 특징을 추출하는 인코더 영역(encoding path)과 추출된 특징을 바탕으로 결과 영상을 생성하는 디코더 영역(decoding path)으로 구성되어 있다.

Fig. 1. The diagram of U-net architecture including the convolution, max pooling, and up-convolution with encoding and decoding path.

인코더 영역에서는 단계마다 3×3 컨볼루션(convolution)과 ReLU 활성화 함수, 2×2 맥스풀링(max pooling)을 시행한다. 디코더 영역은 단계마다 2×2 업컨볼루션(up-convolution)과 수축 경로(contracting path)를 통하여 인코딩 영역 과정 동안 추출된 영상의 특징을 copy and crop을 수행함으로써 디코더 영역에 반영하고, 3×3 컨볼루션을 수행함으로써 결과 영상을 생성하는 알고리즘으로 구성되어 있다.

2. 데이터 셋 구성 및 하이퍼파라미터

총 1300 장의 CT 영상이 학습에 사용되었고, 사용된 CT 영상은 SPIE-AAPM Lung CT challenge에서 제공하는 오픈 데이터로써 기관의 연구윤리심의위원회의 심의 과정을 생략하였다. Fig. 2는 학습을 위하여 구성한 데이터 셋 비율과 Gaussian 노이즈를 적용한 입력 데이터와 Ground truth (GT) 영상을 각각 나타냈다.

Fig. 2. The photos for (a) ratio of train, validation, and test datasets, and the images of (b) input and (c) ground truth (GT).

Table 1은 본 연구에서 노이즈 감소 효과와 최적화를 확인하는데 적용한 하이퍼파라미터다. 손실함수는 평균제곱오차 (mean square error, MSE)로 고정하고, 최적화 함수는 Adam을 기준으로 Adagrad, AdamW에 따른 영상의 질을 분석하였다. 학습 횟수와 학습률은 100회와 0.001을 기준으로 10회, 50회와 0.01과 0.0001을 적용하여 각각 결과 영상을 획득하였다. 본 연구에서 적용한 기준 하이퍼파라미터는 손실함수 MSE, 최적화 함수 Adam, 학습 횟수 100회, 학습률 0.001이다.

Table 1. The hyper parameters for U-net deep learning

*Reference condition

3. 결과 영상의 정량적 평가

딥러닝 학습을 통하여 획득한 결과 영상을 정량적으로 분석하기 위하여 최대신호대잡음비 (peak signal to noise ratio, PSNR)과 변동 계수 (coefficient of variation, COV)의 정량적 파라미터를 적용하였다. PSNR과 COV의 수식은 아래와 같다.

\(\begin{aligned}M S E=\frac{1}{N} \sum_{j=1}^{N}[f(i, k)-g(i, k)]^{2}\end{aligned}\)       (1)

MSE : 평균제곱오차 (mean square error)

f(i, k) : 원본 영상의 픽셀값

g(i, k) : 딥러닝 후 결과 영상의 픽셀값

f_s : CT영상의 픽셀 최댓값

\(\begin{aligned}C O V=\frac{\sigma_{A}}{S_{A}}\end{aligned}\)       (2)

σ_A : 관심영역내의 표준편차

S_A : 관심영역내의 평균 픽셀값

Ⅲ. RESULT

Fig. 3은 입력과 GT 영상의 데이터 셋 기반으로 U-net 모델 기반의 다양한 하이퍼파라미터에 따른 결과 영상이다.

Fig. 3. Result images according to hyper parameters with respect to (a) optimizer function, (b) number of epochs, and (c) learning rate.

Fig. 4와 Table 2는 각각의 하이퍼파라미터에 따른 PSNR 결과 그래프와 결과값이다. 최적화 함수에 따른 결과는 68.5, 79.1, 79.4로 Adagrad, Adam, AdamW 순서로 GT 영상과의 유사도를 나타냈다. 10회, 50회, 100회의 학습 횟수에 따른 결과는 76.6, 78.5, 79.1의 결과값을 나타냈다. 또한, 0.01, 0.001, 0.0001의 학습률은 79.0, 79.0, 79.1로 유사도를 확인하였다.

Table 2. The PSNR results for each hyper parameters

Fig. 4. The peak signal to noise ratio (PSNR) result graphs according to (a) optimizer function, (b) number of epochs, and (c) learning rate.

Fig. 5와 Table 3는 설정한 하이퍼파라미터에 따른 COV 결과값 그래프와 결과값이다. 최적화 함수에 따른 결과는 Adagrad, Adam, AdamW 순서로 입력 영상은 0.30이고, GT 영상은 0.04, 결과 영상은 0.08, 0.02, 0.02고, 평균적으로 입력, GT, 결과 영상의 COV 결과값은 0.30, 0.04, 0.04다. 또한, 학습 횟수에 따른 COV 결과값은 10회, 50회, 100회 순서로 입력 영상은 0.30이고, GT 영상은 0.04, 결과 영상은 0.06, 0.02, 0.02이고, 평균적으로 COV의 결과값은 입력, GT, 결과 영상의 순서로 0.30, 0.04, 0.03이다. 학습률에 따른 COV 결과는 입력 영상은 0.30, GT 영상은 0.04, 결과 영상은 10-2, 10^-3, 10-4의 순서로 0.03, 0.02, 0.02 의 결과값을 도출하였고, 평균적으로 입력, GT, 결과 영상은 0.30, 0.02, 0.02의 결과값을 획득하였다.

Table 3. The COV results for each hyper parameters

Fig. 5. The coefficient of variation (COV) result graph according to (a) optimizer function, (b) number of epochs, and (c) learning rate.​​​​​​​

Ⅳ. DISCUSSION

본 연구는 U-net 네트워크를 활용하여 폐 CT 영상에서의 노이즈 감소 효과를 최적화 함수, 학습횟수, 학습률과 같은 하이퍼파라미터 변화에 따라 성능을 평가하였다. 또한, 환자의 피폭을 최소화 하기 위하여 저선량 CT가 증가하고 있지만, 영상의 노이즈 분포가 증가되는 단점이 있다. 최근, 암의 위험도 및 발생도를 낮추기 위하여 저선량 CT에서 딥러닝 기술 기반 피폭 저감화와 우수한 영상의 질을 유지하는 연구가 수행되었다^[11]. 그러므로, CT 영상의 노이즈 분포를 U-net 모델의 딥러닝 기술을 적용하여 저감화와 동시에 영상의 질을 향상할 수 있는 기술을 제안함으로써 사회적, 경제적, 보건학적 이득이 있을 것으로 사료된다.

획득된 결과를 바탕으로 U-net 네트워크는 폐 CT 영상에서의 노이즈 감소 측면에서는 효과적임을 증명하였다. 육안 평가에서는 Gaussian 노이즈가 포함된 입력 영상과 비교했을 때 결과적으로 설정한 모든 하이퍼파라미터에 따른 폐 CT 영상의 포함된 노이즈가 감소함을 확인할 수 있다. 또한, 노이즈 분포가 감소하면서 폐의 실질이 더욱 선명하게 보임으로써 병변의 유무를 더욱 정확하게 평가할 수 있는 가능성을 확인하였다. 폐의 실질뿐만 아니라, 폐 CT 영상의 포함된 뼈와 실질조직의 노이즈 분포가 감소함을 확인할 수 있었다.

GT 영상과 결과 영상의 유사도를 평가할 수 있는 PSNR 값에서, 최적화 함수는 AdamW를 사용하였을 때 가장 우수한 성능을 보였다. 동일 조건에서 Adagrad를 사용하였을 때보다 AdamW를 사용했을 때 GT 영상과의 유사도가 1.16배 높았고 Adam과는 유사한 결과값을 나타냈다. 학습 횟수별 유사도는 학습 횟수가 증가함에 따라 GT 영상과의 유사도가 향상됨을 확인할 수 있었고, 학습 횟수가 100회일 때 10회 학습했을 때보다 1.03배 높은 유사도를 나타냈다. 학습률에 따른 유사도는 학습률의 계수가 점점 작아질수록 GT 영상과의 유사도가 향상됨을 확인하였다.

적용한 하이퍼파라미터에 따른 입력 영상과 결과 영상의 평균값을 계산하여 비교 분석했을 때 결과 영상의 COV값은 최적화 함수를 적용했을 때 약 7.5배, 학습 횟수는 약 10배, 학습률에서 약 15배로 입력 영상보다 변동 계수 값이 감소함을 확인하였다. 또한, 최적화 함수는 AdamW가 Adagrad에 비해 4.7배 영상의 질이 우수했고 Adam과는 유사한 결과값을 나타냈다. I. Loschchilov 등은 서로 다른 학습률에 따른 Adam과 AdamW의 테스트 에러 성능을 비교했을 때 AdamW가 Adam 최적화 함수보다 우수한 성능을 나타냈으며, 일반화(generalization)에 따른 성능 비교에서도 학습 초기에는 비슷한 손실값을 나타내지만, 학습이 점차 진행될수록 AdamW의 손실 에러가 더 낮아짐을 확인하였고, AdamW는 더 우수한 일반화 성능이 있다고 주장하는 연구결과를 발표했다^[12]. 10회, 50회, 100회 학습 횟수에 따른 결과는 100회 학습하였을 때 10회 학습하였을 때보다 3.2배 영상의 질이 우수했다. 학습률에 따른 COV 결과값은 설정한 조건에서는 결과값의 큰 차이가 없었다.

결론적으로, 최적화 함수는 AdamW, 학습 횟수는 100회, 학습률은 10^-3의 조건에서 PSNR 결과에 따라 GT 영상과 유사도가 가장 높았으며, COV 결과에 따라 노이즈 분포도 감소함을 확인하였다. 추가로 U-net 기반 네트워크의 잔차 신경망을 추가 연구를 수행함으로써 성능 평가에 대한 비교 연구 수행을 계획하고 있다. 본 연구에서 평가한 결과를 바탕으로 폐 CT 영상에 포함된 노이즈 감소함으로 써 정확한 진단이 가능할 것으로 기대한다.

Ⅴ. CONCLUSION

본 연구는 U-net 딥러닝 모델을 적용하여 폐 CT 영상의 포함된 노이즈를 감소하는 성능을 평가하였다. 최적의 평가를 위하여 최적화 함수, 학습 횟수, 학습률의 하이퍼파라미터를 다양하게 설정하였고, 결과적으로 최적화 함수는 AdamW, 학습 횟수는 100회, 학습률은 0.0001의 조건에서 노이즈 감소효과가 가장 우수함을 확인했으며, U-net 네트워크 기반의 딥러닝 모델을 활용한 노이즈 감소 효과가 우수함을 입증하였다.