Image Quality Evaluation in Computed Tomography Using Super-resolution Convolutional Neural Network

Super-resolution Convolutional Neural Network를 이용한 전산화단층상의 화질 평가

Abstract

High-quality computed tomography (CT) images enable precise lesion detection and accurate diagnosis. A lot of studies have been performed to improve CT image quality while reducing radiation dose. Recently, deep learning-based techniques for improving CT image quality have been developed and show superior performance compared to conventional techniques. In this study, a super-resolution convolutional neural network (SRCNN) model was used to improve the spatial resolution of CT images, and image quality according to the hyperparameters, which determine the performance of the SRCNN model, was evaluated in order to verify the effect of hyperparameters on the SRCNN model. Profile, structural similarity (SSIM), peak signal-to-noise ratio (PSNR), and full-width at half-maximum (FWHM) were measured to evaluate the performance of the SRCNN model. The results showed that the performance of the SRCNN model was improved with an increase of the numbers of epochs and training sets, and the learning rate needed to be optimized for obtaining acceptable image quality. Therefore, the SRCNN model with optimal hyperparameters is able to improve CT image quality.

고화질의 전산화단층촬영상을 통해 정확한 병변 검출과 진단을 할 수 있다. 이와 같은 장점 때문에 전산화단층촬영 시 방사선량을 줄이면서 영상 화질을 개선하기 위해 많은 연구가 수행되었다. 최근 전산화단층촬영상 화질을 향상시키기 위한 딥러닝 기반 기술이 개발되었고, 기존의 기술에 비해 우수한 성능을 보이고 있다. 본 연구에서는 전산화단층촬영상의 공간분해능을 향상시키기 위해 초고해상도 합성곱 신경망 모델을 사용하였으며, 초고해상도 합성곱 신경망 모델의 성능을 결정하는 초 매개 변수 변화에 따른 영상 화질을 평가하여 초고해상도 합성곱 신경망 모델에 대한 초 매개 변수의 효과를 검증하였다. Profile, 구조적 유사성 지수, 최대신호 대 잡음비 및 반치폭을 측정하여 초 매개 변수 변화에 따른 초고해상도 합성곱 신경망 모델의 성능을 평가하였다. 연구결과, 초고해상도 합성곱 신경망 모델의 성능은 epoch와 training set이 증가함에 따라 향상되었으며, 전산화단층촬영상 화질을 향상시키기 위해 learning rate 최적화가 필요하다는 사실을 확인하였다. 따라서 최적의 초 매개 변수와 함께 구현된 초고해상도 합성곱 신경망 모델은 전산화단층촬영상의 품질을 향상시킬 수 있다.

Ⅰ.INTRODUCTION

전산화단층촬영(CT; Computed Tomography)은 최근 의료 진단분야에서 유용하게 사용되고 있는 검사방법 중 하나이다. 관심영역에 대한 3차원 단층 영상을 제공하여 진단학적 가치가 높다는 장점이 있지만 피폭선량이 높기 때문에 부작용이 발생할 수 있다는 단점이 있다. ^[1] 이러한 문제점을 해결하기 위하여 저선량 CT 영상화 기술 개발에 대한 연구가 활발하게 수행되고 있으나 방사선량과 영상화질간의 상충관계(trade-off)로 인해 저선량 조건에서 제공되는 CT 영상의 공간분해능이 저하되는 한계가 있다. ^[2,3] 최근 컴퓨터 비전 분야에서 심층신경망(DNN; Deep neural network) 기술을 저해상도 영상에 적용하여 공간분해능을 향상시킬 수 있는 초고해상도 합성곱 신경망(SRCNN; Super-resolutionconvolutional neural network) 모델이 개발되었다. ^[4,5]일반적인 인공신경망은 입력데이터가 1차원 형태로 한정되어 3차원 데이터 입력 시 영상의 공간 정보가 손실되는 단점이 있지만 SRCNN에 사용된 합성곱신경망(CNN; Convolutional neural network)은 영상의 공간 정보를 유지한 상태로 모델 학습이 가능하기 때문에 영상 내 세부정보를 유지할 수 있는 장점을 갖는다. ^[6,7] CNN은 딥러닝 방법 중 하나로 이미지 처리에 적합한 특성을 갖는다. CNN 구조 내에서 합성곱 계층은 입력데이터의 특징 지도(feature map)를 추출할 수 있으며 이러한 합성곱 계층을 여러 계층으로 연결하여 각 합성곱 계층을 지날 때마다 저수준의 특징 지도가 점차 고수준의 특징 지도로 만들어진다. 그리고 최종적으로 전결합층(fullyconnected layer)을 통해 결과를 학습함으로써 영상화 모델 구현이 가능하다. CNN을 기반으로 한 SRCNN은 고해상도 영상을 복원하는 3가지 연산을 통해서 이루어진다. 첫째, 저해상도 영상으로부터 영상의 특징을 포함하고 있는 patch를 추출하는 patch extraction and representation 연산, 두 번째로 patch 벡터를 다른 차원 patch 벡터로 변환하는 과정인 non-linear mapping 연산, 마지막으로 patch 벡터에서 최종 고해상도 영상을 생성하는 reconstruction 과정이다. 이러한 특성을 갖는 SRCNN 모델을 일반적인 광학 영상뿐만 아니라 의료영상에 적용하여 고화질의 의료영상을 재구성하는 방법이 개발되고 있다. ^[8]

인공신경망 모델 학습 시 모델 성능에 직접 영향을 미칠 수 있는 변수를 초 매개 변수(hyperparameter)라고 한다. 초 매개 변수는 인공신경망 모델의 외적인 요소로써 데이터 분석을 통해 얻어지는 값이 아니며 주로 해당 인공신경망 사용자에 의해 임의로 결정된다. 사용자는 초 매개 변수 조절을 통해 인공신경망 모델의 성능을 최적화할 수 있으며 편향과 분산 사이의 균형을 맞출 수 있다. ^[9] 본 연구에서는 초 매개 변수 중 epoch, learning rate 및 training set을 변화시켜 SRCNN 모델을 학습시키고 각 학습된 SRCNN 모델을 통해 출력된 CT 영상의 정량적 정확도 및 공간분해능을 평가하여 해당 초 매개 변수가 SRCNN 모델의 성능에 미치는 영향을 비교·분석하고자 한다.

Ⅱ. MATERIAL AND METHODS

1. 데이터 준비

SRCNN 모델의 training과 test를 위해 SPIE-AAPM Lung CT Challenge dataset^[10,11]을 이용하였다. Training 데이터 구성을 위해 SPIE-AAPM Lung CT Challenge dataset 중 무작위로 선택한 3000장의 폐 CT 영상을 이용하였다. 영상배열의 크기는 모두 512×512 였다. SRCNN 모델이 저해상도 영상과 고해상도 영상의 차이를 학습할 수 있도록 원본 고해상도(GT; Ground truth) 영상의 공간분해능을 임의로저하시킨 저해상도(LR; Low resolution image) 영상을 만들어 training 데이터를 구성하고 SRCNN 모델을 학습시켰다. ^[12-15] LR 영상을 획득하기 위해 2×2선형 보간 필터(Linear interpolation filter)를 GT 영상에 2회 적용하였다. 또한 GT 영상과의 배열크기를 일치시키기 위하여 LR 영상의 배열크기는 512×512로 유지하였다. Test 데이터 구성을 위해 SPIEAAPM Lung CT Challenge dataset 중 SRCNN 모델학습에 사용하지 않은 폐 CT 영상을 무작위로 선택하였다.

2. SRCNN 모델 구성 및 학습

SRCNN은 Fig. 1과 같이 3개의 합성곱 계층으로 구성하였다. 첫 번째 계층은 kernel size를 9 × 9, 특징지도의 개수를 64개로 하였으며, 두 번째 계층은 kernel size를 3 × 3, 특징 지도의 개수를 32개로 하였다. 마지막 계층은 kernel size를 5 × 5, 특징 지도의 개수를 1개로 설정하였다. 활성화 함수(Activation function)로 Eq. (1)과 같은 rectified linear unit(ReLU)을 사용하였다.

Fig. 1. Architecture of the SRCNN.

\(f\left(x_{i}\right)=\left\{\begin{array}{ll} x_{i} & \text { if } x_{i} \geq 0 \\ 0 & \text { otherwise } \end{array}\right.\)        (1)

xi는 영상의 각 복셀값을 나타낸다. 손실 함수(Loss function)로 Eq. (2)와 같은 mean squared error(MSE)를 사용하였다.

\(M S E=\frac{1}{n} \sum_{i=1}^{n}\left(x_{i}-y_{i}\right)^{2}\)          (2)

yi는 영상의 각 복셀에 대한 예측값이며, n은 전체 복셀의 개수이다. SRCNN 모델의 최적화를 위해 Eqs. (3)-(5)과 같은 Adaptive moment estimation(Adam)^[16]을 사용하였다.

\(\theta_{t}=\theta_{t-1}-\frac{\eta}{\sqrt{\frac{\nu_{t}}{1-\beta_{2}}+\epsilon}} \times \frac{m_{t}}{1-\beta_{1}}\)           (3)

 \(m_{t}=m_{t-1} \beta_{1}+\left(1-\beta_{1}\right) \times \nabla J\left(\theta_{t-1}\right)\)          (4)

\(\nu_{t}=\nu_{t-1} \beta_{2}+\left(1-\beta_{2}\right) \times\left(\nabla J\left(\theta_{t-1}\right)\right)^{2}\)         (5)

θ_t는 t번째 반복 횟수에서 SRCNN 모델 형성을 위한 가중상수이고, η는 learning rate, m_t는 가중상수 기울기의 지수평균, v_t는 가중상수 기울기의 제곱값 지수평균, ∇J(θ_t-1)은 가중상수 사이의 gradient이다. β₁, β₂ 및 ε은 Adam 함수 최적화를 위해 사용하는 상수이고, 본 연구에서는 각각 0.9, 0.999 및 10_-8으로 설정하였다. 위 식과 같이 SRCNN 모델 형성 시 Adam 함수를 반복적으로 적용함으로써 영상의 각 복셀에 대한 가중상수를 최적화할 수 있다. Kernel이 움직이는 정도를 나타내는 stride는 1× 1, 1 epoch당 한 번에 학습하는 데이터 사이즈인batch size는 32로 설정하였으며 Google사의 Colaboratory^[17]환경에서 Python과 Tensorflow library^[18]를 이용하여 SRCNN 모델을 학습시켰다.

본 연구에서는 SRCNN 모델의 초 매개 변수로 epoch, learning rate 및 training set을 설정하였다. 사용한 epoch는 1, 10, 50 및 200 이며, learning rate는 1×10^-6, 1×10^-5, 1×10^-4, 1×10^-3, 3×10^-3 및 3.2×10^-3을 사용하였다. 또한 training set은 100, 500, 2000 및 3000장을 사용하였으며, 특정 초 매개 변수의 변화에 따른 모델 성능 평가 시 다른 두 개의 초 매개 변수는 표준값으로 유지하였다. 본 연구에서 설정한 epoch, learning rate 및 training set 표준값은 각각 10, 1×10^-3 및 3000장이다. 본 연구에서 SRCNN 모델 형성 시 이용한 함수 및 초 매개 변수를 Table 1.에 정리하였다. 각 초 매개 변수 조건에서 SRCNN 모델을 학습시킬 때마다 이전의 학습 데이터가 중복되어 다음 학습에 영향을 주는 것을 방지하기 위하여 학습이 끝날 때 마다 런타임을 재설정하여 모든 로컬 변수와 데이터를 삭제하였다.

Table 1. Functions and hyperparameters used in theSRCNN. Standard values are marked with*

3. 영상의 정량적 정확도 및 화질 분석

학습된 SRCNN 모델을 이용하여 획득한 CT 영상의 정량적 정확도와 공간분해능을 평가하기 위하여 영상의 profile, 구조적 유사성 지수(SSIM; Structural similarity)^[19], 최대신호 대 잡음비(PSNR; Peak signal-to-noise ratio)^[20] 및 반치폭(FWHM; Full width at half maximum)^[21]을 측정하였다. SSIM은 두 영상 사이의 밝기, 명암 및 구조를 비교하여 두 영상간의 정량적 정확도를 종합적으로 평가할 수 있는 인자로 Eq. (6)과 같이 나타낼 수 있다.

\(\begin{aligned} \operatorname{SSIM}(x, y)=&[l(x, y)]^{\alpha} \times[c(x, y)]^{\beta} \times[s(x, y)]^{\gamma} \end{aligned}\)       (6)

x는 GT 영상의 복셀값, y는 SRCNN 모델을 통해 획득한 영상의 복셀값을 나타낸다. l, c 및 s는 각각 휘도비, 명암비 및 구조비를 뜻하며, α, β 및 γ는 각 요소의 강조를 위해 사용하는 상수이다. 본 연구에서는 두 영상간의 휘도비, 명암비 및 구조비를 동일한 정도로 평가하기 위해 α, β 및 γ를 모두 1로 설정하였다. PSNR은 영상의 복셀값 중 최대값과잡음의 비로 Eq. (7)과 같이 나타낼 수 있다.

\(\begin{aligned} P S N R=& 20 \times \log _{10}\left(M A X_{y}\right) -10 \times \log _{10}\left(M S E_{y}\right) \end{aligned}\)        (7)

MAXy는 SRCNN 모델을 통해 획득한 영상의 최대 복셀값을 나타낸다.

Ⅲ. RESULT

1. Epoch 변화

Fig. 2는 학습에 사용된 GT 및 LR 영상과 SRCNN모델을 통해 획득한 CT 영상이다. Epoch가 증가할수록 SRCNN 모델을 통해 획득한 CT 영상이 GT 영상과 유사해지는 것을 확인할 수 있으며, 특정 관심 영역(ROI; Region-of-interest) 내 구조물간 구분이 더욱 명확해지는 것을 알 수 있다. Fig. 3은 epoch 변화에 따라 각 영상에서 측정한 profile이다. Epoch가 증가할수록 출력 영상의 pixel intensity가 GT 영상과 유사해지는 것을 알 수 있다.

Fig. 2. (a) Ground truth and (b) low resolution images. (c)-(f) are the output images with 1, 10, 50 and 200 epochs, respectively. Red rectangles represent the ROIs(regions-of-interest), and yellow-dotted lines were used for measuring intensity profiles.

Fig. 3. Measured profiles of the GT, LR and output images according to the number of epochs.

Fig. 4는 각 epoch를 통해 획득한 출력영상의 SSIM, PSNR 및 FWHM을 보여준다. Epoch가 증가함에 따라 출력 영상의 SSIM 및 PSNR은 증가하였고,FWHM은 감소하였다. 10 epoch 이상부터는 각 인자의 변화량이 감소하였다. 10 epoch 조건에서 출력한 영상은 LR 영상에 비해 SSIM은 약 1.13배, PSNR은 약 1.18배 증가했으며 FWHM은 약 0.69배 감소했다. 또한 200 epoch 조건에서 출력한 영상은 LR 영상에 비해 SSIM이 약 1.14배, PSNR이 1.21배 증가했으며 FWHM은 약 0.68배 감소했다.

Fig. 4. (a) SSIMs, (b) PSNRs and (c) FWHMsaccording to the number of epochs.

2. Learning rate 변화

Fig. 5는 GT 및 LR 영상과 learning rate 변화에 따른 SRCNN 모델의 출력 CT 영상이다. Learning rate가 증가함에 따라 출력 영상이 GT 영상과 유사해지는 것을 확인할 수 있고, learning rate가 1×10^-3 이상에서는 영상의 변화가 미미한 것을 알 수 있다.

Fig. 5. (a) Ground truth and (b) low resolution images. (c)-(h) are the output images with the learningrates of 1×10^-6, 1×10^-5, 1×10^-4, 1×10^-3, 3×10^-3 and3.2×10^-3, respectively. Red rectangles represent theROIs(regions-of-interest), and yellow-dotted lines wereused for measuring intensity profiles.

또한 learning rate가 3.2×10^-3일 때는 영상이 출력되지 않은 것을 볼 수 있다. Fig. 6은 learning rate 변화에 따라 각 영상에서 측정한 profile이다. Profile 분석 결과에서도 learning rate가 1×10^-3까지 증가함에 따라 출력 영상들의 pixel intensity가 GT 영상과 유사해지는 것을 알 수 있다. Fig. 7과 같이 출력영상의 SSIM, PSNR 및 FWHM 분석 결과 1×10^-3 learning rate에서 가장 좋은 결과를 보였고, LR 영상과 비교하면 SSIM은 약 1.13배, PSNR은 약 1.18배 증가했으며 FWHM은 약 0.69배 감소했다.

Fig. 6. Measured profiles of the GT, LR and output images according to the learning rates.

Fig. 7. (a) SSIMs, (b) PSNRs and (c) FWHMsaccording to the learning rates.

3. Training set 변화 

Fig. 8 및 9는 training set 증가에 따른 CT 출력 영상과 각 영상에 해당하는 profile을 보여준다. Training set이 증가할수록 출력 영상이 GT 영상과 유사해지는 것을 알 수 있으며 관심 영역 내 구조물 역시 구분이 명확해지는 것을 확인할 수 있다. LR 영상과 비교하여 3000 training set 조건에서 출력 영상의 SSIM은 약 1.13배, PSNR은 약 1.19배 증가했으며 FWHM은 약 0.69배 감소했다.

Fig. 8. (a) Ground truth and (b) low resolution images. (c)-(f) are the output images with the training sets of 100, 500, 2000 and 3000, respectively. Red rectangles represent the ROIs(regions-of-interest), and yellow-dotted lines were used for measuring intensity profiles.

Fig. 9. Measured profiles of the GT, LR and output images according to the training sets.

Fig. 10. (a) SSIMs, (b) PSNRs and (c) FWHMsaccording to the training sets.

Ⅳ. DISCUSSION

본 연구에서는 SRCNN 모델 학습 시 영향을 미치는 초 매개 변수 변화에 따른 출력 CT 영상의 정량적 정확도 및 공간분해능을 측정 및 평가 하였다.

SSIM 및 PSNR은 epoch와 training set이 증가할수록 측정값이 증가하는 현상을 보였고, 특정값 이상의 epoch와 training set 조건에서 출력 영상의 SSIM과PSNR은 LR 영상보다 높은 결과를 확인하였다. Learning rate의 경우 특정값에서 SSIM과 PSNR이 최대화되며 LR 영상의 값보다 높은 결과를 보여주었다. 또한 FWHM의 경우 초 매개 변수가 증가함에 따라 전체적으로 감소하는 결과를 확인하였고, 특정값 이상의 초 매개 변수 조건에서는 LR 영상의 FWHM보다 낮은 값을 보여주었다. 이와 같은 결과는 딥러닝 기반 SRCNN 모델이 CT 영상의 정량적 정확도와 공간분해능을 향상시킬 수 있음을 보여준다. ^[8]

SRCNN의 초 매개 변수 중 learning rate는 영상화 모델을 위한 최적의 값이 존재하며^[22], learning rate 값이 최적의 범위를 벗어날 경우 출력 영상의 정량적 정확도와 공간분해능은 오히려 감소하는 것을 확인할 수 있다. 특히 본 연구에서 learning rate가 3.2×10^-3일 때 결과 영상이 출력되지 않았는데, 이는 learning rate가 너무 클 때 나타나는 overshooting 현상^[23,24]으로 인해 SRCNN 모델이 적절한 가중상수 및 결과를 찾아내지 못했기 때문이다. Overshooting 현상은 본 연구의 결과에서도 알 수 있듯이 learning rate를 일정량 감소시킴으로써 해결 할 수 있는 현상이다.^[25] 그러나 SRCNN 모델 학습과정에서 learning rate의 잘못된 설정은 overshooting과 같은 여러 문제점을 야기할 수 있으므로 모델에 적합한 learning rate를 설정하는 것이 중요하다. Epoch와 training set이 증가함에 따라 출력 영상의 정량적 정확도 및 공간분해능은 향상되었지만, 특정 조건 이상부터 영상화질 향상 정도가 미미하였다. 이와 같은 결과는 SRCNN 모델 학습 시 epoch와 training set 설정에 대한 기준을 제시한다. Epoch가 증가할 경우 영상화 모델 학습 횟수가 증가하고, training set이 증가하면 영상화 모델 1회 학습 시 필요한 데이터의 양이 증가한다. 즉, epoch와 training set이 증가하면 SRCNN 모델 학습에 필요한 시간이 증가하기 때문에 학습된 모델의 효율성이 감소할 수 있다. 따라서 SRCNN 모델 학습 시 필요한 초 매개 변수 중 epoch와 training set 역시 학습시간, 모델의 성능,사용하는 장비의 특성 등을 고려하여 최적화된 값을 설정하는 것이 중요하다.

Ⅴ. CONCLUSION

본 연구에서 적용한 딥러닝 기반 SRCNN 모델은 CT 영상의 정량적 정확도와 공간분해능을 향상시킬 수 있다는 것을 보여주었다. 또한 SRCNN 모델 형성 시 설정 가능한 초 매개 변수를 최적화함으로써 딥러닝 기반 영상화 모델의 효율성을 향상 시킬 수 있다. 결론적으로 본 연구의 결과는 딥러닝 기반 CT 영상화질 향상 모델을 위한 기반 데이터를 제공할 수 있을 것으로 생각된다.