Ⅰ. INTRODUCTION
전산화단층촬영(Computed Tomography; CT)은 투영 상의 재구성 과정을 통해 피사체의 3차원 단층 영상을 제공할 수 있기 때문에 일반 X-선 촬영에 비해 진단의 정확도를 향상시킬 수 있다. 하지만 CT 영상획득을 위해 수백장의 투영상이 요구되며, 일반 X- 선 촬영에 비해 피폭 방사선량이 약 10 - 400배 높은 단점이 있다[1, 2]. 이와 같은 단점을 해결하기 위해 다양한 저선량 CT 영상화 기술이 개발되고 있다.
1990년대 후반 이후 각 투영상 획득 시 관전류또는 조사시간을 조절하여 전체 투영상 획득에 필요한 방사선량을 감소시킬 수 있는 기술이 개발되었다[3, 4]. 하지만 해당 기술은 투영상의 비균일성 및 잡음을 발생시켜 재구성 영상의 화질을 저하시키기는 단점이 있다. 2000년대 중반 이후 투영상 획득 시 관전류 또는 조사시간은 일정하게 유지한 채 획득 투영상의 개수를 감소시켜 방사선량을 감소시킬 수 있는, 이른바 희박뷰 CT 영상화 기술이 개발되었다[5-8]. 해당 기술은 투영상의 균일성을 유지하고 잡음을 감소시킬 수 있지만 재구성 영상 내인 공물을 발생시키는 단점이 있다. 본 연구에서는 희박 뷰 CT 영상의 인공물을 감소시킬 수 있는 기술을 개발 및 적용하고자 한다.
최근 의료 영상의 잡음 감소, 공간분해능 향상, 영역 분할 등 영상 처리를 위한 다양한 딥러닝 (deep learning) 기술이 개발되고 있다[9, 10]. 대표적으로 콘볼루션 신경망(convolutional neural network; CNN)은 콘볼루션 과정을 통해 입력 영상의 특징을 파악하고, 입력 및 출력 영상 간의 end-to-end mapping 구조를 학습하여 목표로 하는 task를 수행할 수 있다[11]. CNN은 타 딥러닝 기술에 비해 구조가 간단하여 변형이 쉬우며, 높은 정확도로 영상복원을 할 수 있는 장점이 있다[12]. 또한 복수의 콘볼루션 층을 사용하여 신경망의 학습량을 감소시킬 수 있기 때문에 학습 과정에서 발생할 수 있는 과적합(overfitting)의 가능성을 줄일 수 있다[13]. 본연구에서는 CNN을 이용하여 희박뷰 CT 영상의 인공물 감소를 위한 영상화 모델을 개발하고, 개발한 모델의 성능을 평가하고자 한다. 일반적으로 희박 뷰 CT 영상의 인공물은 streak과 같은 고주파수 형태로 발생한다. 따라서 딥러닝 기반 영상화 모델을 통해 인공물 감소율을 향상시키기 위해서는 입력 영상의 고주파 특징을 정확하게 파악하는 것이 중요하다. 본 연구에서는 희박뷰 CT 입력 영상이 포함하고 있는 인공물을 선택적으로 학습하기 위해잔차 학습(residual learning)을 수행하였고, 다방향 고주파수 성분을 추출하기 위해 wavelet 변환을 이용하였다. Wavelet 변환이 적용된 영상을 이용하여 CNN 기반 영상화 모델을 학습하였고, 학습된 모델로부터 획득한 출력 영상의 정량적 정확도 분석을 통해 인공물 감소율을 평가하였다.
Ⅱ. MATERIAL AND METHODS
1. 데이터 준비
본 연구에서는 인공물 감소 영상화 모델의 학습 및 테스트를 위해 The Cancer Imaging Archive (TCIA) 데이터베이스를 이용하였다[14]. TCIA 데이터베이스 중 관전압 120 - 140 kVp, 관전류 252-389 mA 및 복셀 크기 0.65 × 0.65 × 1 mm3-0.94 × 0.94 × 1 mm3 조건으로 획득한 3, 120장의 폐 및 상복부 CT 영상을 원본 영상(ground truth; GT)으로 이용하였다.
GT 영상으로부터 희박뷰 CT 영상을 획득하기 위해 거리 구동(distance-driven) 방법을 이용하여 재전방 투영(re-forward projection)을 수행하였으며 90, 120 및 180장의 투영상을 획득하였다[15]. 획득한 투영 상을 필터링후역투영(filtered back projection) 알고리즘을 이용하여 재구성하였고, 256 × 256 배열 크기를 갖는 희박뷰 CT 영상을 획득하였다. GT 영상으로부터 획득한 희박뷰 CT 영상을 감산하여 잔차 영상을 획득하였다. 인공물 감소 영상화 모델의 학습 및 테스트를 위해 GT 영상과 잔차 영상으로 구성된 12, 480 및 1, 140 장의 영상을 이용하였다. 2. CNN 구조 및 학습
Fig. 1. Architecture of the CNN proposed in this study.
본 연구에서 설계한 CNN의 구조는 Fig. 1과 같이 입력 영상의 wavelet 변환 층, 8개의 콘볼루션층 및 영상 출력을 위한 역 wavelet 변환 층으로 구성되어 있다. 콘볼루션 층에서는 3 × 3 kernel을 이용하여 입력 영상의 패치를 획득하는 콘볼루션 과정, rectified linear unit(ReLU) 또는 linear 활성화 함수[16]를 이용한 입력 영상과 출력 영상 간의 비선형 mapping 과정이 수행된다.
학습된 CNN은 입력 희박뷰 CT 영상에 대한 잔차 영상을 출력하며, 입력 영상으로부터 출력 영상을 감산하여 인공물이 감소된 복원 영상을 획득할 수 있다. 본 연구에서 설계한 CNN의 층 순서 및 특징을 Table 1에 요약하였다.
Table 1. Layers included in the CNN
희박뷰 CT 영상 및 잔차 영상으로부터 다방향 고주파수 성분을 추출하기 위해 Eq. (1)과 같이 2차원 wavelet 변환을 적용하였다[17].
\(\begin{aligned} W_{\psi}^{i}(j, m, n)=& \frac{1}{\sqrt{M N}} \sum_{x=0}^{M-1} \sum_{y=0}^{N-1}(f(x, y)\\ \left.\psi_{j, m, n}^{i}(x, y)\right), i=\{A, H, V, D\} \end{aligned}\) (1)
f(x, y)는 입력 영상, WiΨ(j,m,n)는 wavelet 변환영상, M과 N은 변환된 영상의 크기, Ψij,m,n(x,y)는 주파수 성분 추출을 위한 필터를 나타낸다. 본 연구에서는 Haar 함수[18]를 이용하여 근사치(A) 성분, 가로(H) 방향 고주파수 성분, 세로(V) 방향 고주파수 성분 및 대각(D) 방향 고주파수 성분 추출을 위한 필터를 생성하여 wavelet 변환을 시행하였다. Wavelet 변환 시행 결과, 획득 영상의 크기는 원본 영상의 4분의 1로 감소하며 4개의 subband 영상의 생성된다. 각 subband 영상은 원본 영상의 근사치 성분과 세로, 가로 및 대각 방향 고주파수 성분을 포함하고 있다.
본 연구에서 설계한 CNN의 학습을 위해 wavelet 변환 적용된 희박뷰 CT 영상을 네트워크 입력 영상으로, wavelet 변환 적용된 잔차 영상을 네트워크 출력 영상으로 설정하였다. 학습 과정에서 출력 영상 대비 결과 영상의 손실 계산을 위해 Eq. (2) 와같은 평균제곱오차(Mean Squared Error; MSE)를 계산하였다.
\(M S E(G T, P)=\frac{1}{n} \sum_{j=1}^{n}\left(G T_{j}-P_{j}\right)^{2}\) (2)
P는 학습 과정 중 획득 영상, n은 영상 복셀의 개수를 나타낸다. 학습과정 중 계산된 MSE를 이용하여 CNN 각 층의 가중치(weight) 및 편향(bias) 값을 최적화하기 위해 adaptive moment estimation (Adam) 함수를 사용하였다[19]. Adam 함수의 momentum decay 상수, adaptive term decay 상수 및 학습률은 각각 0.9, 0.999 및 1 × 10-4으로 설정하였다. 학습은 50회 반복하여 시행하였으며, TensorFlow 2.3 및 PyWavelets 1.1.1를 이용하였다.
3. 영상 획득 및 인공물 감소율 평가
본 연구에서 설계한 CNN 학습을 통해 획득한 영상화 모델에 테스트 영상을 입력하여 잔차 영상을 획득하였고, 테스트 영상으로부터 잔차 영상을 감산하여 인공물이 감소된 예측 영상을 획득하였다. 해당 예측 영상의 인공물 감소 정도를 평가하기 위해 복셀값 profile, Eq. (3)을 이용한 최대 신호 대 잡음 비(peak signal-to-noise ratio; PSNR) 및 Eq. (4)를 이용한 구조적유사성지수(structural similarity; SSIM) 를 측정하였다.
\(P S N R=10 \times \log \left(\frac{M A X(P)^{2}}{M S E(G T, P)}\right)\) (3)
\(S S I M=\frac{\left(2 m_{G T} m_{p}+C_{1}\right)\left(2 \sigma_{G T P}+C_{2}\right)}{\left(m_{G T}^{2}+m_{p}^{2}+C_{1}\right)\left(\sigma_{G T}^{2}+\sigma_{P}^{2}+C_{2}\right)}\) (4)
MAX(P)는 획득 영상의 최대 복셀값, mk 및 σk은 k 영상의 평균 복셀값 및 표준편차, σGT, P은 공분산, C1 및 C2는 상수를 나타낸다. 또한 본 연구에서 개발한 인공물 감소 영상화 모델의 성능을 검증하기 위해 wavelet 변환과 잔차 학습을 미적용한 CNN을 동일 조건으로 학습시키고, 결과 영상의 인공물 감소 정도를 함께 분석하였다.
Ⅲ. RESULT
Figs. 2 및 3은 각각 폐와 상복부 테스트 GT 영상, 희박뷰 CT 입력 영상, wavelet 변환과 잔차 학습을 미적용한 CNN으로부터 획득한 영상 및 본 연구에서 개발한 영상화 모델을 통해 획득한 영상을 보여준다. 희박뷰 CT 영상에서는 투영상 부족으로 인한 streak 형태의 인공물이 관찰되는 반면, CNN 기반 영상화 모델로부터 획득한 영상에서는 인공물이 감소하고 GT 영상과 화질이 유사해지는 결과를 확인할 수 있다. CNN 학습을 위해 wavelet 변환과 잔차학습을 적용한 경우 미적용한 경우에 비해 결과 영상의 공간분해능이 향상됨을 확인할 수 있다.
Fig. 2. (a) Lung GT image, input and result images for the projections of (b)-(d) 90, (e)-(g) 120 and (h)-(j) 180. Second to fourth columns correspond to the input images, the images from the model trained without the wavelet transformation and residual learning, and the images from the model trained with the wavelet transformation and residual learning, respectively. Red box and yellow line indicate a zoomed area and a line used for measuring voxel value profiles.
Fig. 3. (a) Upper abdomen GT image, input and result images for the projections of (b)-(d) 90, (e)-(g) 120 and (h)-(j) 180. Second to fourth columns correspond to the input images, the images from the model trained without the wavelet transformation and residual learning, and the images from the model trained with the wavelet transformation and residual learning, respectively. Red box and yellow line indicate a zoomed area and a line used for measuring voxel value profiles.
이와 같은 결과는 Fig. 4에서도 확인할 수 있다. Fig. 4는 90장의 투영상의 이용하여 획득한 테스트 GT 영상, 입력 영상, wavelet 변환과 잔차 학습을 미적용 및 적용하여 획득한 영상의 복셀값 profile 을 보여준다. 희박뷰 CT 입력 영상 및 wavelet 변환과 잔차 학습을 미적용하여 획득한 영상에 비해 본연구에서 개발한 영상화 모델을 통해 획득한 영상의 복셀값이 GT 영상과 더욱 유사함을 확인할 수 있다. 또한 복셀값 변화 형태 관찰을 통해 wavelet 변환과 잔차 학습 적용으로 결과 영상의 공간분해능이 향상되는 결과를 확인할 수 있다.
Fig. 4. Voxel value profiles for the (a) lung and (b) upper abdomen images with 90 projections.
Fig. 5 및 6는 각각 투영상 개수에 따른 희박뷰 CT 영상과 본 연구에서 획득한 결과 영상에 대한 PSNR 및 SSIM을 보여준다. 모든 투영상 개수에 대하여 입력 영상에 비해 CNN 기반 영상화 모델로부터 획득한 영상의 PSNR 및 SSIM이 더 높은 결과를 확인하였다. CNN 기반 영상화 모델 중 wavelet 변환과 잔차 학습을 적용한 모델로부터 획득한 영상의 PSNR 및 SSIM이 가장 높았다. 입력 영상에 비해 wavelet 변환과 잔차 학습을 미적용 및 적용하여 획득한 영상의 PSNR은 각각 평균 25.80 및 27.91% 높았으며, SSIM은 각각 평균 26.28 및 31.46% 높았다. Wavelet 변환과 잔차 학습을 적용한 경우 결과 영상의 PSNR 증가 정도는 투영상 개수 변화에 영향을 받지 않았지만, SSIM은 투 영상 개수가 작을수록 증가 정도가 더 큰 결과를 확인하였다.
Fig. 5. PSNRs for the (a) lung and (b) upper abdomen images with the projection of 90, 120 and 180.
Fig. 6. SSIMs for the (a) lung and (b) upper abdomen images with the projection of 90, 120 and 180.
입력 영상에 비해 wavelet 변환과 잔차 학습을 적용하여 획득한 영상의 SSIM은 90장의 투영상에 대하여 평균 53.17% 증가, 180장의 투영상에 대하여 평균 10.53% 증가하였다.
Ⅳ. DISCUSSION
본 연구에서는 희박뷰 CT 영상의 인공물 감소를 위해 wavelet 변환과 결합한 CNN 구조를 설계하였으며, 잔차 학습을 통해 영상화 모델을 개발하였다. 개발한 영상화 모델의 인공물 감소 효과를 평가하기 위해 출력 영상의 복셀값 profile, PSNR 및 SSIM 을 측정하였다.
CNN 기반 영상화 모델을 통해 입력 영상 내 streak 형태의 인공물이 감소되며, 출력 영상의 화질이 시각적 및 정량적으로 개선되는 결과를 확인하였다. Wavelet 변환과 잔차 학습을 적용한 영상화 모델은 미적용 영상화 모델에 비해 출력 영상의 공간분해능을 향상시킬 수 있으며, PSNR은 약 8.18%, SSIM은 약 19.71% 향상되는 결과를 확인하였다. 이와 같은 결과는 wavelet 변환과 잔차 학습을 적용한 CNN 기반 영상화 모델이 희박뷰 CT 영상의 인공물을 효과적으로 제거할 수 있음을 보여준다. 또한 CNN 기반 영상화 모델의 단점인 출력 영상의 공간분해능 저하 문제[20]를 wavelet 변환과잔차 학습 동시 적용을 통해 개선시킬 수 있음을 보여준다.
입력 영상과 비교하여 wavelet 변환과 잔차 학습을 적용하여 획득한 결과 영상의 인공물 감소 정도는 입력 영상 획득을 위해 사용된 투영상 개수가 작을수록 증가하였다. 이와 같은 결과는 입력 영상의 화질 왜곡이 심할수록, 즉 희박뷰 CT 영상 내인 공물이 많이 포함되어 있을수록 wavelet 변환과잔차 학습을 적용한 CNN 기반 영상화 모델의 화질 개선 효과가 향상될 수 있음을 보여준다.
본 연구에서는 CNN 구조의 단순화 및 학습 속도향상을 위해 8개의 콘볼루션 층을 사용했고, 각 콘볼루션 층에 대한 입출력 영상의 크기를 동일하게 맞춰 주었다. 일반적으로 CNN의 성능은 콘볼루션층의 개수, pooling 및 skip connection 과정 여부에 따라서 결정된다[21-23]. 따라서, 본 연구에서 개발한 CNN 구조 내 콘볼루션 층의 개수를 최적화시키고, pooling 및 skip connection을 적용함으로써 학습된 영상화 모델의 인공물 감소 효과를 더욱 향상시킬수 있을 것이다.
Ⅴ. CONCLUSION
본 연구에서는 wavelet 변환과 잔차 학습을 적용한 CNN 기반 영상화 모델이 희박뷰 CT 영상의 인공물을 효과적으로 제거할 수 있을 뿐만 아니라 공간분해능을 향상시킬 수 있음을 보여주었다. 또한 입력 영상의 화질 왜곡이 심할수록 본 연구에서 개발한 영상화 모델의 인공물 감소 효과가 중가될 수 있음을 보여주었다. 결론적으로 본 연구의 결과는 딥러닝 기반 희박뷰 CT 영상의 화질 향상 모델 개발을 위해 이용될 수 있을 것으로 생각되며, 희박 뷰 CT 영상화 기술의 임상적 활용 가능성을 향상시킬 수 있을 것이다.
참고문헌
- S. Lutje, J. W. J. de Rooy, S. Croockewit, E. Koedam, W. J. G. Oyen, R. A. Raymakers, "Role of radiography, MRI and FDG-PET/CT in diagnosing, staging and therapeutical evaluation of patients with multiple myeloma", Annals of Hematology, Vol. 88, No. 12, pp. 1161-1168, 2009. http://dx.doi.org/10.1007/s00277-009-0829-0
- M. Gunalp, B. Gulunay, O. Polat, A. Demirkan, S. Gurler, M. Akkas, N. M. Aksu, "Ionising radiation awareness among resident doctors, interns, and radiographers in a university hospital emergency department", La Radiologia Medica, Vol. 119, No. 6, pp. 440-447, 2014. http://dx.doi.org/10.1007/s11547-013-0374-8
- M. Gies, W. A. Kalender, H. Wolf, C. Suess, M. T. Madsen, "Dose reduction in CT by anatomically adapted tube current modulation. I. Simulation studies", Medical Physics, Vol. 26, No. 11, pp. 2235-2247, 1999. http://dx.doi.org/10.1118/1.598779
- Food and Drug Administration. "FDA public health notification: reducing radiation risk from computed tomography for pediatric and small adult patients", Pediatric radiology, Vol. 32, No. 4, pp. 314-316, 2002. http://dx.doi.org/10.1007/s00247-002-0687-6
- E. Y. Sidky, C. M. Kao, X. Pan. "Accurate image reconstruction from few-views and limited-angle data in divergent-beam CT", Journal of X-ray Science and Technology, Vol. 14, No. 2, pp. 119-139, 2006. https://doi.org/10.48550/arXiv.0904.4495
- J. Huang, Y. Zhang, J. Ma, D. Zeng, Z. Bian, S. Niu, Q. Feng, Z. Liang, W. Chen, "Iterative image reconstruction for sparse-view CT using normal-dose image induced total variation prior", PLOS ONE, Vol. 8, No. 11, pp. 79709, 2013. http://dx.doi.org/10.1371/journal.pone.0079709
- S. Abbas, T. Lee, S. Shin, R. Lee, S. Cho, "Effects of sparse sampling schemes on image quality in low-dose CT", Medical Physics, Vol. 40, No. 11, pp. 1119151-1191512, 2013. http://dx.doi.org/10.1118/1.4825096
- Z. Zhu, K. Wahid, P. Babyn, D. Cooper, I. Pratt, Y. Carter, "Improved Compressed Sensing-Based Algorithm for Sparse-View CT Image Reconstruction", Computational and Mathematical Methods in Medicine, Vol. 2013, pp. 1-15, 2013. https://doi.org/10.1155/2013/185750
- J. G. Lee, S. Jum, Y. W. Cho, H. N. Lee, G. B. Kim, J. B. Seo, N. K. Kim, "Deep Learning in Medical Imaging: General Overview", Korean Journal of Radiology, Vol. 18, No. 4, pp. 570-584, 2017. http://dx.doi.org/10.3348/kjr.2017.18.4.570
- K, B. Nam, J. H. Cho, S. W. Lee, B. Y. Kim, D. B. Yim, D. H. Lee, "Image Quality Evaluation in Computed Tomography Using Super-resolution Convolutional Neural Network", Journal of the Korean Society of Radiology, Vol. 14, No. 3, pp. 211-220, 2020. http://dx.doi.org/http://dx.doi.org/10.7742/jksr.2020.14.3.211
- C. Dong, C. C. Loy, K. He, X. Tang, "Image super-resolution using deep convolutional networks", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 38, No. 2, pp. 295-307, 2015. https://doi.org/10.48550/arXiv.1501.00092
- X. Deng, P. L. Dragotti, "Deep convolutional neural network for multi-modal image restoration and fusion", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 43, No. 10, pp. 3333-3348, 2020. https://doi.org/10.48550/arXiv.1910.04066
- M. I. Georgescu, R. T. Ionescu, N. Verga, "Convolutional neural networks with intermediate loss for 3D super-resolution of CT and MRI scans", IEEE Access, Vol. 8, pp. 49112-49124, 2020. https://doi.org/10.1109/ACCESS.2020.2980266
- K. Clark, B. Vendt, K. Smith, J. Freymann, J. Kirby, P. Koppel, S. Moore, S. Phillips, D. Maffitt, M. Pringle, L. Tarbox, F. Prior, "The Cancer Imaging Archive (TCIA): maintaining and operating a public information repository", Journal of Digital Imaging, Vol. 26, No. 6, pp. 1045-1057, 2013. http://dx.doi.org/10.1007/s10278-013-9622-7
- B. De Man, S. Basu, "Distance-driven projection and backprojection in three dimensions", Physics in Medicine and Biology, Vol. 49, No. 11, pp. 2463-2475, 2004. http://dx.doi.org/10.1088/0031-9155/49/11/024
- G. Huang, Y. Sun, Z. Liu, D. Sedra, K. Weinberger, "Deep networks with stochastic depth", European conference on computer vision, pp. 646-661, 2016. https://doi.org/10.48550/arXiv.1603.09382
- J. Zhou, T. Luo, M. Li, S. Guo, T. Qing, "Using 2D haar wavelet transform for iris feature extraction", Asia-Pacific Conference on Information Theory, pp. 60-64, 2010
- P. Porwik, A. Lisowska, "The Haar-wavelet transform in digital image processing: its status and achievements", Machine Graphics and Vision, Vol. 13, No. 1/2, pp. 79-98, 2004.
- D. Kingma, J. Ba, "Adam: A method for stochastic optimization", 2014. https://doi.org/10.48550/arXiv.1412.6980
- H. Chen, Y. Zhang, W. Zhang, P. Liao, K. Li, J. Zhou, G. Wang, "Low-dose CT via convolutional neural network", Biomedical optics express, Vol. 8, No. 2, pp. 679-694, 2017. http://dx.doi.org/10.1364/BOE.8.000679
- O. Ronneberger, P. Fischer, T. Brox, "U-net: Convolutional networks for biomedical image segmentation", International Conference on Medical image computing and computer-assisted intervention, pp. 234-241, 2015. https://doi.org/10.48550/arXiv.1505.04597
- H. J. Kim, M. J. Kang, E. J. Kim, Y. H. Na, J. H. Park, S. E. Baek, S. M. Sim, J. W. Hong, "Evaluation of Artificial Intelligence Accuracy by Increasing the CNN Hidden Layers: Using Cerebral Hemorrhage CT Data", Journal of the Korean Society of Radiology, Vol. 16, No. 1, pp. 1-6, 2022. https://doi.org/10.7742/jksr.2022.16.1.1
- N. Akhtar, U. Ragavendran, "Interpretation of intelligence in CNN-pooling processes: a methodological survey", Neural Computing and Applications, Vol. 32, No. 3, pp. 879-898, 2020. https://doi.org/10.1007/s00521-019-04296-5