Investigation of the Super-resolution Algorithm for the Prediction of Periodontal Disease in Dental X-ray Radiography

치주질환 예측을 위한 치과 X-선 영상에서의 초해상화 알고리즘 적용 가능성 연구

Abstract

X-ray image analysis is a very important field to improve the early diagnosis rate and prediction accuracy of periodontal disease. Research on the development and application of artificial intelligence-based algorithms to improve the quality of such dental X-ray images is being widely conducted worldwide. Thus, the aim of this study was to design a super-resolution algorithm for predicting periodontal disease and to evaluate its applicability in dental X-ray images. The super-resolution algorithm was constructed based on the convolution layer and ReLU, and an image obtained by up-sampling a low-resolution image by 2 times was used as an input data. Also, 1,500 dental X-ray data used for deep learning training were used. Quantitative evaluation of images used root mean square error and structural similarity, which are factors that can measure similarity through comparison of two images. In addition, the recently developed no-reference based natural image quality evaluator and blind/referenceless image spatial quality evaluator were additionally analyzed. According to the results, we confirmed that the average similarity and no-reference-based evaluation values were improved by 1.86 and 2.14 times, respectively, compared to the existing bicubic-based upsampling method when the proposed method was used. In conclusion, the super-resolution algorithm for predicting periodontal disease proved useful in dental X-ray images, and it is expected to be highly applicable in various fields in the future.

치주질환의 조기 진단률 및 예측 정확도 향상을 위한 X-선 영상 분석은 매우 중요한 분야이다. 이러한 치과 X-선 영상의 화질 개선을 위한 인공 지능 기반의 알고리즘 개발 및 적용에 관한 연구는 전 세계적으로 널리 수행 중이다. 따라서 본 연구의 목표는 치주질환 예측을 위한 치과 X-선 영상에서의 초해상화 알고리즘의 모델링 및 적용 가능성에 관하여 평가하는 것이다. 초해상화 알고리즘은 convolution layer와 ReLU를 기반으로 구성하였고, 저해상도 영상을 2배로 업샘플링 한 영상을 입력으로 사용하였다. 딥러닝 훈련을 위해 사용한 치과 X-선 데이터는 1,500장을 사용하였다. 영상의 정량적 평가는 2가지 영상의 비교를 통해 유사도를 측정할 수 있는 인자인 root mean square error와 structural similarity를 사용하였다. 이와 더불어 최근에 개발된 no-reference 기반으로 사용되는 natural image quality evaluator 와 blind/referenceless image spatial quality evaluator를 추가적으로 분석하였다. 결과적으로 기존에 사용되던 bicubic 기반의 업샘플링 기법을 사용하였을 때에 비하여 제안하는 방법이 치과 X-선 영상에서 평균적으로 유사도와 no-reference 기반의 평가 인자가 각각 1.86 그리고 2.14배 향상됨을 확인하였다. 결론적으로 치주질환의 예측을 위한 초해상화 알고리즘의 치과 X-선 영상에서의 유용성을 증명하였고 향후 다양한 분야에서의 적용 가능성이 높을 것으로 기대된다.

Ⅰ. INTRODUCTION

최근 고령화 시대에 접어들면서 사람들의 수명은 연장되고 있으나, 인간의 기본 욕구 중에 하나인 먹고 마시는 근본적인 활동에 어려움을 야기하는 구강 질환 또한 증가하고 있다. 노인 인구의 대부분이 겪고 있는 치주질환(periodontal disease)은 삶의 질을 저하하는 결정적 요인이 되고 있다. 치주질환은 잇몸에만 국한된 가역적 손상을 발생시키는 치은염(gingivitis)과 전반적인 치아주위조직의 비가역적인 파괴를 일으키는 치주염(periodontitis)으로 분류할 수 있으며, 이들을 정확하게 진단하는 것은 매우 중요하다.

치주질환의 진단은 우선적으로 치주과 전문의가 치주낭 탐침 깊이 및 임상적 부착수준을 직접 측정한다^[1]. 이와 더불어 치과 X-선 영상을 통하여 해부학적 변화를 복합적으로 관찰하는 방법을 함께 사용하여 질환의 진행 정도를 파악하고 치료계획을 수립하고 있다^[2]. 이 중 치주과 전문의가 직접 측정하는 방법들은 숙련도에 의해서 크게 결정되지만, X-선 영상을 포함한 치과 방사선 영상은 화질 개선을 통하여 진단의 가치를 향상시킬 수 있다. 최근에는 1가지 방향에서 획득된 X-선 영상을 사용하는 기술을 뛰어 넘어 360도 방향 또는 다양한 각도에서 투영 데이터(projection data)를 획득하여 3차원의 재구성을 통해 해부학적 구조를 세밀하게 관찰할 수 있는 치과 전산화단층촬영장치(computed tomography, CT)가 개발되어 널리 사용되고 있다. 하지만, CT를 치아 X-선 영상 획득에 사용할 경우 높은 피폭선량으로 인하여 주변 조직들에 염증 및 종양 등 치명적인 부작용을 초래할 수 있다. 따라서 저선량 기반의 일반 치과 X-선 영상을 획득 후 영상처리기술을 사용하여 노이즈 또는 흐림 현상 제거 등을 통해 화질을 개선해 질병의 진단 정확도를 향상시키는 연구들이 많이 수행되고 있다^[3].

따라서 본 연구에서는 4차 산업혁명 시대에 크게 각광받고 있는 딥러닝 기술 기반의 초해상화 알고리즘을 모델링하여 일반 치과 X-선 영상에 적용 후 치주질환 분야에서의 적용 가능성에 대하여 분석하고자 한다. 연구의 목적을 위하여 기존에 널리 사용되는 영상처리기술을 함께 모델링하였고, 제안하는 방법과 유사도 및 no-reference 기반의 측정인자를 통해 비교평가를 수행하였다.

Ⅱ. MATERIAL AND METHODS

1. 딥러닝 기반 초해상화 영상 개선 방법

초해상도 영상화 작업의 목표는 저해상도 이미지에서 고해상도 이미지를 생성하는 것이며, 식 (1) 과 같이 모델링할 수 있다^[4].

p = (f ⊗ k)↓       (1)

여기서 p는 저해상도 데이터, f는 고해상도 데이터, k는 고해상도 데이터를 저해상도 데이터로 콘 볼루션, ⊗ ,을 통해 저하시키는 열화 정보량이다. 본 연구에서는 획득된 저해상도 영상정보 (p)만을 활용하여 고해상도 영상정보 (f)를 예측하는 단일 영상 기반 초해상화 영상복원 작업을 목표로 한다.

Fig. 1은 본 연구에서 사용된 초해상화 영상복원을 위한 딥러닝 아키텍쳐의 간단한 모식도이다^[5].

Fig. 1. Simplified flowchart for single image super-resolution algorithm with deep learning.

여기서 convolution layer는 3×3 convolution filter를 사용하며, activation function은 ReLU^[6]를 사용한 residual connection이 추가된 딥러닝 아키텍쳐이다.

입력영상은 저해상도 영상을 2배로 upsampling한 후 딥러닝 아키텍쳐에 입력하였으며, 훈련과정에서 예측된 결과와 레퍼런스 결과 사이에 오차율을 계산하기 위해서는 평균 제곱 오차식 (2)를 사용하여 계산하였다.

여기서 W와 B는 각각 weight와 bias이고 Pi는 i번째의 레퍼런스 이미지, Ei는 i번째의 예측 이미지이다. 딥러닝 훈련을 위해 사용된 데이터는 1500장이며 1장당 8개의 augumentation을 수행하였다. Batch size는 10, stride는 2, epoch는 150회, learning rate은 10^-3, optimization solver는 ADAM^[7]을 사용하였다.

\(\begin{array}{c} \phi(\rho)=\frac{1}{N} \sum_{i=1}^{N}\left\|P_{i}-E_{i}\right\|_{2}^{2} \\ \rho=W_{k}, B_{k}(k=1,2, \ldots, m) \end{array}\)       (2)

2. 영상의 정량적 평가

획득된 영상의 정량적 평가는 크게 유사도 및 no-reference 기반의 방법들로 구분하여 수행하였다. 유사도 평가는 root mean square error(RMSE)와 structural similarity(SSIM)를 사용하였고, 이와 더불어 최근에 개발된 no-reference 기반으로 사용되는 natural image quality evaluator(NIQE)와 blind/referenceless image spatial quality evaluator(BRISQUE)를 추가적으로 분석하였다^[8]. RMSE와 SSIM의 수식은 아래와 같다.

\(R M S E=\sqrt{\sum_{N} \sum_{M}(|A|-|B|)^{2} / N M}\)       (3)

\(S S I M=\frac{\left(2 \mu_{A} \mu_{B}+D_{1}\right)\left(2 \sigma_{A B}+D_{2}\right)}{\left(\mu_{A}^{2}+\mu_{B}^{2}+D_{1}\right)\left(\sigma_{A}^{2}+\sigma_{B}^{2}+D_{2}\right)}\)       (4)

여기서 N과 M은 비교평가에 사용한 유효한 데이터의 가로, 세로 방향 개수를 각각 나타내고, A 와 B는 비교할 2가지의 영상을 나타낸다. 또한, μ_A와 μ_B는 각각 A영상과 B영상의 평균 신호 값, σ_A 와 σ_B는 각각 A영상과 B영상의 표준편차 값을 나타내고, D1와 D2값은 0.01 그리고 0.03 값으로 각각 정의하였다.

Ⅲ. RESULTS AND DISCUSSION

Fig. 2는 기존에 가장 널리 사용되는 알고리즘과 제안하는 딥러닝 기반의 초해상화 영상 개선 방법을 적용한 치과 X-선 영상 결과이다.

Fig. 2. Result images using conventional bicubic upsampling and proposed super-resolution algorithm in dental X-ray imaging system.

육안 평가 결과 기존에 고전적으로 사용되던 bicubic 기반의 upsampling 기법에 비하여 제안하는 딥러닝 기반의 초해상화 알고리즘을 적용하였을 때 뼈 조직을 포함한 모든 부분에서 화질이 개선되는 것을 확인할 수 있었다. 레퍼런스 영상과 위의 2가지 방법을 이용한 영상을 비교하였을 때 노이즈 부분과 경계 부분의 표현 능력의 차이점이 제안하는 방법에서 훨씬 뛰어난 것으로 나타났다.

Table 1과 Fig. 3은 영상 화질 개선 방법에 따른 유사도 평가의 결과이다. RMSE 결과는 bicubic 기반의 영상개선 방법과 제안하는 딥러닝 기반의 초해상화 알고리즘을 적용하였을 때 각각 21.51 및 8.65 값이 도출되었고 두 가지 결과의 차이는 약 2.87배를 나타내었다. 또한, bicubic 기반의 영상개선 방법과 딥러닝 기반의 초해상화 알고리즘의 SSIM 결과는 각각 0.73 및 0.90값이 측정되었고, 두 가지 결과의 차이는 약 1.23배를 나타내었다.

Table 1. Evaluated RMSE and SSIM results with respect to applied algorithm.

Fig. 3. Graph for similarity results using root mean square error and structural similarity as function of image enhancement method.

RMSE는 오차를 제곱해서 평균한 값으로 구해지고 영상 평가 시에는 2가지를 비교하여 차이가 나는 정도를 나타낼 때 사용된다. 측정된 값은 작을수록 차이가 적은 것을 나타내고, 상대적으로 큰 오류 데이터의 차이에 대해 크게 패널티를 주는 장점이 있다. 또한, SSIM은 인간의 시각적 화질 차이를 평가할 수 있는 유사도를 나타내는 영상 평가 인자이다.

2가지 영상에서의 휘도, 대조도, 그리고 구조를 함께 비교하여 다양한 부분에서 특성을 비교할 수 있는 정확도가 매우 높은 장점이 있다. 특히나, 치과 X-선 영상에서 제안하는 딥러닝 기반의 초해상화 영상 개선 알고리즘이 기존에 가장 널리 사용되던 영상 개선 방법에 비하여 평균적으로 1.86배 유사도가 향상되었다는 점은 치주질환 진단 분야에서의 적용 가능성을 제시할 수 있을 것으로 사료된다.

Table 2와 Fig. 4는 영상 화질 개선 방법에 따른 no-reference 기반의 영상 평가 결과이다. NIQE 결과는 bicubic 기반의 영상 개선 방법과 제안하는 딥러닝 기반의 초해상화 알고리즘을 적용하였을 때 각각 18.88 및 6.34 값이 도출되었고 두 가지 결과의 차이는 약 2.98배를 나타내었다.

Table 2. Evaluated NIQE and BRISQUE results with respect to applied algorithm.

Fig. 4. Graph for similarity results using natural image quality evaluator and blind/referenceless image spatial quality evaluator as function of image enhancement method.

또한, bicubic 기반의 영상 개선 방법과 딥러닝 기반의 초해상화 알고리즘의 BRISQUE 결과는 각각 40.84 및 31.23 값이 측정되었고, 두 가지 결과의 차이는 약 1.31배를 나타내었다.

NIQE와 BRISQUE 평가 인자는 영상의 품질평가(image quality assessment, IQA) 방법의 대표적인 종류이고 비교할 대상 없이 화질을 분석할 수 있는 큰 장점이 있다. IQA 방법에 속한 인자들은 일반적으로 training이 필요하며, label 값이 모델이 맞춰지는 형태로 모델링된다^[8].

이러한 이론을 기반으로 NIQE 및 BRISQUE는 값이 작을수록 영상의 품질이 좋은 것을 의미하고, 평균 벡터와 공분산 행렬을 계산한 결과들이 반영되어 유사도를 어느 정도 정확하게 예측할 수 있는 평가 인자로 알려져 있다.

특히, 치과 X-선 영상에서의 초해상화 영상 개선 알고리즘을 적용하여 NIQE와 BRISQUE를 측정한 연구는 거의 이루어지지 않았으며, bicubic 기반의 방법에 비해 평균적으로 2.14배 향상된 수치는 향후 여러 분야에서 적용이 가능할 것으로 예상된다.

Ⅳ. CONCLUSION

결론적으로 유사도 및 no-reference 기반의 영상 평가 인자들을 활용하여 치과 X-선 영상에서의 딥러닝 기반 초해상화 영상 개선 알고리즘의 적용 가능성 및 유용성을 증명하였다. 본 연구결과를 기반으로 향후 X-선을 기반으로 한 치주질환 예측과 더불어 다양한 구강질병을 더욱 정확하게 진단할 수 있을 것으로 기대된다.