Sharpness Enhancement of Tooth X-ray Images Through Elimination of Complicated Background

복잡한 배경 제거를 통한 치아 X-ray 영상의 선예도 개선

Abstract

To remove unnecessary background from tooth X-ray images and enhance the sharpness of tooth and gum images, image processing techniques including contrast adjustment and histogram equalization are used. The introduction of two methods for detecting the boundary of the tooth and gum region and separating the tooth and gum from the background. In both cases, the background of the tooth X-ray images could be removed as a result, improving the quality of the images. The proposed method improves MTF (Modulation Transfer Function), an image performance indicator, as a result of measuring MTF. The original image's spatial frequency ranged from 4.73 to 11.40 lp/mm at the 10% response, whereas the proposed image's spatial frequency ranged from 10.90 to 11.85 lp/mm, giving uniformly enhanced results. In contrast, tooth and gums could not be completely separated from the background using Apple's Lift subject from background function.

1. 서론

선진국들의 인구 고령화 경향으로 인해 건강관리에 대한 중요성을 인식하고 의료기술도 급속도로 발전하고 있다. 인공지능, 빅데이터 등 첨단기술의 발전에 맞춰 의료기술도 발전하고 있다.

X-ray기기로부터 처음 얻은 치아 X-ray 사진은 내부의 신경 조직 또는 불필요한 배경의 영역별 구분이 어렵다. 원본 영상보다 뛰어난 화질의 영상은 의사의 정밀한 진단과 정확한 판단을 도울 수 있어 화질이 개선된 X-ray 영상은 필수적이다[Park, 2015; Park and Song, 2015; Choi and Song, 2015; Jang et al., 2010; Kang et al., 2014].

일반 치아 X-ray 영상의 화질을 개선하고 치아 영역 분할을 위한 다양한 기법들이 연구되고 있다. 치아 영역 분할은 적절한 수술 계획을 세우고 임상 진단을 돕기 위해 치과 분야에서 필수적이다. 의공학 분야에서 영상 분할을 목적으로 제안된 Fully-Convolution Network 기반 모델인 U-Net을 사용해 치아와 잇몸을 분할하는 방법이 많이 사용되고 있다. 하지만 U-Net은 패치 검증 부분에서 검증 중복이 발생하여 연산 낭비가 발생하고 이로 인해 훈련 속도가 느리다[Kim et al., 2007].

본 논문에서는 명암비와 선명도가 떨어지는 원본 치아 X-ray 영상으로부터 배경과 치아에 해당하는 영역을 구분해 관심 영역을 획득하고 화질을 개선할 수 있는 영상처리 기법을 제안한다. 치아와 배경의 경계를 획득하기 위해 효과적인 명암비 조절 방법을 사용했다. 치아와 배경의 경계가 확실히 구분되지 않는 경우, CLAHE(Contrast Limited Adaptive Histogram Equalization) 및 Gaussian 필터를 적용했고 Sobel 커널을 사용한 Convolution 연산으로 얻어진 Gradient를 이용해 테두리를 검출한다. 테두리를 검출한 영상에서 치아와 잇몸 영역이 배경 영역보다 크다는 특징을 이용해 치아와 잇몸을 구분하여 배경을 제거할 수 있는 영상처리 기법을 제안한다. 이후 본 연구를 토대로 얻은 결과물과 Apple사의 Lift subject from background 기법을 통해 얻은 결과물과 비교했다.

2. 배경 제거 방법

본 연구는 총 8장의 치아 X-ray 샘플 영상을 촬영 후 영상처리 과정을 거쳐 치아와 잇몸 그리고 배경을 구분하고 배경이 제거된 치아 영상의 선예도를 높이는 과정으로 이루어진다. 총 8장 중 2장의 영상을 예로 들어 연구 과정을 설명하도록 한다. 원본 치아 X-ray 영상에 대해 <Figure 1>과 같은 흐름으로 영상처리를 진행한다.

<Figure 1> Flowchart of proposed method

2.1 방법의 단계별 설명

원본 치아 X-ray 영상에서 관심 영역인 치아와 잇몸의 영역이 불필요한 배경의 영역과 구분되지 않았다. 치아는 배경보다 비교적 밝기가 높다는 특징을 이용해 밝은 픽셀은 더욱 밝게, 어두운 픽셀은 더욱 어둡게 처리한다. 밝고 어둡다는 기준은 입력 영상의 평균 밝기를 이용한다.

dst(x,y) = saturate(src(x,y) + (src(x,y) - avg) · ⍺)       (1)

식 (1)에 ⍺=3.7, avg는 원본 영상의 픽셀 평균값을 대입하여 포화 연산을 통한 효과적인 명암비 조절 수식을 사용해 치아와 잇몸 영역과 배경 영역의 픽셀 값 변화율을 높일 수 있다. 수식 1을 원본 영상에 적용하면 두 영역이 어느 정도 구분되는 것을 확인할 수 있다. <Figure 3> (b)는 배경이 효과적으로 제거된 반면 <Figure 2> (b)는 잔여 배경이 남는다.

<Figure 2> (a) Original image (b) Contrast-adjusted image

<Figure 3> (a) Original image (b) Contrast-adjusted image

<Figure 4> (a), (b)는 각각 <Figure 2> (a), (b)의 히스토그램이고 <Figure 4> (c), (d)는 각각 <Figure 3> (a), (b)의 히스토그램이다. 원본 영상에 비해 명암비가 조절된 영상에서 밝은 픽셀은 더욱 밝게 어두운 픽셀은 더욱 어두워진 것을 히스토그램을 통해 확인할 수 있다.

<Figure 4> Histograms of Figure 3(a), (b), Figure 4(a), (b)

<Figure 2> (b) 와 <Figure 3> (b)에 대해 각각 Sobel 필터를 적용한 결과는 <Figure 5>와 같다. <Figure 5> (b)는 치아와 잇몸을 제외한 배경에서 검출된 테두리가 없다. 즉, 배경 영역의 픽셀 변화율이 완만하다. 하지만 <Figure 5> (a)는 빨간 점선 사각형으로 표시했듯이 배경 영역에 테두리가 검출된 것을 확인할 수 있다. <Figure 2> (b) 배경에서 픽셀 값의 변화율이 급격한 부분이 존재하기 때문이다.

<Figure 5> Edge Extracted Images of Figure 3(a), Figure 4(a)

<Figure 2> (b)에서 제거되지 않은 배경의 밝기 범위가 치아와 잇몸 영역에 일부 해당하기 때문에 명암비 조절만으로 배경이 쉽게 제거되지 않는다. 잔여 배경의 밝기 변화율을 완만하게 하여 제거하기 위해 히스토그램 평활화 및 Blur처리한다. <Figure 2> (b)와 <Figure 3> (b)에 CLAHE 및 Gaussian 필터를 적용한 결과는 <Figure 6>과 같다.

<Figure 6> Images through CLAHE and Gaussian Filter

<Figure 6>에 Sobel 필터로 테두리를 검출한 후 테두리 영역을 확장하기 위해 Gaussian 필터를 한번 더 적용한다. 이후 Gradient 가 12 이하인 영역을 검출하여 <Figure 5> (a)에서 나타난 잔여 배경의 테두리를 분리할 수 있다. <Figure 5> (a)와 <Figure 7> (a)를 비교하면 치아와 잇몸의 테두리와 잔여 배경의 테두리가 분리된 것을 확인할 수 있다.

<Figure 7> Edge Detected Images from Figure 6

치아와 잇몸의 경계를 제외한 다른 영역을 제거하기 위해 <Figure 7>에서 Contour를 검출한 후 치아와 잇몸의 테두리 영역을 제외한 나머지 영역을 제거한다. 이후 NOT 비트 연산을 적용하여 치아와 잇몸의 테두리를 검출한 결과는 <Figure 8>과 같다.

<Figure 8> NOT Image after Removing Small Area

다음으로 치아와 잇몸 영역이 배경 영역보다 크다는 특징을 이용해 두 영역을 구분한다. <Figure 8>(a)의 테두리는 치아와 잇몸 영역과 배경 영역을 구분할 수 없지만 <Figure 8> (b)의 테두리는 두 영역을 구분할 수 있다. 두 가지 경우에 대해 다른 방법으로 배경을 제거하도록 한다.

<Figure 8> (a)와 같이 두 영역이 구분되지 않을 경우 치아와 잇몸 영역에만 해당하는 픽셀의 밝기 범위를 지정한다. <Figure 6> (a)의 최대 밝기는 255이며 치아와 잇몸 영역에만 해당하는 픽셀 값 245~255의 영역을 검출한 결과는 <Figure 9> (a)와 같다. <Figure 9>(b)는 <Figure 8> (a)와 <Figure 9> (a)의 OR 비트 연산으로 얻을 수 있다.

<Figure 9> Background Detection Result of Figure 2(a)

다음으로 <Figure 8> (b)와 같이 검출된 테두리가 두 영역을 구분할 수 있을 때 배경을 제거할 수 있는 방법을 소개한다. X-ray 영상에서 치아와 잇몸의 면적이 배경보다 크다는 특징을 이용한다. <Figure 8> (b)에서 Contour를 검출한 후 비교적 큰 면적인 치아와 잇몸 영역을 검출한 결과는 <Figure 10> (a)와 같다. <Figure 10> 의 (b)는 <Figure 8> (b)와 <Figure 10> (a)의 OR 비트 연산으로 얻을 수 있다.

<Figure 10> Background Detection Result of Figure 3(a)

2.2 제안한 방법의 성능 평가법

본 연구에서 얻어낸 결과 영상의 성능을 평가하기 위한 지표로 MTF(Modulation Transfer Function)을 측정한다. MTF는 렌즈의 성능을 수치로 나타내는 지표이다. 영상의 밝기에 사인파 패턴이 있을 때 렌즈를 통과하게 되면 Contrast가 떨어진다. Contrast 혹은 Modulation은 식 (2)와 같이 정의한다. I_max와 I_min는 상측과 물체 측의 최대Intensity와 최소 Intensity를 의미한다. MTF의 정의는 상 측과 물체 측의 Modulation 비율이 된다[Park et al., 2007]. MTF는 ROI(Region of Interest)의 크기 및 위치, 전처리 파라미터, 원본 영상의 품질, 배경 영상의 종류에 따라 변화한다[Introduction to Modulation Transfer Function., 2011].

\(\begin{align}\begin{array}{l}M=\frac{I_{\max }-I_{\min }}{I_{\max }+I_{\min }} \\ M T F=\frac{M_{\text {image }}}{M_{\text {object }}}\end{array}\end{align}\)       (2)

공간 주파수별로 MTF를 그래프로 표현하면 MTF 곡선으로 나타낼 수 있다. 총 8장의 영상 중 예시로 들었던 두 장의 영상에 대해 MTF를 측정하였다. <Figure 11> (c), (d)는 각각 <Figure 11> (a), (b)에서 ROI로 지정한 영역의 MTF 곡선을 나타낸 결과이다.

<Figure 11> MTF Graph with Selected ROI

MTF 그래프에서 가로축은 공간 주파수 (lp/mm)를 나타내고 세로축은 Contrast를 나타낸다. <Figure 11> (c), (d)를 보면 공간주파수가 증가했을 때 (d)의 곡선은 MTF수치의 감소폭이 크지 않다. 하지만 (c) 곡선은 공간 주파수가 증가하면서 급격히 MTF 수치가 감소하는 것을 그래프를 통해 확인할 수 있다.

MTF 곡선 상에서 10% 응답 부분에 해당하는 공간주파수는 영상 시스템의 정량적인 분해능을 나타내며, 그 고주파 성분의 값이 많을수록 선예도가 우수하다고 말한다[Park et al., 2007]. 8장의 치아 X-ray 영상에 대해 10% MTF에 해당하는 공간주파수를 <Table 1>에 정리하였다.

<Table 1> Spatial Frequency of 10% MTF

3. 배경 제거의 적용 결과

본 논문에서 제안하는 영상처리 기법을 총8장의 1300x1700 크기의 치아 X-ray 영상 대해 실험했다. 앞서 소개했던 영상처리 기법을 적용한 결과 영상과 원본 영상을 <Figure 12>~ <Figure 19>에 정리하였다.

<Figure 12> Original and Result Images

<Figure 13> Original and Result Images

<Figure 14> Original and Result Images

<Figure 15> Original and Result Images

<Figure 16> Original and Result Images

<Figure 17> Original and Result Images

<Figure 18> Original and Result Images

<Figure 19> Original and Result Images

배경을 제거한 영상의 MTF 곡선 상에서 10% 응답 부분의 공간 주파수는 원본 영상보다 증가했다. <Table 1>을 보면 원본 영상의 공간주파수는 4.73~11.40lp/mm로 큰 폭으로 변화가 있는 반면에 개선된 영상의 공간주파수는 10.90~11.89lp/mm로 비교적 고른 결과를 얻었다. 본 논문에서 제안하는 배경 제거 기법을 적용하여 치아 X-ray 영상의 선예도를 높일 수 있었다.

Apple사의 Lift subject from background 기능을 적용하여 배경 제거 기법 결과와 비교하기 위해 <Figure 20>에 정리하였다.

<Figure 20> Results from Lift Subject from Background

<Figure 20> (b), (c), (d), (e), (g)와 같이 Lift subject from background의 결과는 배경 영역을 완전히 구분하지 못하거나 치아 영역이 소실된 부분이 존재한다.

4. 결론

본 논문은 명암비가 낮은 원본 치아 X-ray 영상의 불필요한 배경 성분을 제거하고 관심 영역의 히스토그램 평활화를 통해 치아와 잇몸 영역의 선예도를 향상시킬 수 있는 기법을 제안했다. 원본 X-ray 영상의 명암비를 향상시킨 결과 배경이 제거된 경우와 잔여 배경이 존재하는 경우 각각 다른 방법을 적용하여 배경을 제거할 수 있다. 이후 CLAHE를 적용하여 명암비가 향상된 X-ray 영상에 배경 제거 기법을 적용해 선명한 치아 X-ray 영상을 얻어냈다. MTF 곡선에서 10% MTF 응답 부분에 해당하는 공간주파수는 원본영상에서 4.73~11.40lp/mm로 큰 폭으로 변화가 있지만 개선된 영상의 공간주파수는 10.90~11.85lp/mm로 비교적 고른 결과를 얻을 수 있었다. 또 다른 배경 제거 방법인 Apple사의 Lift subject from background 기능은 배경을 완전히 제거하지 못하고 치아와 잇몸 영역이 소실되는 문제가 있어 의료 영상에 적용하는 것은 힘들다.

본 논문에서 제안한 배경 제거 영상처리 기법으로 치아 변별력이 높아지고 치의학의 가이드라인을 제시했다. 향후 치아 영상뿐만 아니라 다양한 분야의 X-ray 배경 제거 기법을 연구할 계획이다.