Application Feasibility Study of Non-local Means Algorithm in a Miniaturized Vein Near-infrared Imaging System

정맥 관찰용 소형 근적외선 영상 시스템에서의 비지역적평균 알고리즘 적용 가능성 연구

Abstract

Venous puncture is widely used to obtain blood samples for pathological examination. Because the invasive venipuncture method using a needle is repeatedly performed, the pain suffered by the patient increases, so our research team pre-developed a miniaturized near-infrared (NIR) imaging system in advance. To improve the image quality of the acquired NIR images, this study aims to model the non-local means (NLM) algorithm, which is well known to be efficient in noise reduction, and analyze its applicability in the system. The developed NIR imaging system is based on the principle that infrared rays pass through dichroic and long-pass filters and are detected by a CMOS sensor module. The proposed NLM algorithm is modeled based on the principle of replacing the pixel from which noise is to be removed with a value that reflects the distances between surrounding pixels. After acquiring an NIR image with a central wavelength of 850 nm, the NLM algorithm was applied to segment the final vein area through histogram equalization. As a result, the coefficient of variation of the NIR image of the vein using the NLM algorithm was 0.247 on average, which was an excellent result compared to conventional filtering methods. In addition, the dice similarity coefficient value of the NLM algorithm was improved by 62.91 and 9.40%, respectively, compared to the median filter and total variation methods. In conclusion, we demonstrated that the NLM algorithm can acquire accurate segmentation of veins acquired with a NIR imaging system.

정맥의 천자는 병리학적 검사를 위한 혈액 샘플을 획득하기 위해 널리 사용되고 있다. 바늘을 사용한 침습적인 정맥 천자 방법이 반복되서 시행되면 환자가 받는 고통이 증가되는 문제가 있어 본 연구팀은 사전에 소형 근적외선 (near-infrared, NIR) 영상 시스템을 개발하였다. 획득된 NIR 영상의 화질 개선을 위하여 본 연구에서는 노이즈 제거에 효율적으로 잘 알려진 비지역적 평균 (non-local means, NLM) 알고리즘을 모델링하여 시스템에서의 적용 가능성을 분석하고자 한다. 개발된 NIR 영상 시스템은 dichroic 및 long-pass filter를 적외선 (infrared, IR)이 통과하여 최종적으로 CMOS 센서 모듈로 검출되는 원리를 기반으로 구성하였다. 제안하는 NLM 알고리즘은 노이즈를 제거시키고자 하는 픽셀을 주변 픽셀들간의 거리들을 고려한 값으로 대체하는 원리를 기반으로 모델링하였다. 850 nm의 중심 파장을 가진 NIR 영상을 획득 후 NLM 알고리즘을 적용하여 히스토그램 평활화를 통해 최종 정맥 영역을 분할하였다. 결과적으로 NLM 알고리즘을 적용한 정맥의 NIR 영상의 coefficient of variation은 평균 0.247로 기존의 filtering 방법들과 비교하여 우수한 결과값으로 도출되었다. 또한 NLM 알고리즘의 dice similarity coefficient 값은 기존의 median filter와 total variation 방법에 비하여 각각 62.91 및 9.40% 향상된 값이 획득되었다. 결론적으로 NLM 알고리즘은 NIR 영상 시스템으로 획득한 정맥의 정확한 분할이 가능하게 할 수 있음을 증명하였다.

Ⅰ. INTRODUCTION

의료 분야에서 정맥의 천자는 다양한 병리학적 소견을 획득하기 위한 혈액 샘플을 채취하기 위해 사용된다. 일반적으로 정맥 천자에 사용되고 있는 바늘을 사용한 방법은 환자에게 침습적이기 때문에 많은 주의를 기울여야 한다. 반복된 천자가 환자에게 시행될 경우 고통과 부작용이 증가할 수 있기 때문에 정확한 목적 혈관 위치를 찾는 것이 매우 중요하다. 또한, 사전 연구에서는 혈관이 작거나 피부가 검은 경우, 그리고 체질량이 높은 환자에게는 적절한 혈관을 식별하기 어렵다고 증명되었다^[1]. 특히나 천자 시 피부를 통한 가시성이 부족하여 혈관의 깊이를 추정하거나 바늘 삽입 시 정확성이 떨어질 수 있어 영상학적 보조 시스템이 필요하다^[2].

정확한 정맥 천자를 위한 영상학적 부가 기술 중에 하나는 근적외선 (near-infrared, NIR) 시스템을 사용하는 것이다. 이러한 시스템은 혈액안의 헤모글로빈의 NIR 영역이 흡수되는 특성을 기반으로 혈관의 영상을 획득할 수 있다. 일반적으로 약 760 ~ 900 nm의 파장 영역을 사용하여 NIR 영상을 획득할 수 있으며, 광학창 범위의 빛은 더 깊은 위치에 존재하는 조직의 생물학적 특성을 획득할 수 있는 장점이 있다^[3-5].

NIR 시스템을 정확한 혈관 천자를 위한 방법으로 효율적으로 활용하기 위해서는 목적 혈관의 분할 전 우수한 전처리 단계가 필요하다^[6]. 노이즈는 결과 영상의 화질을 저하시켜 분할의 정확도를 감소시키는 주요 원인 중 하나이며, 이를 줄이기 위한 의료 영상분야에서 적용 가능한 다양한 필터 또는 알고리즘들이 개발되었다^[7-9]. 픽셀의 중간값을 활용하는 median filter 및 ROF (Rudin-Osher-Fatemi) 모델을 기반으로 하는 total variation (TV) 접근 방법은 대표적인 노이즈 제거 기술이다^[7,8]. 하지만, 위에 언급된 2가지 방법 모두 노이즈 제거 효율 및 영상의 경계 부분의 정보 보존력이 떨어지는 단점이 존재하며 이를 극복하기 위하여 비지역적 평균(non-local means, NLM) 기반의 알고리즘이 제안되었다^[8,9].

본 연구에서는 연구팀이 개발한 소형 정맥 관찰용 NIR 시스템 획득 영상에 NLM 알고리즘을 모델링하여 기존의 노이즈 제거 기술인 median filter와 TV 알고리즘과 비교하여 적용하고 그 효과를 평가하였다.

Ⅱ. MATERIAL AND METHODS

1. 사전 개발된 소형 NIR 시스템

Fig. 1은 본 연구팀이 개발한 정맥 관찰을 위한 소형 NIR 시스템이다^[11].

Fig. 1. A miniaturized NIR imaging system for vein observation developed by our research team.

한국인의 표준 피부 특성을 표현할 수 있도록 구성하였고, 정맥과 주변 조직에서 반사된 빛은 dichroic filter를 통과하게 한 후 CMOS 센서 모듈에 의해 검출될 수 있도록 설계하였다. 또한, 불필요한 가시광선을 차단시켜 영상의 신호 대 잡음비를 향상시키기 위해 long-pass filter를 센서 앞에 배치하였다. NIR 시스템에서 방출되는 파장은 850 nm로 설정하여 최종 정맥 영상을 획득하였다. 영상은 총 20장을 획득하여 정량적 평가에 사용하였다.

2. NLM 알고리즘 모델링

NLM 알고리즘은 Rudin 등이 처음 제안한 ROF 모델을 기반으로 모델링하였다^[7]. 노이즈가 발생하여 열화가 발생된 영상을 d_x 라고 했을 때, 원 영상(f_x)과 노이즈 성분 (n_x)의 관계는 Eq. (1)와 같이 표현된다.

d_x = f_x + n_x      (1)

Eq. (1)을 기반으로 NLM 알고리즘으로 복원된 최종 영상 (g_NLM(i))은 Eq. (2)와 같은 수식으로 정의하여 모델링하였다^[7,11].

\(\begin{aligned}g_{N L M}(i)=\frac{1}{Z(i)} \sum_{j \in N(i)} w(i, j) d(x)(j)\end{aligned}\)       (2)

Z(i) : 정규화 상수

N(i) : Search window 파라메터

w(i,j) : i지점과 j지점에서의 거리 가중치

여기서 가중치를 계산하기 위해 사용되는 원리는 Euclidean 거리가 사용되었고, search window는 디폴트 설정값을 적용하였다.

3. 영상화질의 정량적 평가

영상화질의 정량적 평가 인자로는 노이즈 제거 효율을 분석할 수 있는 coefficient of variation (COV)와 분할된 영상의 전체적인 구조를 분석할 수 있는 dice similarity coefficient (DSC)를 사용하였다. COV와 DSC의 수식은 Eq. (3), Eq. (4) 와 같다^[12,13].

\(\begin{aligned}C O V=\frac{\sigma}{\mu}\end{aligned}\)       (3)

μ : 관심영역의 평균값

σ : 관심영역의 표준편차값

\(\begin{aligned}D S C=\frac{2|A \cap B|}{|A|+|B|}\end{aligned}\)       (4)

A : 레퍼런스 영상

B : 결과 영상

Ⅲ. RESULT AND DISCUSSION

Fig. 2는 850 nm 파장을 사용하여 정맥의 NIR 영상을 획득한 후 제안하는 NLM 알고리즘을 적용한 영상이다. 이후 히스토그램 평활화 과정을 수행한 후 최종적인 정맥 분할 영상을 획득하였다.

Fig. 2. Vein image acquired using the NIR system and the final segmented image using NLM algorithm and histogram equalization process.

Fig. 2에서 획득된 영상을 기반으로 분할 성능을 측정하기 위하여 mask 영상으로 변환을 수행하였다. 또한, NLM 알고리즘의 유용성을 확인하기 위하여 비교군으로 median filter 및 TV 알고리즘을 추가적으로 NIR 영상에 적용하였다. Fig. 3은 각각의 노이즈 제거 방법들을 적용 후 분할 성능을 평가하기 위하여 획득된 정맥의 mask 영상들을 나타낸다.

Fig. 3. Final vein image with respect to the noise reduction method obtained including masking process.

Fig. 4 - (a)와 (b)는 각각 획득된 정맥의 NIR 영상에 노이즈 제거 방법 적용 후 mask 과정을 통해 획득된 최종 영상에서의 COV와 DSC 결과 그래프이다.

Fig. 4. Result graphs for COV and DSC calculations with respect to algorithm in segmentation image using masking process.

Fig. 3에서 표시한 ‘Box A’와 ‘Box B’ 부분으로 설정된 관심영역 (region of interest, ROI)에서의 COV 결과는 평균적으로 median filter, TV 알고리즘, 그리고 NLM 알고리즘을 사용하였을 때 각각 0.955, 0.375, 그리고 0.247로 계산되었다. 제안하는 NLM 알고리즘을 적용한 최종 정맥 분할 영상에서 median filter 그리고 TV 알고리즘에 비하여 약 3.87 및 1.52배 향상된 COV 결과가 도출되었다. 가장 낮은 COV 값을 획득할 수 있었던 NLM 알고리즘을 사용할 경우 효율적인 노이즈 제거가 가능하다는 의미로 해석될 수 있으며, 최종 masking 과정을 수행하여 나타낸 분할영상에서 가장 레퍼런스와 유사한 형태가 도출될 수 있을 것으로 예상되었다.

DSC 결과는 median filter, TV 알고리즘, 그리고 NLM 알고리즘을 사용하였을 때 각각 0.550, 0.819, 그리고 0.896으로 계산되었다. NLM 알고리즘을 적용한 최종 정맥 분할 영상에서 median filter 그리고 TV 알고리즘에 비하여 약 62.91 및 9.40% 개선된 값이 도출되었다. DSC는 영상 분할의 성능을 평가할 수 있는 대표적인 인자로 분할의 결과를 직접 비교하여 유사도 형태로 값이 도출된다. DSC 값은 1에 가까울수록 레퍼런스 영상과 실험을 통해 획득한 분할 영상의 결과가 가까운 형태임을 의미하며, COV와 경향성이 일치함을 확인할 수 있었다^[14].

NLM 알고리즘을 사용하였을 때 기존의 노이즈 제거 방법들에 비하여 정맥의 NIR 영상의 분할이 정확하게 이루어질 수 있다면 천자 과정에서의 문제점들을 어느 정도 보완할 수 있을 것이다. 특히나, 혈관이 잘 보이지 않아 한 번의 천자로 혈액 샘플을 획득하기 어려운 환자들의 경우 제안하는 알고리즘을 사용한 NIR 영상이 큰 도움이 될 수 있을 것으로 기대된다. 또한, 정맥과 더불어 동맥 혈관을 정확하게 찾거나 2가지 혈관을 명확하게 구분해야 할 상황에서도 본 연구에서 제안하는 알고리즘이 적용될 수 있을 것으로 사료된다.

하지만, NLM 알고리즘을 적용한 최종 NIR 영상에서도 여전히 경계 부분이 명확하게 나타나지 않아 개선된 방법이 제안되어야 한다. NLM 알고리즘의 search window 파라메터는 적절한 영상 화질을 결정하는데 중요한 역할을 하기 때문에 다양한 값을 조절하여 NIR 영상에 적절한 형태를 확인하는 과정이 필요하다고 사료된다^[12].

또한, 적대적 생성 신경망 (generative adversarial network, GAN)을 포함한 다양한 데이터 셋 (data set) 확보는 NIR 영상 화질 개선에 기여가 가능할 것이다^[15]. 기본적으로 구성된 GAN보다 향상된 노이즈 입력을 영상으로 변환하는 기술을 기반으로 하는 Pix2Pix 또는 영상의 경계 정보 또는 분할 map을 사용하여 영상을 생성하는 Pix2PixHD 기술 또한 융합이 가능할 것으로 생각된다^[16,17]. 이러한 딥러닝 기술을 전처리 과정에서 적용할 수 있다면 현재보다 우수한 형태의 정맥의 NIR 영상을 획득할 수 있으므로 향후 관련된 추가적인 연구를 수행하고자 한다.

Ⅴ. CONCLUSION

본 연구에서는 높은 노이즈 제거 효율을 가진 NLM 알고리즘을 모델링하여 본 연구팀에서 사전 개발한 정맥 관찰을 위한 NIR 시스템에 적용하고자 하였다. 결론적으로 정량적 평가 결과들을 기반으로 제안하는 NLM 알고리즘이 정맥 분할 능력 향상에 기여한다고 증명되었다.