Robust Coronary Artery Segmentation in 2D X-ray Images using Local Patch-based Re-connection Methods

지역적 패치기반 보정기법을 활용한 2D X-ray 영상에서의 강인한 관상동맥 재연결 기법

Abstract

For coronary procedures, X-ray angiogram images are useful for diagnosing and assisting procedures. It is challenging to accurately segment a coronary artery using only a single segmentation model in 2D X-ray images due to a complex structure of three-dimensional coronary artery, especially from phenomenon of vessels being broken in the middle or end of coronary artery. In order to solve these problems, the initial segmentation is performed using an existing single model, and the candidate regions for the sophisticate correction is estimated based on the initial segment, and the local patch-based correction is performed in the candidate regions. Through this research, not only the broken coronary arteries are re-connected, but also the distal part of coronary artery that is very thin is additionally correctly found. Further, the performance can be much improved by combining the proposed correction method with any existing coronary artery segmentation method. In this paper, the U-net, a fully convolutional network was chosen as a segmentation method and the proposed correction method was combined with U-net to demonstrate a significant improvement in performance through X-ray images from several patients.

관상동맥 시술을 위해 혈관 조영 X-선 영상은 시술 진단 및 보조에 유용하게 활용된다. 삼차원의 복잡한 구조를 가진 관상동맥을 이차원 X-선 영상에서 기존의 단일기법만을 사용하여 정확히 분할하는 것에 어려움이 있으며, 특히 혈관이 중간에 끊어지거나 말단부위혈관이 유실되는 현상으로부터 오차가 크게 발생하는 경향이 있었다. 이러한 문제를 해결하기 위하여 기존 단일기법으로 초기분할 단계를 거친 후, 초기분할결과를 기반으로 정교한 보정영역을 설정하는 단계, 보정영역을 대상으로 패치기반 지역보정을 수행하는 단계가 수행된다. 본 연구를 통해 끊긴 혈관을 보완한 분할 결과를 구할 수 있을 뿐만 아니라 미세혈관까지 포함하지 못한 참 값의 한계점을 해결할 수 있다. 또한, 존재하는 기존 관상동맥 분할방법들에 융합하여 추가적인 성능개선을 얻어낼 수 있다. 본 논문에서는 Fully convolutional network 기반 깊은 신경망 네트워크인 U-net을 활용하였으며, 제안된 보정방법을 융합하여 기존 U-net 단일 모델 대비 성능이 상당히 개선된다는 것을 실제 여러 환자들의 데이터 셋을 통하여 증명하였다.

그림 1. 제안하는 기법의 흐름도 Fig. 1. The flow chart of the proposed method

그림 2. 입력 영상과 혈관 확률 맵. (a) 2D X-ray 입력 영상, (b) M_{512 × 512}을 통해 얻어진 혈관 확률 맵 Σ, (c) 참 값 Fig. 2. An input image and its vessel probability map. (a) 2D X-ray input image, (b) vessel probability map Σ obtained by M_{512 × 512}, (c) label

그림 3. 일반적인 혈관 부분과 혈관의 분기점 및 혈관의 끝 부분에서도 혈관과 배경영역이 고르게 분포되었음을 보이는 패치와 각각에 해당하는 참 값 Fig. 3. Patches and corresponding labels showing that the vessel and the background are similarly distributed at normal vessel part and at the bifurcation point of the vessel and at the end of the vessel

그림 4. 지역보정모델 M_{64 × 64}의 구조와 각 단에서의 채널의 수와 차원의 변화에 따른 모양 Fig. 4. Structure of local correction model M_{64 × 64} and the number of each layer's channel and shape as dimension changes

그림 5. 혈관분할 결과 및 보정이 필요한 후보 영역: (a) T₁을 적용한 M_{512 × 512}기반 확률 분할 결과, (b) 연결 성분 분석 후 컨벡스 헐을 적용한 결과, (c) 입력 영상에 빨간색으로 표시한 $\hat{S}$ 및 확대 Fig. 5. Vessel segmentation results and candidate region to correct: (a) M_{512 × 512}based segmentation result apply T₁, (b) result apply convex hull after CCA, (c) $\hat{S}$ marked in red in input image and magnification

그림 6. 2D X-ray 혈관 조영 영상에서의 혈관분할 결과 비교: (a) 원본 입력 영상, (b) 단일모델 M_{512 × 512}에 의한 결과로써 혈관의 중간 부위가 유실되는 경우가 많음, (c) 제안 기법으로 보정한 결과 유실부위가 다시 연결되는 것을 확인할 수 있음, (d) 전문가에 의해 수동으로 생성된 참값을 보여주고 있으며 b의 단일모델에 의한 결과보다 c의 제안된 방법에 의한 결과와 매우 일치하는 것을 확인할 수 있으며 이는 표 1에서 정량적으로 증명되었음. Fig. 6. Vessel segmentation results in 2D X-ray angiography: (a) input image, (b) the broken coronary arteries are found in the results by using only a single model M_{512 × 512}, (c) the broken coronary arteries are re-connected by the proposed correction method, (d) the ground truths manually annotated by the experts match to the results of the proposed method in c rather than the results in b, which is quantitatively demonstrated in Table 1

표 1. 제안기법의 성능을 평가하기 위한 평가지표와 설명 Table 1. metrics and descriptions for evaluating proposed method

표 3. Dice similarity coefficient (DSC) 측정을 통한 제안기법과 다른 기법들 [3, 4, 7] 간 정량적 비교: 18명의 환자, 350장의 2D X-ray 영상에서 측정된 DSC결과, 제안기법에서 가장 높은 성능을 보여주었다. 다만, IVGMM [8] 기법의 경우, 논문에서 892장의 비공개데이터를 기반으로 완료한 실험을 참고하였다. Table 3. The comparison between the proposed method and the other methods [3, 4, 7] with the same dataset, 18 patients, 350 2D X-ray images. The result of dice similarity coefficient (DSC) shows that the highest accuracy from the proposed method. Note that IVGMM [8] is indirectly compared since IVGMM uses other 892 private dataset, and the DSC is referred from the experiment completed in the published paper [8]

표 2. 대표되는 10명의 2D X-ray 데이터를 기반으로 한 단일모델(M_{512 × 512})과 제안기법(P^*)의 DSC 성능 비교 Table 2. Quantitative results (DSC) with Single model(M_{512 × 512})and proposed method(P^*)