DOI QR코드

DOI QR Code

Automatic Pancreas Detection on Abdominal CT Images using Intensity Normalization and Faster R-CNN

복부 CT 영상에서 밝기값 정규화 및 Faster R-CNN을 이용한 자동 췌장 검출

  • Choi, Si-Eun (Dept. of Software Convergence, Seoul Women's University) ;
  • Lee, Seong-Eun (Dept. of Software Convergence, Seoul Women's University) ;
  • Hong, Helen (Dept. of Software Convergence, Seoul Women's University)
  • Received : 2020.12.15
  • Accepted : 2021.03.05
  • Published : 2021.03.31

Abstract

In surgery to remove pancreatic cancer, it is important to figure out the shape of a patient's pancreas. However, previous studies have a limit to detect a pancreas automatically in abdominal CT images, because the pancreas varies in shape, size and location by patient. Therefore, in this paper, we propose a method of learning various shapes of pancreas according to the patients and adjacent slices using Faster R-CNN based on Inception V2, and automatically detecting the pancreas from abdominal CT images. Model training and testing were performed using the NIH Pancreas-CT Dataset, and intensity normalization was applied to all data to improve pancreatic detection accuracy. Additionally, according to the shape of the pancreas, the test dataset was classified into top, middle, and bottom slices to evaluate the model's performance on each data. The results show that the top data's mAP@.50IoU achieved 91.7% and the bottom data's mAP@.50IoU achieved 95.4%, and the highest performance was the middle data's mAP@.50IoU, 98.5%. Thus, we have confirmed that the model can accurately detect the pancreas in CT images.

Keywords

1. 서론

췌장암은 다른 주요 암들과 비교했을 때 드물게 발생하는 암으로 알려졌으나, 최근 들어 국내 췌장암 발병률이 꾸준히 증가하고 있다. 2020년 보건복지부가 발표한 2017년 국가암등록통계에 따르면 국내에서 췌장암은 주요 암 발생 순위에서 8위를 기록하고 있으며, 5년 암상대생존율은 약 12%에 불과하다[1]. 췌장암 수술에서 췌장의 형태에 대한 사전 정보가 중요하며, 이는 복부 CT영상을 통해 얻을 수 있다. 따라서 복부 CT영상에서의 췌장 검출은 췌장의 형태와 위치를 사전에 파악하고, 췌장암을 찾아내기 위한 필수적인 단계이다. 하지만 Fig.1과 같이 환자별로 췌장의 부피가 다르고, CT영상에서 인접 슬라이스 영상 간 췌장 형태 차이로 인해 자동 췌장검출에 한계가 있다.

MTMDCW_2021_v24n3_396_f0001.png 이미지

Fig. 1. Example Images of NIH Pancreas-CT Dataset Images. (a) The top part, (b) The middle part, and (c) The bottom part.

췌장 및 복부 장기자동검출과 관련된 연구는 다음과 같다. 김현진[2] 등은 다중 아틀라스 기반의 계층적 정합 및 밝기값 정보를 사용하는 자동분할 방법을 이용해 복부 CT영상에서 신장을 자동 분할하였다. 해당 논문에서는 밝기 값유사도를 측정해 대상 영상과 유사한 아틀라스를 선정하고 이를 기반으로 계층적 정합 및 밝기 값 기반의 지역적 가중투표를 통해 신장영역을 자동 검출한 후, 피질영역의 밝기 값을 활용해 신장분할을 개선하고 결과적으로 주변 기관으로의 누출을 최소화하여 신장을 분할하는 방식에 대해 제안했다. Lemay[3]는 YOLOv3와 SSD- MobileNet을 사용해 복부 CT영상에서 신장을 검출하는 방식을 제안했다. Muki Furuzuki[4] 등은 다중시기(multiphase)CT 영상에서 간암을 추출하기 사전 단계로, Faster R-CNN(Faster Region-based Convolutional Neural Network)을 이용해 주어진 간 데이터에서 대략적인 암관심 영역을 직사각형 형태로 얻는 방법을 제안했다. Shang-Long Liu[5] 등은 FasterR-CNN을 췌장암 부위를 검출하는 데 활용하여 순차 조영증강 CT영상을 정확하게 판독하고 췌장암 진단을 더 빠르게 할 수 있는 인공지능 시스템을 구축했으며, 실험을 통해 FasterR-CNNAI가 영상 전문가보다 더 높은 정확도와 빠른 속도로 췌장암을 진단함으로써 FasterR-CNNAI가 췌장암 진단에 있어 효과적이고 객관적인 방법임을 입증했다. Zhengdong Zhang[6] 등은 강화된 특성 피라미드 네트워크(Augmented Feature Pyramid Networks), 자가 적응 특성 융합(Self-Adaptive Feature Fusion), 종속성 계산 모듈(Dependencies Computation Module)의 3가지 요소로 구성되는 췌장 종양 검출 프레임워크를 제안했다. 최시은[7] 등은 FasterR-CNN을 이용해 복부 CT영상에서 췌장을 검출하는 방법을 제안하여 췌장을 검출했으나, 일부 CT영상에서 췌장을 검출하지 못하거나 여러 개의 바운딩 박스(Bounding Box)로 나누어 검출하는 한계점이 있다.

본 논문에서는 밝기 값 정규화를 적용한 NIH Pancreas-CT Dataset에 대해 Faster R-CNN을 활용해 환자별, 인접 슬라이스 영상별 다양한 형태의 췌장을 학습시키고 이를 기반으로 복부 조영증강 CT영상에서 췌장을 자동 검출하는 방법과 해당 모델의 성능을 개선하는 방법을 제안한다. 이와 같이 신장을 검출한 기존 연구에서는 본 연구와 달리 CNN기반이 아닌 다중 아틀라스 정합과가중투표 기반의 분할을 통한 영역검출 방법을 사용하거나 YOLOv3를 사용하였으며, 간이나 췌장의 종양을 검출한 기존 연구에서는 객체검출 성능을 높이기 위해 다중시기 CT 영상을 사용하거나 조영증강된 CT영상을 사용하였다. 또한 기존 연구에서 검출하는 신장이나 간과 같은 장기는 췌장과 비교하여 CT영상에서 형상 변화가 크지 않다는 특성을 가진다. 따라서 본 논문에서는 환자별로 형상 및 위치의 차이가 큰 췌장을 자동 검출하는 방법을 제안하며, 각 CT영상마다 촬영 프로토콜에 따라 밝기값이 상이하여 검출 성능이 떨어지는 한계점을 밝기 값 정규화 과정을 통해 보완한 후 FasterR-CNN을 적용함으로써 췌장검출 성능을 개선한다.

2. 제안 방법

본 논문에서는 췌장자동 검출을 위해 Fig.2와 같이 데이터 전처리, 특징맵 추출, 영역제안의 3단계로 진행된다. 데이터 전처리에서는 DICOM형식의 복부 조영증강 CT영상의 밝기 값 정규화를 진행한 후 밝기값이 정규화된 영상과 췌장이 레이블링된 NIfTI형식의 이진마스크 데이터를 이용해 영상과 레이블을 하나의 TFRecord파일로 만들었다. 생성한 TFRecord파일로 사전 훈련된 InceptionV2기반 의 FasterR-CNN모델의 학습 및 시험시 입력으로 들어간다. InceptionV2는 입력으로 들어온 영상에서 특징을 추출해 특징맵을 출력하며, 출력된 특징맵은 RPN(Region Proposal Network)의 입력으로 들어간다. RPN은 제안영역을 출력하는데, Fast R-CNN(Fast Region-based Convolutional Neural Network)은 해당 제안 영역을 입력으로 받아 췌장의 위치를 표시한 바운딩 박스를 출력함으로써 췌장을 검출한다.

MTMDCW_2021_v24n3_396_f0002.png 이미지

Fig. 2. Overview diagram of proposal methods.

2.1 데이터 전처리

NIH Pancreas-CT Dataset의 기존 CT 영상은 Fig. 3(a)와 같이 복부 내부의 장기가 뚜렷하게 구분되지 않는 경우가 있어 밝기 값 정규화를 수행한다. 또한 DICOM형식의 복부 조영증강 CT영상 데이터와 췌장을 레이블링한 NIfTI형식의 이진마스크 데이터를 하나의 TFRecord파일로 변환한다. 이는 대용량 데이터를 직렬화해 저장하는 TFRecord파일로 변환할 시 영상 데이터와 레이블데이터를 하나의 파일에 저장할 수 있어 코드 구현과 관리에 용이하며, 데이터 용량이 감소한다는 장점이 있다. 또한 이진형식으로 데이터가 저장되어 있어 모델 학습 시 JPG, PNG와 같은 이미지 파일과 달리 인코딩, 디코딩 작업을 할 필요가 없어 모델 학습 속도 및 I/O 처리 속도를 향상시킬 수 있다.

밝기값 정규화 과정에서는 DICOM뷰어인 Radi Ant프로그램을 이용해 DICOM형식으로 되어 있는 총 80명의 환자의 복부 조영증강 CT영상을 각각 일반적인 복부 조영증강 CT영상으로 보이도록 윈도우 레벨(windowlevel)을 60, 윈도우 폭(window width)을 400으로 조정해 밝기 값을 정규화했다. Fig. 3은 밝기 값 정규화를 적용하기 전의 CT영상과 적용한 후의 CT영상이다.

MTMDCW_2021_v24n3_396_f0003.png 이미지

Fig. 3. Example images of applying intensity normalization to abdominal CT images. (a) Before in- tensity normalization and (b) After intensity normalization.

밝기값을 정규화한 영상 데이터와 레이블 데이터를 TFRecord파일로 변환하는 과정은 다음과 같다. 첫째, 밝기 값 정규화를 시킨 DICOM형식의 영상 데이터와 NIfTI형식의 레이블데이터를 PNG형식으 로 변환한다. 둘째, Annotation파일을 생성하여 각 영상정보와 각 영상에서 검출할 췌장영역에 대한 박스(box) 형태 정보를 저장한다. 본 Annotation파일은 PNG형식으로 변환한 이진마스크 데이터에서 정보를 추출하는 방식으로 생성한다. 레이블링된 데이터에서 췌장 위치에 대한 정보인 바운딩 박스의 좌표값과 박스의 높이(height) 및 너비(width), 면적(area) 값을 추출하였으며, 이외에도 각 영상에서 찾을 객체에 대한 id, name, supercategory 정보와 각 영상별 imageid, filename, 영상의 높이 및 너비에 대한 값을 함께 저장한다. 셋째, PNG 형식으로 변환한 데이터와 Annotation파일을 이용해 영상 데이터와 레이블데이터를 하나로 합쳐 이진 형식으로 저장하는 TFRecord파일을 생성한다.

2.2 CNN 기반 검출 모델 구현

복부 CT영상에서 췌장을 자동으로 검출하기 위해 COCODataset[8]으로 사전 훈련된 InceptionV2 모델 기반의 FasterR-CNN을 사용한다. Fig. 4는 본 논문에서 사용한 모델의 구조도로 해당 모델을 NIH Pancreas-CT Dataset에 맞춰 다시 훈련을 진행한다. 객체 탐지 모델은 SSD(Single Shot Multi Box Detector), YOLO(You Only Look Once), Fast R-CNN, Faster R-CNN등 다양한데, 그 중 실험에 사용한 Faster R-CNN은 기존의 Fast R-CNN의 Region Proposal 방식을 개선하여 Region Proposal을 GPU를 활용해 Deep Learning Network 구조 안에 넣음으로써 영역을 제안하 는데 소요되는 시간을 줄여 속도를 개선하고, 객체가 겹쳐져 있거나, 크기가 작은 객체에 대한 인식률이 높아 여러 객체 탐지 모델 중 가장 좋은 성능을 보인다.

MTMDCW_2021_v24n3_396_f0004.png 이미지

Fig. 4. Network architecture of automatic pancreas detection using Faster R-CNN based on Inception V2.

Faster R-CNN은 크게 3개의 부분으로 구성되어 있다. 입력으로 들어간 이미지의 특징맵을 출력하는 CNN과 출력된 특징맵을 입력으로 받아 객체가 있을 것으로 예상되는 영역을 찾아 제안을 출력하는 탐지모듈인 Region Proposal Network(RPN), 출력된 Region Proposal을 입력으로 받아 객체가 무엇인지 판별하고 객체의 위치를 표시하는 바운딩 박스를 출력하는 검출기 모듈인 Fast R-CNN으로 구성되어 객체를 검출한다.

특징맵을 출력하는 CNN과정에서 사용한 모델은 COCO Dataset으로 사전 훈련된 Inception V2를 CNN으로 사용한다. Inception V2는 컨볼루션 네트워크(convolution network)의 복잡성을 줄이기 위해 Google에서 고안한 네트워크로, 컨볼루션 네트워크를 깊게 만들기보다는 더 넓게 만드는 방식을 제안한다. Inception V2는 커널의 크기를 더 작은 단위로 쪼개어 NxN형태를 1xN, Nx1형태로 사용함으로써 연산의 효율을 높였으며, 레이어(layer)가 깊어짐에 따라 가중치가 소실되는 일을 방지하기 위해 보조 소프트맥스 레이어인 보조 분류기(auxiliaryclassi-fier)를 하나만 추가했다는 특징을 가진다. 또한 Inception V2는 풀링(pooling)을 먼저 수행하기 되면 풀링으로 인해 특징맵의 크기가 작아져 정보량이 줄어들게 되는 representational bottleneck현상이 발생하는 문제를 해결하기 위해 풀링과 컨볼루션을 병렬로 수행한 후 하나로 합치는 모델로 구현되었다. Inception V2는 입력으로 들어온 복부 CT영상의 특징을 추출해 특징맵을 출력한다 [9,10].

영역 제안과정에서는 CNN이 출력한 특징맵을 입력으로 받아 Region Proposal을 출력한다. 입력된 특징맵은 우선 컨볼루션을 한 번 거치며 새로운 특징맵으로 출력된다. RPN은 N×N의 작은 네트워크인 슬라이딩 윈도우를 해당 특징 맵 위로 슬라이딩 시킴으로써 최대 k개의 Region Proposal을 예측할 수 있 다. 이때 슬라이딩 윈도우의 위치를 중심으로 사전에 정의되어 바운딩 박스의 후보로 사용되는 k개의 상자를 앵커(anchor)라고 한다. 슬라이딩 윈도우를 통해 나온 특징맵은 분류 레이어와 회귀 레이어로 나뉘어 들어가게 된다. 이 때, 분류 레이어에서는 각 앵커마다 객체인지 아닌지를 뜻하는 양의 값과 음의 값을 출력하며, 회귀 레이어에서는 각 앵커마다 객체가 있는 위치를 표시하는 박스의 중심 x, y값과 너비, 높이의 좌표 값을 출력한다. 따라서 RPN은 2개의 객체점수(objectscore)와 4개의 객체 좌표값(object coordinate)를 가지는 k개의 앵커, 즉 Region Proposal를 출력하게 된다[11,12].

제안 영역을 이용한 객체검출 과정에서 검출기 모듈로 사용되는 Fast R-CNN은 RPN이 출력한 Region Proposal을 입력으로 받아 검출된 객체의 클래스를 분류하고 회귀를 수행해 바운딩 박스를 출력함으로써 객체를 검출한다. Fast R-CNN의 RoI 풀링 레이어에서는 사전에 정해둔 H⨯W크기에 맞춰 그리드를 설정한 후 그리드별로 가장 큰 값을 추출하는 맥스 풀링(maxpooling)을 수행해 항상 H⨯W로 같은 크기의 특징맵으로 만든 다음 특징 벡터를 추출한다. 추출된 특징벡터는 완전연결레이어(fully connected layer)들을 통과한 후 분류 레이어와 회귀 레이어로 나뉘어 들어간다. 분류레이어에서는 해당 객체가 무엇인지에 대한 확률값을 출력하며, 회귀 레이어에서는 박스의 위치를 조정하여 바운딩 박스를 출력함으로써 최종적으로 객체를 검출한다 [13].

본 논문에서는 검증 데이터(validation data)에 다양한 범위의 반복 횟수(epoch)와 학습률(learning rate)을 적용하여 여러 번의 훈련 및 테스트를 진행함으로써 최적의 하이퍼파라미터(hyperparameter)를 탐색한다. Fig. 5는 반복 횟수와 학습률에 따른 정확도 변화 그래프를 나타낸 것이다.x축은 반복 횟수를 의미하며, y축은 50%에서 70%까지의 IoU(Intersection over Union)에서 계산한 mAP(mean Average Precision)값의 평균 mAP다. 실험 결과 가장 좋은 성능을 보인 반복 횟수 3000번, 학습률 0.01로 설정한다. 실험 결과 반복 횟수는 3000번, 학습률은 0.01로 설정할 시 평균 mAP가 약 64.5%로 가장 좋은 성능을 보인다. 배치 크기는 27로 설정하고, 모멘텀 최적화(momentum optimizer)를 사용하기 때문에 모멘텀값은 0.9로 설정한다. Inception V2의 스트라이드(stride)는 16으로 설정하며, RPN의 앵커는 scale값 0.25, 0.5, 1.0, 2.0과 aspect값 0.5, 1.0, 2.0으로 정의되어 총 12개가 생성된다.

MTMDCW_2021_v24n3_396_f0005.png 이미지

Fig. 5. Hyperparameter experiment result graph.

3.실험 및 결과 분석

3.1 실험 데이터 및 계획

실험 데이터는 미국의 The National Institutes of Health Clinical Center에서 배포한 NIH Pancreas-CT Dataset을 사용하였다. 본 데이터 셋은 총 80명 환자에 대한 복부 조영증강 CT영상으로 구성되어 있으며, 영상의 해상도는 512x512픽셀이다. 환자의 연령대는 18세에서 76세 사이이며, CT슬라이스 수는 환자별로 차이가 있다. 이 때, CT슬라이스 수는 181.466장으로 구성되어 있으며, 슬라이스 간 간격은 0.5∼1.0mm이고, 이중 췌장이 포함된 슬라이스만을 입력 데이터로 사용하였다.

본 연구에서는 데이터 셋을 훈련 데이터, 검증 데이터, 시험 데이터로 나누어 모델 훈련 및 테스트를 수행하는 홀드 아웃 검증 방식을 사용하였다. 데이터 셋은 환자를 기준으로 랜덤하게 분류했으며, 먼저 전체 데이터 셋을 훈련 데이터 셋과 시험 데이터 셋을 8:2의 비율로 나누었다. 또한 훈련 데이터 셋의 약 1/3에 해당하는 20명의 환자를 검증 데이터 셋으로 선별하였다. 이 때, 각 환자별로 췌장의 형태가 가장 잘 나온 연속된 9장의 슬라이스를 선별해 사용하여 최종 데이터 셋은 총 720장의 CT슬라이스로 구성하였다.

학습을 마친 모델의 성능을 평가하기 위한 지표로는 mAP와 IoU를 사용하였다. mAP(mean Average Precision)란, 객체의 클래스별로 AP를 구한 후, 이에 대한 평균을 구함으로써 객체 검출 모델의 성능을 평가하는 지표이며, 식 (1)과 같이 정의한다.Precision은 모델이 true로 분류한 것 중 실제 true인 것의 비율이다. IoU(Intersection over Union)는 모델이 예측한 결과를 나타내는 바운딩 박스와 ground-truth박스가 겹쳐진 정도를 나타내는 지표로, 식 (2)와 같이 정의할 수 있다. IoU는 모델의 예측 영역과 ground-truth영역의 교집합을 두 영역 간의 합집합에 대한 비율로 나타낸 성능지표이며, 본 논문에서는 50% 이상의 IoU에서의 mAP값을 산출하여 모델의 성능을 비교 및 평가한다.

\(m A P=\frac{1}{N} \sum_{i=1}^{N} A P_{i}\)       (1)

이때, 식 (1)의 APi는 임의의 i번째 클래스의 AP, 즉 객체의 클래스별로 구한 AP의 일반항을 뜻하며, N은 탐지한 객체의 클래스 개수를 의미한다.

\(I o U=\frac{\text { Area of Overlap }}{\text { Area of Union }}\)       (2)

모델의 훈련 및 테스트는 Google의 Colaboratory 환경에서 진행했으며, Python 3.6.9 version, Cuda 10.1version, TensorFlow GPU 1.15 version을 사용하였다. 또한 학습을 마친 모델이 시험 데이터 셋에 대해 예측한 결과를 나타낼 때, 검출하고자 하는 객체가 존재할 확률이 가장 높은 바운딩 박스 하나만을 최종 출력하도록 설정해 하나의 객체에 대해 여러 바운딩박스를 출력함으로써 성능이 저하되지 않도록 방지하였다.

3.2 실험 결과 및 분석

본 연구에서는 NIHPancreas-CT 데이터 셋을 사용하였으며, 서로 다른 환자뿐만 아니라 같은 환자의 CT영상이라도 슬라이스에 따라 췌장의 형태와 크기, 위치가 상이하므로 시험 데이터 셋을 각 환자별로 췌장 형태에 따라 상단, 중단, 하단으로 분류함으로써 각 슬라이스에서 다양한 형태의 췌장을 정확히 검출하는지 확인하고자 하였다. Fig. 6와 Fig. 7은 1번 환자와 41번 환자의 복부 CT상단, 중단, 하단의 슬라이스에서 췌장을 자동 검출한 결과이다. 이 때, (a)는 환자의 원 영상이고, (b)는 학습시킨 모델이 췌장을 검출한 결과이며, (c)는 원영상에 대한 ground-truth값을 나타낸 영상이다. Fig. 6와 Fig. 7 결과에서 (b)와 (c)를 비교했을 때, 본 모델이 위치 또는 형태에 상관없이 정확하게 췌장을 검출했음을 확인할 수 있다.

MTMDCW_2021_v24n3_396_f0006.png 이미지

Fig. 6. The results of pancreas detection from CT slices of patient 1. (a) The original CT Slice, (b) The prediction by the model, and (c) Ground-truth image.

MTMDCW_2021_v24n3_396_f0007.png 이미지

Fig. 7. The results of pancreas detection from CT slices of patient 41. (a) The original CT Slice, (b) The prediction by the model, and (c) Ground-truth image.

Table 1은 최적의 하이퍼파라미터 값을 고려해 epoch을 3000번, 학습률을 0.01로 설정한 모델에 대해 원본 데이터와 밝기 값 정규화를 적용한 데이터를 각각 훈련 및 테스트에 사용했을 때의 성능을 비교한 결과이다. 밝기 값 정규화 전 원본 데이터 셋에 대해서는 50% IoU에서의 mAP 값인 mAP@.50IoU가 81.2%로 나타나지만, 밝기 값 정규화를 적용한 데이터 셋에 대해 학습 후, 성능 평가를 진행했을 때에는 mAP@.50IoU값이 94.9%로 나타남을 확인하였다. 또한 원본 데이터에서는 mAP@.55IoU값이 68.3%, mAP@.60IoU에서는 62.7%의 성능을 보였지만, 밝기 값 정규화 적용 후의 데이터를 사용한 모델에서는 mAP@.55IoU값이 91.7%, mAP@.60IoU에서 80.5%의 성능을 보였다.50%에서 60%까지 5%씩 IoU값 을 증가시키며 각 IoU에서 계산한 mAP값의 평균 mAP를 산출했을 때, 밝기 값 정규화 이전의 데이터 셋에 대해서는 mAP값이 70.73%로, 밝기 값 정규화를 적용한 데이터 셋을 사용한 모델의 경우에는 평균 mAP 값이 89.03%로 산출되었다.

Table 1. The model performance comparison: before and after intensity normalization.

MTMDCW_2021_v24n3_396_t0001.png 이미지

Table 2는 epoch을 3000번, 학습률을 0.01로 설정해 훈련시킨 모델에 대해 시험 데이터 셋을 췌장의 형태를 고려해 상단, 중단, 하단으로 분류한 후, 각각에 대해 테스트 및 성능 평가를 진행했을 때의 결과이다. 시험 데이터 셋의 모든 슬라이스에 대해 테스트를 진행 시 mAP@.50IoU값이 94.9%, mAP@.55 IoU에서는 91.7%, mAP@.60IoU값은 80.5%로 평가되었다. 상단 데이터의 경우, mAP@.50IoU와 mAP@.55 IoU값이 91.7%, mAP@.60IoU은 81.4%의 성능을 보였고, 중단 데이터에서는 mAP@.50IoU가 98.5%, mAP@.55IoU가 95.7%, mAP@.60IoU에서는 91.2%의 성능을 보였으며, 하단 데이터의 경우, mAP@ .50IoU값이 95.4%, mAP@.55IoU는 87.8%, mAP@ .60IoU의 값은 70.8%의 성능을 보였다. 또한 50%, 55%, 60%IoU에서의 mAP값에 대한 평균 mAP를 계산했을 때, 시험 데이터 셋 전체에 대해서는 89.03 %의 성능을 보였으며, 상단부, 중단부, 하단부에서 각각 88.27%, 95.13%, 84.67%의 mAP값이 산출되었다. 따라서 췌장형상의 변화가 가장 적은 중단 데이터에서 가장 좋은 성능을 보임을 확인할 수 있었다.

Table 2. The performance comparison by CT slices classified based on the shape of pancreas.

MTMDCW_2021_v24n3_396_t0002.png 이미지

4. 결론

본 논문에서는 밝기 값 정규화를 진행한 NIH Pancreas-CT Dataset에 대해 Inception V2 기반의 Faster R-CNN모델을 사용해 복부 CT영상에서 췌장을 자동 검출하는 방법을 제안하였다. 모델의 학습 및 테스트 이전에, 먼저 NIfTI포맷의 CT영상을 PNG로 변환한 후, 최종적으로 TFRecord포맷으로 변환하는 데이터 전처리 과정을 수행함으로써 대용량 데이터를 직렬화해 모델의 학습 및 I/O처리 속도를 향상시켰다. 이후, 변환된 데이터에 대해 밝기 값 정규화 과정을 진행하였다. 밝기 값 정규화를 시킨 데이터 셋을 기반으로 모델을 훈련 및 평가했을 때, 50% IoU에서의 mAP 값인 m AP@.50IoU와 mAP@.50IoU와 mAP@.55IoU, mAP@.60IoU값에서 모두 밝기 값 정규화를 적용하기 전 데이터 셋에 비해 밝기 값 정규화를 적용한 데이터 셋을 사용한 모델에서 더 좋은 성능을 보임을 확인하였다. 향후 연구로는 환자별로 형상 차이가 큰 하단부의 췌장검출 성능 개선과 함께 상하단부에서 분리된 형태의 췌장을 하나의 췌장으로 검출하여 모델 성능을 개선하고자 한다. 본 논문에서 제안하는 자동 췌장검출 방식을 통해 각 환자의 췌장 상태를 파악하고 더 나아가서 이를 췌장암 수술을 위한 자료로써 활용할 수 있을 것으로 기대한다.

References

  1. National Cancer Center, Annual Report of Cancer Statistics in Korea in 2017, 2020.
  2. H. Kim, H. Hong, K. Chang, and K. Rha, "Automatic Segmentation of Kidney using Hierarchical Registration and Locally-weighted Voting based on Multi-atlas in Abdominal CT Images," Proceeding of Korea Software Conference, pp. 1352-1354, 2017.
  3. A. Lemay, "Kidney Recognition in CT Using YOLOv3," arXiv:1910.01268, 2019.
  4. M. Furuzuki, H. Lu, H. Kim, Y. HiranoI, S. Mabu, and M. Tanabe et al., "A Detection Method for Liver Cancer Region Based on Faster R-CNN," International Conference on Control, Automation and Systems, pp. 808-811, 2019.
  5. S. Liu, S. Li, Y. Guo, Y. Zhou, Z. Zhang, and S. Li et al., "Establishment and Application of an Artificial Intelligence Diagnosis System for Pancreatic Cancer with a Faster Region-Based Convolutional Neural Network," Chinese Medical Journal, Vol. 132, No. 23, pp. 2795-2803, 2019. https://doi.org/10.1097/cm9.0000000000000544
  6. Z. Zhang, S. Li, Z. Wang, and Y. Lu, "A Novel and Efficient Tumor Detection Framework for Pancreatic Cancer via CT Images," Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC), pp. 1160-1164, 2020.
  7. S. Choi, S. Lee, and H. Hong, "Automatic Pancreas Detection on Abdominal CT Images using Faster R-CNN," Proceeding of the Fall Conference of the Korea Multimedia Society, Vol. 23, No. 3, 2020.
  8. T. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, and D. Ramanan et al., "Microsoft COCO: Common Objects in Context," European Conference on Computer Vision (ECCV), Zurich, Switzerland, pp. 740-755, 2014.
  9. C. Szegedy, V. Vanhoucke. S. Ioffe, and J. Shlens, "Rethinking The Inception Architecture for Computer Vision," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2818-2826, 2016.
  10. D. Alamsyah and M. Fachrurrozi, "Faster R-CNN with Inception V2 for Fingertip Detection in Homogenous Background Image," Journal of Physics Conference Series, Vol. 1196, No. 1, 2019.
  11. S. Ren, K. He, R. Girshick, and J. Sun, "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 39, No. 6, pp. 1137-1149, 2017. https://doi.org/10.1109/TPAMI.2016.2577031
  12. Faster R-CNN(2018), http://incredible.ai/deeplearning/2018/03/17/Faster-R-CNN/ (accessed November 28, 2020).
  13. R. Girshick, "Fast R-CNN," IEEE Conference on Computer Vision (ICCV), pp. 1440-1448. 2015.