Deep Learning-Based Brain Tumor Classification in MRI images using Ensemble of Deep Features

Abstract

Automatic classification of brain MRI images play an important role in early diagnosis of brain tumors. In this work, we present a deep learning-based brain tumor classification model in MRI images using ensemble of deep features. In our proposed framework, three different deep features from brain MR image are extracted using three different pre-trained models. After that, the extracted deep features are fed to the classification module. In the classification module, the three different deep features are first fed into the fully-connected layers individually to reduce the dimension of the features. After that, the output features from the fully-connected layers are concatenated and fed into the fully-connected layer to predict the final output. To evaluate our proposed model, we use openly accessible brain MRI dataset from web. Experimental results show that our proposed model outperforms other machine learning-based models.

뇌 MRI 영상의 자동 분류는 뇌종양의 조기 진단을 하는 데 있어 중요한 역할을 한다. 본 연구에서 우리는 심층 특징 앙상블을 사용한 MRI 영상에서의 딥 러닝 기반 뇌종양 분류 모델을 제안한다. 우선 사전 학습된 3개의 합성 곱 신경망을 사용하여 입력 MRI 영상에 대한 심층 특징들을 추출한다. 그 이후 추출된 심층 특징들은 완전 연결 계층들로 구성된 분류 모듈의 입력 값으로 들어간다. 분류 모듈에서는 우선 3개의 서로 다른 심층 특징들 각각에 대해 먼저 완전 연결 계층을 거쳐 특징 차원을 줄인다. 그 이후 3개의 차원이 준 특징들을 결합하여 하나의 특징 벡터를 생성한 뒤 다시 완전 연결 계층의 입력값으로 들어가서 최종적인 분류 결과를 예측한다. 우리가 제안한 모델을 평가하기 위해 웹상에 공개된 뇌 MRI 데이터 셋을 사용하였다. 실험 결과 우리가 제안한 모델이 다른 기계학습 기반 모델보다 더 좋은 성능을 나타냄을 확인하였다.

I. Introduction

인체에서 뇌는 전체 신경계를 제어하는 거대하고 복잡한 기관이며 약 1, 000억 개의 신경 세포로 구성이 된다. 이 필수 기관은 신경계의 중심에서 시작된다. 따라서 뇌에 존재하는 모든 종류의 장애는 인간의 건강을 위험에 빠뜨릴 수 있다. 이러한 장애 중 가장 심각한 것은 뇌종양이다. 뇌종양은 뇌에서 자라는 불필요한 세포 덩어리를 의미하며 원발성 종양과 이차성 종양과 같은 두 그룹으로 분류할 수 있다. 원발성 종양은 뇌 조직에 존재하는 반면, 이차성 종양은 혈류를 통해 인체의 다른 부분에서 뇌 조직으로 확장된다. 원발성 종양 중 신경교종과 수막종은 두 가지 치명적인 유형의 뇌종양이며, 초기 단계에서 진단되지 않으면 환자를 사망에 이르게 할 수 있다. 실제로 인간에서 가장 흔한 뇌종양은 신경교종이다. 종양의 위치, 크기 및 유형에 따라 뇌종양을 치료하는 다양한 방법이 존재한다. 오늘날 뇌종양에 대한 가장 일반적인 치료법은 뇌에 부작용이 없는 수술이다. 컴퓨터 단층 촬영 (CT), 양전자 방출 단층 촬영 (PET) 및 자기 공명 영상(MRI)과 같은 다양한 유형의 의료영상 기술이 인체 상태의 내부 부분을 관찰하는 데 사용된다. 이러한 모든 방식 중에서 MRI는 뇌종양 유형, 크기, 모양 및 위치에 대한 의미 있는 정보를 2D 및 3D 형식으로 제공하는 유일한 방식이므로 가장 선호되어 진다. 그러나 이러한 MRI 영상을 사람이 일일이 검토하는 것은 시간이 오래 걸리며 또한 부정확할 경우도 발생한다. 이 문제를 해결하기 위해서는 뇌 MRI의 분류 및 진단 작업량을 줄이고 방사선 전문의와 의사를 돕는 도구 역할을 하는 자동 컴퓨터 보조 진단 (CAD) 시스템의 개발이 필요하다.

기존의 전통적인 기계학습 모델은 학습하려는 데이터의 여러 특징 중에서 어떤 특징을 사용해야 할지 사람이 직접 판단해야 한다. 반면 딥 러닝 기반 모델은 훨씬 더 나은 성능을 제공하는 의미 있는 특징들을 자동으로 추출한다. 그러나 딥 러닝 기반 모델을 학습하기 위해서는 많은 양의 데이터가 필요하며 이러한 데이터를 획득하는 것은 매우 어렵다. 이러한 문제를 극복하기 위해 본 연구에서는 뇌 MRI 영상에서 의미 있는 정보를 추출하기 위해 3개의 사전 학습된 합성 곱 신경망을 사용하였다. 그런 다음 3개의 사전 학습된 합성 곱 신경망을 통해 추출된 심층 특징은 뇌 종량 분류를 위해 완전 연결 계층으로 구성된 분류 모듈의 입력으로 들어간다. 분류 모듈에서 우리는 뇌 MRI 영상에서 추출한 3개의 심층 특징들을 결합하기 위해 두 가지 서로 다른 앙상블 기법을 제안한다. 첫 번째 앙상블 기법은 3개의 서로 다른 심층 특징들을 먼저 연결해 하나의 벡터로 만든 다음 완전 연결 계층의 입력으로 들어간다. 반면 두 번째 앙상블 기법은 3개의 서로 다른 심층 특징들 각각에 대해 먼저 완전 연결 계층을 거쳐 특징 차원을 줄인다. 그 이후 3개의 차원이 준 특징들을 결합하여 하나의 특징 벡터를 생성한 뒤 최종적으로 분류하기 위해 마지막 완전 연결 계층의 입력값으로 들어간다. 실험에서 우리가 제안한 모델을 평가하기 위해 웹상에 공개된 4개의 클래스 (정상, 신경교종 종양, 수막종 종양 및 뇌하수체 종양)를 가지는 뇌 MRI 데이터 셋을 사용하였다. 실험 결과 두 번째 앙상블 기법을 사용한 딥 러닝 기반 모델이 다른 기계학습기반 분류기보다 더 좋은 성능을 나타냄을 확인하였다.

본 논문의 구성으로 2장에서는 본 연구에 활용되고 있는 기존의 뇌종양 분류 기법들을 소개한다. 3장에서는 제안한 마스크 감지 시스템에 대해서 자세히 기술한다. 4장에서는 웹상에 공개된 뇌 MRI 데이터 셋을 가지고 여러 가지 모델의 성능을 측정한 결과를 보여준다. 마지막으로 5장에서 결론을 통하여 활용방안을 제시하고 마무리한다.

II. Related Work

2.1 Machine Learning-based approach

전통적인 기계학습 방법은 데이터 전처리, 특징 추출, 특징 축소 및 분류와 같은 여러 단계로 구성된다. 전통적인 기계학습 방법에서는 분류 정확도가 추출된 특징에 매우 의존적이기 때문에 특징 추출 과정이 매우 중요하다. Selvaraj등[1]은 제 1 순서 통계량(평균, 표준 편차) 및 제 2 순서 통계량(웨이블릿 변환, Gabor 특징) 및 최소 제곱 SVM을 사용한 이진 분류기를 개발하여 정상 및 비정상에 대한 뇌 MRI 영상 이미지를 분류하였다. John등[2]은 종양 식별 및 분류를 위해 명암도 동시 발생 행렬(GLCM) 및 이산 웨이블릿 변환 기반 방법을 사용하였다. 이러한 저수준의 특징들은 이미지를 효율적으로 표현할 수 있지만, 대부분의 뇌종양 MRI 영상 이미지는 질감, 모양 및 크기와 같은 유사한 외양을 가지고 있으므로 분류에 있어 유의미한 특징을 추출하는 데 한계가 있다. Ullah등[3]은 각각 히스토그램 평준화, 이산 웨이블릿 변환 및 피드 포워드 인공 신경망을 사용하여 뇌 MRI 영상 이미지를 정상 및 비정상으로 분류하는 하이브리드 기법을 제안하였다. Kharrat등[4]은 유전 알고리즘과 SVM을 사용하여 뇌종양 MRI 영상 이미지를 정상과 비정상으로 분류하였다. Shree등[5]은 특징 추출을 위해 GLCM을 사용했으며, 뇌 MRI 영상 이미지를 정상 및 비정상으로 분류하기 위해 확률적 신경망(PNN)을 사용하여 95%의 분류 정확도를 얻었다. Arunachalam등[6]은 SIST(shift-invariant shearlet transform)를 사용하여 뇌 MRI 영상 이미지를 향상시켰다. 그런 다음 Gabor, GLCM 및 DWT(discrete wavelet transform)를 사용하여 특징을 추출하였다. 추출된 특징은 피드 포워드 인공 신경망을 통해 최종 분류 결과를 도출하였다. Rajan등[7]은 자동 종양 탐지 및 분할을 위한 하이브리드 방법을 제안하였다. 제안된 방법은 총 7개의 단계로 구성되었으며 98%의 정확도를 보여준다. 하지만 단점으로는 여러 가지 기술들을 전부 다 활용하였기에 계산 시간이 길다는 것이다.

2.2 Deep Learning-based approach

딥 러닝 모델은 기계학습 모델과는 달리 중요한 특징을 자동으로 추출할 수 있으므로 어떤 특징을 사용할 것인지일 일이 정하지 않아도 된다. 최근 몇 년 사이 딥러닝 모델은 사람 감지[8], 뇌파 분석[9] 등 다양한 분야에서 성공적으로 사용됐다. MRI 영상 이미지 분류에서 핵심 과제는 사람이 인식하는 높은 수준의 시각 정보와 MRI 기계가 인식하는 낮은 수준의 시각 정보 사이의 의미장의 간격 (semantic gap)을 줄이는 것이다. 의미상의 간격을 줄이기 위해 영상 데이터에 자주 사용되는 유명한 딥 러닝 기술 중 하나인 합성 곱 신경망(CNN)을 특징 추출기로 사용하여 분류 작업을 위한 관련 특징들을 추출할 수 있다. 최근 들어 CNN을 사용하여 뇌 MRI 분류를 수행하는 연구가 많이 이루어지고 있다. Deepak등[10]은 사전 학습된 GoogLeNet을 사용하여 CNN으로 뇌 MR 영상 이미지에서 특징을 추출하여 세 가지 유형의 뇌종양을 분류하였고 98%의 정확도를 달성하였다. Ahmet등[11]은 GoogLeNet, Inception V3, DenseNet-201, AlexNet 및 ResNet-50과 같은 다양한 CNN 모델을 사용하여 뇌 MRI 영상 이미지를 분류하는 모델을 제안하였다. 다양한 CNN 모델 중에서 마지막 5개의 레이어를 제거하고 새로운 8개의 레이어를 추가한 사전 학습된 ResNet-50 모델이 97.2%로 가장 높은 분류 정확도를 보여주었다. Khwaldeh 등[12]은 뇌종량 분류를 위한 CNN 모델로서 Alex Net을 사용하였고, 91%의 정확도를 달성하였다. Saxena등[13] 은 전이 학습 방법과 함께 Inception V3, ResNet-50 및 VGG-16 모델을 활용하여 뇌종양 데이터를 분류하였다. 그 중 ResNet-50 모델은 95%로 가장 높은 정확도를 얻었다. Raja등[14]은 뇌종양 분류를 위해 베이지안 퍼지 클러스터링(BFC) 기법을 사용한 하이브리드 심층 오토인코더 (DAE)를 제안하였다. 하지만 가장 큰 단점은 모델이 복잡한 구조로 설계가 되어서 학습 및 추론에 있어서 많은 시간이 소요된다는 것이다. Kang등[15]은 서로 다른 복잡도를 가지는 3개의 뇌종양 MRI 데이터 셋 각각에 대해 높은 정확도를 보이는 서로 다른 3개의 사전 학습된 신경망을 실험을 통해 찾은 다음 특징 앙상블 기법을 사용해 뇌종양을 분류하는 모델을 제안하였다. 실험에서는 특징 앙상블 기법을 통해 합쳐진 특징을 가지고 여러 가지 기계학습 분류기를 사용해서 성능을 평가하였고 RBF(Radial Basis Function)커널을 사용한 SVM이 가장 좋은 성능을 보였다. 본 논문에서 제안하는 모델도 앞선 연구와 마찬가지로 특징 앙상블 기법을 사용하였다. 차이점은 앞선 연구에서는 단순히 하나의 계층만 가지는 인공신경망을 기반으로 분류를 수행한 반면 우리가 제안한 모델에서는 성능을 높이기 위해 여러 개의 계층으로 구성된 서로 다른 두 가지의 딥러닝 기반 특징 앙상블 기법을 제안했다는 것이다.

2.3 Discussion

최근 몇 년간 MRI 영상 이미지에 기반을 둔 뇌종양 분류 작업을 위해서 기계학습 기법보다 좋은 성능을 보이는 많은 딥 러닝 기법이 사용되고 있다. 하지만 딥 러닝 모델이 기존의 기계학습 기법보다 더 나은 성능을 발휘하기 위해서는 막대한 양의 학습 데이터가 필요하다. 따라서 대다수의 딥 러닝 기반 방법에서는 사전 학습된 CNN모델을 사용하여서 적은 양의 학습 데이터로도 좋은 성능을 보여주었다. 기존 뇌종양 분류 기법들의 주요 단점은 두 가지 클래스, 즉 정상 및 비정상으로 구성된 뇌 MRI 영상 이미지 데이터 셋만 사용하였기에 비정상 이미지가 어떤 뇌종양에 대한 것인지 구분할 수 없다는 것이다. 본 연구에서는 총 4 가지의 클래스(정상, 신경교종 종양, 수막종 종양 및 뇌하수체 종양)를 가지는 MRI 영상 데이터 셋을 사용해 모델을 학습하였기에 입력 이미지가 어떤 뇌종양에 대한 것인지 구분할 수 있다. 또한, 사전 학습된 세 가지 서로 다른 CNN모델로부터 추출된 특징을 가지고 분류 성능을 극대화하기 위해 딥 러닝 기반 앙상블 모델을 설계하였다.

III. The Proposed Method

이 장에서는 우리가 제안한 방법의 전체 아키텍처를 먼저 설명한 다음 하위 장에서 각각의 주요 구성 요소에 대해 자세히 설명하겠다.

우리가 제안한 뇌종양 분류 방법의 구조는 Fig. 1에 설명되어 있다. 먼저, 입력 MRI 영상 이미지에 대해 전처리를 수행하여 분류에 있어 불필요한 배경 영역을 제거한다. 그 이후, 전처리 된 이미지는 3개의 합성 곱 신경망을 사용하여 입력 MRI 영상에 대한 심층 특징들을 추출한다. 그 이후 추출된 심층 특징들은 완전 연결 계층들로 구성된 분류 모듈의 입력 값으로 들어간다. 분류 모듈에서는 우선 3개의 서로 다른 심층 특징들 각각에 대해 먼저 완전 연결계층을 거쳐 특징 차원을 줄인다. 그 이후 3개의 차원 이준 특징들을 결합하여 하나의 특징 벡터를 생성한 뒤 최종적으로 분류하기 위해 다시 완전 연결 계층의 입력값으로 들어가서 최종적인 분류 결과를 예측한다.

Fig. 1. Architecture of our proposed method

3.1 Image pre-processing

뇌 MRI 데이터 셋의 거의 모든 영상에는 불필요한 영역이 포함되어있어 분류 성능이 저하 될 수 있다. 따라서 불필요한 영역을 제거하고 영상에서 유용한 정보만 사용하려면 이미지를 잘라야 한다. 본 연구에서는 극단점 (Extreme point) 계산을 통한 이미지 영역 자르기 방법을 사용하였다. Fig. 1은 극단점 계산을 통해 MRI 영상 이미지에서의 관심 영역에 대해 자르는 과정을 보여준다. 첫 번째 단계에서 우선 원본 MRI 영상 이미지를 불러들인다. 그런 다음 MRI 영상 이미지에 임계 처리(Thresholding) 를 적용하여 이진(binary) 이미지로 변환한다. 또한, 이미지의 잡음을 제거하기 위해 팽창(dilate) 및 침식(erode) 연산을 수행하였다. 그 이후 이진화된 이미지에서의 가장 큰 윤곽선을 선택하고 이미지의 4개의 극단점(극단 상단, 극단 하단, 극단 우측, 극단 좌측)을 계산하였다. 마지막으로 윤곽 및 극단점 정보를 사용하여 이미지에서 뇌의 영역에 해당하는 부분만 잘랐다. 잘린 뇌 MRI 영상 이미지는 쌍 삼차 보간법(bicubic interpolation)을 사용해서 모델에서 사용하는 입력 이미지 크기와 같도록 크기가 조정이 되었다. 쌍삼차 보간법을 사용한 이유는 쌍선형 보간법과 같은 다른 보간법보다 더 부드러운 곡선을 만들 수 있고 따라서 가장자리 주변에 많은 양의 잡음이 존재하는 MRI 영상 이미지에 더 적합하기 때문이다.

또한, MRI 데이터 셋의 데이터 개수가 많지 않기 때문에 데이터 증강 기법을 사용하였다. 데이터 증강은 기존의 데이터 셋에 다양한 연산(확대, 축소, 뒤집기, 회전)을 적용하여 기존의 데이터 이외의 새로운 데이터 셋을 만드는 기술이다. 새로운 데이터를 수집하는 대신 기존 데이터를 다양한 방식으로 변형함을 통해 모델의 분류 정확도를 높일 수 있는 기법이다. 본 연구에서는 여러 가지 데이터 증강 연산 중에서 두 가지 증강 연산(회전 및 수평 뒤집기)을사용하여 새로운 학습 데이터 셋을 생성하였다. 데이터 증강에 사용되는 회전 연산은 입력 이미지를 0도, 90도, 180 도, 270도의 총 네 가지 각도 중 임의로 한 각도를 선택하여 그 각도에 따라 회전 연산을 수행하였다. 또한, 회전된 각 이미지에 대해서도 수평 뒤집기를 적용하였다. 데이터셋의 MRI 영상 이미지는 너비, 높이 및 크기가 제각각 다르므로 최적의 결과를 얻기 위해서는 같은 너비와 높이 로크기를 조정하는 것이 좋다. 따라서, 본 연구에서는 MRI 영상 이미지를 사전 학습된 CNN 모델이 요구하는 입력이 미지의 크기와 같은 224x224픽셀 크기로 변환하였다.

Fig. 2. Brain MRI image pre-processing

3.2 Deep feature extraction using pre-trained CNN models

본 연구에서는 MRI 영상 이미지에서 중요한 특징을 자동으로 잘 추출할 수 있는 CNN 기반 딥러닝 모델을 특징추출기로 사용하였다. 또한, 데이터 개수가 많지 않은 MRI 데이터 셋를 가지고 DenseNet-169과 같은 심층 CNN 모델을 처음부터 학습하고 최적화하는 것은 시간도 오래 걸릴뿐더러 거의 불가능하기에 전이 학습 기반 접근방식을 사용하여 딥 러닝 기반 특징 추출기를 구축하였다. 전이학습 기반 방식은 많은 양의 ImageNet 데이터 셋[16]에서 사전 학습된 각 CNN 모델의 고정 가중치를 사용하여 뇌 MR 이미지의 심층 특징을 추출한다. 본 연구에 사용된 사전 학습된 CNN 모델로서는 DenseNet-169[17], ShuffleNet V2[18], MnasNet[19]을 사용하였다. 이 3개의 특정 사전 학습된 CNN 모델을 선택한 이유는 본 연구에서 사용하는 MRI 데이터 셋을 가지고 여러 가지 사전학습된 CNN 모델을 평가한 이전의 연구[15]에서 DenseNet-169, ShuffleNet V2, MnasNet이 가장 성능이 좋았기 때문이다. 세 가지 사전 학습된 CNN 모델로부터 추출된 심층 특징 벡터들은 완전 연결 계층(FC)으로 구성된 분류 모듈의 입력값으로 들어간다.

3.3 Ensemble of deep features

앙상블 학습은 모델의 성능 향상을 최종 목표로 하며 여러 다른 모델에서 추출된 여러 다양한 특징을 하나의 특징으로 결합하여 성능이 좋지 않은 한 모델에서 추출된 단일특징만 사용했을 때의 성능이 저하되는 위험을 방지한다. 앙상블 학습은 통합 수준에 따라 특징 앙상블과 분류기 앙상블로 나눌 수 있다. 특징 앙상블은 여러 가지 특징 추출기로부터 추출한 특징들을 하나의 특징으로 결합한 뒤 최종 예측을 도출하는 분류기의 입력으로 사용되는 방법이다. 반면 분류기 앙상블은 여러 가지 분류기의 출력 값들에 대해 투표(Voting) 기법을 사용하여 최종 출력을 결정하는 방법이다. 분류기의 출력 값인 각 클래스에 대한 확률값 정보보다 사전 학습된 모델을 통해 추출한 심층 특징 정보가 MRI 영상 이미지에 대해 더 많은 정보가 포함되므로 이 수준에서의 통합은 더 나은 성능을 보여준다. 따라서 본 연구에서는 앙상블 기법 중 특징 앙상블 기법을 사용하였다.

본 연구에서의 앙상블 과정에선 사전 학습된 세 가지 CNN의 심층 특징들을 결합하여 하나의 특징 벡터를 만단다. 예를 들어 Fig. 1에서는 사전 학습된 DenseNet-169, ShuffleNet V2, MnasNet에서 추출한 3개의 특징이 분류 모듈에서 하나의 특징 벡터로 합쳐진다. 그 이후 합쳐진 특징 벡터는 최종 분류 예측을 수행하기 위해 완전 연결계층으로 연결되며 소프트맥스(Softmax) 함수를 통해 입력 이미지에 대한 최종적인 클래스 확률값을 도출한다.

IV. Experiment

4.1 Dataset

본 논문에서 제안한 딥 러닝 기반 뇌종양 분류 모델을 평가하기 위해 Kaggle 웹 사이트에 공개된 다중 클래스로 구성된 MRI 데이터 셋[20]을 사용하였다. MRI 데이터 셋은 총 네 가지 클래스, 즉 정상(Normal), 신경교종 종양 (Glioma tumor), 수막종 종양(Meningioma tumor), 뇌하수체 종양(Pituitary tumor)에 대한 뇌 MRI 영상 이미지로 구성이 된다. 또한, 전체 데이터 셋 중 80%은 모델을 학습하기 위한 학습 데이터 셋으로 사용되었고 20%는 학습된 모델의 성능을 평가하기 위한 테스트 데이터 셋으로 사용되었다. Table 1은 MRI 데이터 셋에 대한 자세한 사항을 보여주며 Fig. 3는 MRI 데이터 셋의 클래스별 MRI 영상 이미지를 보여준다. 또한, Fig. 4는 MRI 데이터 셋의 클래스별 분포를 보여준다.

Table 1. MRI Dataset

Fig. 3. Example images from MRI dataset

Fig. 4. Class distribution

4.2 Experimental Setting

본 실험에서는 MRI 데이터 셋에서 좋은 성능을 보여주는 3개의 서로 다른 합성 곱 신경망인 DenseNet, ShuffleNetv2, MNASNet을 사용하였다. 또한, 3개의 합성 곱 신경망은 수많은 이미지로 구성되는 이미지넷 (ImageNet) 데이터 셋을 통해 모델의 파라미터들이 사전 학습되었다. 또한, 추출된 3개의 심층 특징들을 가지고 두 가지의 서로 다른 딥 러닝 기반 앙상블 방법(S1, S2)에 대해 성능을 비교하였다. Fig. 5는 두 가지 서로 다른 앙상블 방법에 대한 과정을 보여준다. 첫 번째 앙상블 방법(S1)은 3개의 서로 다른 심층 특징들을 먼저 연결해 하나의 벡터로 만든 다음 완전 연결 계층의 입력으로 들어간다. 반면 본 논문에서 제안하는 두 번째 앙상블 기법(S2)은 3개의 서로 다른 심층 특징들 각각에 대해 먼저 완전 연결 계층을 거쳐 특징 차원을 줄인다. 그 이후 3개의 차원이 준 특징들을 결합하여 하나의 특징 벡터를 생성한 뒤 최종적으로 분류하기 위해 마지막 완전 연결 계층의 입력값으로 들어간다.

Fig. 5. Two ensemble schemes

또한, 본 논문에서 제안한 딥 러닝 기반 분류기와 기계학습 분류기 모델과의 성능을 비교하였고 기계학습 분류기로는 Gaussian Naïve Bayes (Gaussian NB), AdaBoost, K-Nearest Neighbors (k-NN), Random Forest, 세 가지 서로 다른 커널(linear, Sigmoid, RBF)을 쓴 SVM, Extreme Learning Machine (ELM)을 사용하였다. 모델을 학습하기에 앞서 3.1장에 설명된 과정으로 입력 MRI 영상은 전처리 되었다. 또한, 실험에 사용된 사전 학습된 합성 곱 신경망 모델은 크기가 224x224인 입력 영상을 입력값으로 받기 때문에 입력 MRI 영상을 224x224 크기로 변환하였다. 모든 실험은 NVIDIA GeForce RTX 3090 GPU 가 장착된 PC에서 수행하였다. Table 2은 모델을 학습하는 데 사용된 시스템 환경을 나타낸다.

Table 2. System Environment

4.3 Results

Table 3는 본 논문에서 제안한 두 가지의 딥 러닝 기반 모델인 S1과 S2에서의 하이퍼 파라미터, 즉 Dropout 의사용 여부나 활성화 함수의 종류에 따른 뇌종양 분류 정확도를 보여준다. Table 3의 결과에서 알 수 있듯이 Dropout과 활성화 함수로서 ReLU를 사용한 두 번째 앙상블 모델인 S2가 가장 좋은 성능을 보임을 확인하였다. Table 4은 본 논문에서 제안한 딥 러닝 기반 분류기(S2) 와 기존의 여러 가지 기계학습 기반 분류기의 분류 정확도를 보여준다. Table 4의 결과에서 알 수 있듯이 본 논문에서 제안한 딥 러닝 기반 분류기가 다른 기계학습 기반 분류기보다 더 좋은 성능을 보여줌을 확인하였다.

Table 3. Performance comparison of two schemes with various hyper-paramters.

Table 4. Classification accuracies of several machine learning classifiers and proposed model.

V. Conclusions

본 논문에서는 심층 특징 앙상블을 사용한 MRI 영상에서의 딥 러닝 기반 뇌종양 분류 모델을 제안하였다. 우리가 제안한 모델에서 사전 학습된 합성 곱 신경망을 사용해서 MRI 영상에서 3개의 심층 특징을 추출하였다. 또한, 3 개의 심층 특징을 활용한 딥 러닝 기반 분류 모듈에서 서로 다른 두 가지 앙상블 기법을 제안하였다. 실험 결과 두 번째 앙상블 기법을 사용한 딥 러닝 기반 모델이 다른 기계학습 기반 분류기보다 더 좋은 성능을 나타냄을 확인하였다. 이러한 결과로부터 우리가 제안한 방법이 뇌종양 분류에 적합함을 보여준다. 다만 우리가 제안한 앙상블 모델과 같은 복잡한 모델을 실시간 의료 진단 시스템에 사용하기 위해서는 하드웨어적인 제약이 따르므로 경량화 과정이 필요하다. 따라서 추후 연구에서는 사전학습 완료된 앙상블 모델에서 각 클래스별 확률 분포와 같은 유용한 지식을 추출하고, 이를 다른 파라미터가 적은 모델로 이전하여 학습을 수행하는 지식 증류(knowledge distillation) 기법을 활용해서 실시간 의료 진단 시스템에 사용 가능한 경량화 모델을 설계 및 구축할 예정이다.