Genetic algorithm based deep learning neural network structure and hyperparameter optimization

유전 알고리즘 기반의 심층 학습 신경망 구조와 초모수 최적화

Abstract

Alzheimer's disease is one of the challenges to tackle in the coming aging era and is attempting to diagnose and predict through various biomarkers. While the application of various deep learning-based technologies as powerful imaging technologies has recently expanded across the medical industry, empirical design is not easy because there are various deep earning neural networks architecture and categorical hyperparameters that rely on problems and data to solve. In this paper, we show the possibility of optimizing a deep learning neural network structure and hyperparameters for Alzheimer's disease classification in amyloid brain images in a representative deep earning neural networks architecture using genetic algorithms. It was observed that the optimal deep learning neural network structure and hyperparameter were chosen as the values of the experiment were converging.

1. 서론

알츠하이머 질병은 치매 질병에서 가장 잦은 유병률을 보이고 있으며, 기술의 발전과 함께 고령화 사회가 도래하면서 범국가적으로 치매의 진단과 치료에 대한 연구가 활발히 진행되고 있다.현재는 알츠하이머 질병을 조기 진단하여, 질병의 진행을 늦추는 전략을 목표로 삼고 있다[1].

아밀로이드(amyloid)는 타우 단백질과 더불어 알츠하이머 질병을 발생시키는 대표적인 인자로 상정되고 있으며, 알츠하이머 질병을 지닌 대다수의 환자의 뇌로부터 아밀로이드가 발견된다. 그리고 이러한 아밀로이드의 침착은 임상적 변화의 도래보다 상당히 이른 시간부터 점진적으로 발생하기 때문에 조기진단에 대하여 획기적인 인자로써 주목받고 있다[2].

PET/CT영상의 정량적 분석 기법으로 가장 고전적인 방법 가운데 하나는 표준 섭취 비율(standard uptakevalueratio, SUVR)을 이용한 방법이다. 이 방법은 관찰하고자 하는 관심 영역(regionof inter- est, ROI)혹은 관심 볼륨(volumeof interest, VOI) 에서 환자의 몸무게와 추적자 주사량으로 정규화 된 영상의 강도를 통하여 표준 섭취량을 계산하고, 해당값을 참고 영역 혹은 부피에서의 표준 섭취량과의 비율을 계산한다.이 방법은 객관적이고 정량적인 섭취율을 제공하지만, 관심 영역을 결정하는 방법이 난해하고, 분석 시간이 오래 걸릴 수 있다는 단점이 있으며, 노이즈 혹은 장비에 대한 값의 변화로 인하여 진단을 결정하기 위한 절대적인 임계점을 일반화시키기 어려운 점이 있다[3].

통계적 매개변수 사상(statisticalparametricmap- ping, SPM)은 절대적인 기준 대신에 영상에서 관찰되는 신경활동 분포의 차이를 상대적으로 관찰하기 위한 통계적 방법으로 MRI나 PET에서 사용된다. 이 방법은 영상을 복셀 단위로 비교하기 위하여 개별영상을 동일 공간에 정합시키는 선행 과정을 수행하고, 영상 단위에서의 통계적 유의한 차이를 시각화한다[4,5].

최근 강력한 영상처리 기술로써 다양한 심층 학습기반 기술이 의료 산업의 전반에 확대되고 있다. 지도학습 기반 이미지 분류에서 이 기술은 입력 영상으로부터 분류에 적합한 특징을 학습을 통하여 스스로 추출하고, 이로부터 분류에 적합한 초평면을 결정한다.

심층 학습 기반 모델을 적용하고자 하는 도메인과 데이터에 적합하게 설계된 알고리즘은 강력한 성능을 보여주는 반면, 모델을 선택하고 학습시키는 과정 즉, 오차 함수로부터 확률적 경사 하강 기반 최적화를 적용하는 과정에서 모수에 대한 탐색 공간은 입력영상의 종류와 상태, 활성화 함수의 적용에 따라 상당히 상이하게 변화하며, 이에 따라 최적화 기법을 달리 적용하는 것이 필요할 수 있다. 심층 학습 기반기술의 성능은 다양한 심층 학습 신경망(deeplearn- ingneuralnetwork)구조와 범주형 초모수(hyper- parameter)의 선택과 데이터의 종류에 의존할 수 있기 때문에 기존의 경험 혹은 데이터 기반 예측이 쉽지 않다[6,7].

Zoph등은 기계 학습을 위한 기계 학습 방법을 제안하였다. 기계 학습을 통해 자동으로 유의미한 특징점(feature)을 추출하고, 강화 학습 기반의 구조를 분석하여 입력에 따른 최적의 구조를 선정한다. 또한 초모수를 스스로 갱신하여 가장 성능이 뛰어난 초모수를 스스로 선택한다[8].

유전 알고리즘(geneticalgorithm, GA)은 다윈의진화 모델을 적용한 기계 학습 분야에서 탐색 기법에 대한 연구 분야이다. 유전 알고리즘은 어떤 문제를 해결할 전문가가 없거나, 해당 문제의 해를 찾는 것이 상당히 복잡한 경우에 고려할 수 있는 비교적 직관적인 접근이라는 측면에서 이점을 지닌다.특별히유전 알고리즘은 해결하고자 하는 문제가 함수 최적화 문제로 표현되는 경우에 대하여 적용할 수 있으며, 이산 조합 문제 혹은 혼합 정수 문제에 적용할 수 있다[9].그러므로 유전 알고리즘은 직관적으로 이해하기 어려운 최적 심층 학습 신경망 구조와 초모수의 조합에 관한 효율적인 탐색에 적절하다.

본 논문에서 유전 알고리즘이 아밀로이드 PET/CT 영상에서 최선의 성능을 나타내는 최적 심층 학습신경망 구조와 초모수를 탐색 할 수 있는지를 보인다. 이를 통하여 임상 진단 분류를 위한 심층 학습신경망의 구조와 초모수를 선택하고 그에 대한 성능을 비교한다. 실험에 사용하는 입력 영상은 18F-플로르베타벤(florbetaben)아밀로이드 PET/CT영상이며, 방사선 추적자에 의하여 뇌의 3D부피 영역에서 아밀로이드의 침착 정도를 영상화하므로, 이로부터 알츠하이머 질병의 병변 특징을 잘 추출하는 심층학습 신경망 구조와 초모수를 찾는 문제에 적절하다.

2장에서는 관련 심층 학습 기술의 파라미터 탐색기법의 선행 연구에 대하여 다루고, 3장에서는 GA를적용한 실험 방법과 검증 방법을 보여주고, 4장에서는 실험의 결과와 논의를 다룬다. 마지막으로 5장에서 결론과 함께 끝맺는다.

2. 심층학습 신경망의 최적화와 유전 알고리즘

2.1 심층 학습 신경망의 최적화

생물 신경 세포의 자유로운 연결 구조로부터 영감을 얻은 신경망 기반 모델의 강력한 특징 가운데 하나는 다양한 신호처리 방식에 대한 일반화와 그것에 대한 표현이 구현 가능하다는 점이다. 이러한 특징은 신경망을 구성하는 구조에 대한 정의부터 초모수에 해당된다는 점이다. 신경 구조 탐색(neuralarchi- tecture search, NAS)에 소요되는 시간 복잡도는 \(O(n \bar{t})\))로 평가하는 신경망의 개수 n 과 각 모델에대한 평균 평가 시간 \(\bar{t}\) 의 곱에 비례하게 되는데, 주로 기울기 기반 학습 알고리즘을 통해 학습하는 신경망 기반 모델의 특성상 1회의 학습에 소요되는 비용 또한 상당히 크다. NAS의 구현을 위하여 강화학습, 경사 기반 접근, 유전 알고리즘, 확률 기반 접근과 같은 탐색 알고리즘을 이용한 연구들이 진행되었다[10]. 이러한 연구들은 모두 연구자가 임의로 정의한 특정 탐색 공간에서 수행했다.

본 논문에서 정의된 탐색 공간은 입력 영상의 도메인과 관련하여 좀처럼 예측되지 않는 심층 학습신경망 구조와 범주형 파라미터 집합을 선정하여 정의하였다. 그리고 적합 함수에서 사용할 신경망 구조는 유전 알고리즘을 통하여 생성된 심층 신경망 구조를 사용하였다.

2.2 유전 알고리즘 기반 심층 학습 신경망 구조

유전 알고리즘은 Fig. 1과 같이 유전자 초기화 (initialize), 적응도(fitness)계산 및 선택(selection), 교배(crossover), 돌연변이(mutation)와 같은 단계를 통해 하나의 세대를 생성하고 목표 값을 만족할때까지 반복한다.

Fig. 1. Flow chart of Genetic algorithm.

유전 알고리즘은 생물의 진화를 모방한 최적화 기법 중 하나이다. 생물의 적응 정도를 계산하는 척도로서 평가함수의 적응도(fitness)를 사용하여 최적화하는 기법이다. 적응도는 생존율, 출생률 및 그것들의 조합에 기인하는 번식의 성공도(reproductive success)로 정의할 수 있다. 생물에 있어서 중요한 것은 자신과 유사한 것을 만드는 능력과, 유사하지만 미묘하게 닮은 다수의 생물개체가 종이라는 집단을 구성해서 존재하는 것이다. 생물집단에 어떤 종의 제약(전 개체수가 일정하다는 것과 생물의 도태)이 부가되면 집단 내에 경합관계가 생겨나게 되고 보다환경에 적응한 개체군이 번식에 성공하도록 된다. 즉, 적응도가 높은 개체군이 번식하여 개체를 보존하게 된다. 이와 같은 생물계의 현상을 이용한 것이 유전 알고리즘이다[11].

신경망은 다양한 형태로 표현 할 수 있는데, 연결형태에 따라 사슬형 신경망(chain-shaped net- works), 다중 경로 신경망(multiple-pathnetworks), 고속도로 신경망(highway networks) 등으로 분류된다. 입력 데이터에 따른 최적의 심층 학습 신경망구조를 매번 생성하는 것은 어렵다. 이러한 문제점을 해결하기 위해 GCNN(GeneticCNN)이 제안되었다 [12]. 각 신경망의 구조를 고정된 길이의 이진 문자열로 인코딩하여 유전 알고리즘을 통해 최적해를 탐색한다. 연결 구조에 따라 Fig.2와 같이 표현할 수 있다.

Fig. 2. The basic building blocks of network structures. (a) Chain-Shaped Networks, (b) Multiple-Path Networks, and (c) Highway Networks.

GCNN은 n개의 단계 마다 k개의 노드를 가진다. 각 노드는 3×3컨볼루션 층이다. 이 노드들의 조합에따라 신경망의 구조가 결정된다. Fig.3과 신경망을같이 표현 할 수 있다.

Fig. 3. Encoding micro architectures with binary strings.

Flg.3는 GCNN에서 이진 문자열를 통해 나타낸 신경망의 연결 관계를 나타낸다. 코딩의 직관성을 위하여 기존의 GCNN과 다른 해석 방법을 제안한다. 첫 번째 단계(stage)의 이진 문자열은 1-00-111로 처음 1은 A1과 A2과 연결되었음을 나타내고, 다음 00은 A1와 A3, A2와 A3의 단절을 나타낸다. 마지막 111은 A1와 A4, A2와 A4, A3와 A4의 연결이 모두 연결되었음을 나타낸다. 단계별로 차례로 노드의 번호가 증가되며 각 노드의 연결을 0과 1로 표현한다. A0은 입력과 연결되어 있고, A5은 풀링(pooling)연결되는 출력이다. 각 단계는 하나의 컨볼루션 단계에 해당한다.

GCNN의 초기화는 베르누이 분포(bernoullidis- tribution)을 이용한다. 베르누이 분포는 매 시행마다 오직 두 가지 결과만 일어난다고 가정하고 두 가지 결과에 대해 0과 1로 표현하는 확률 분포이다. 초기화는 전체 유전 알고리즘에 큰 영향을 미치지 않는다. 베르누이 분포의 수식은 다음과 같다.

\(P(X=0)=p, P(X=1)=q, 0 \leq p \leq 1, q=1-p\)       (1)

선택은 러시안 룰렛 선택(russian roulette se- lection)을 방법을 이용한다. 러시안 룰렛 선택은 염색체의 적응도에 따라 비율을 지정하고, 임의의 임계확률을 통해 다음 세대로 전달될 염색체를 선택한다. 러시안 룰렛 선택의 장점은 적응도가 낮은 염색체도 다음 세대에 전달 될 수 있는 확률을 가진 것이 특징이다. 적응도 계산은 이진 문자열로 표현된 심층 학습 신경망의 구조에 대한 정확도로 계산한다.

선택된 염색체들은 균등 교차(uniformcrossover) 를 통하여 다음 세대를 생성한다. 균등 교차는 부모염색체를 임의로 선택하여 임계확률을 임의로 설정후 각 개체에 대하여 임의의 난수를 생성한다. 난수가 임계확률보다 높으면 부모 1의 개체를 낮거나 같으면 부모 2의 개체를 선택하여 새로운 염색체를 생성한다.

변이는 교차되지 않은 유전자를 임의의 확률로 선택하여 보수 처리한다. 지정된 세대만큼 까지 반복한다.

3. 제안하는 변형된 GCNN 최적화

심층학습 모델의 성능은 입력 영상, 심층 학습 신경망의 구조, 활성함수, 최적화 알고리즘 등에 의해 결정된다.전역 탐색을 통해 모든 파라미터에 대하여 탐색을 하는 것은 비효율적이다. 따라서 GCNN에서 제안하는 신경망 구조 외에도 활성함수, 최적화 알고리즘과 같은 초모수에도 영항을 받는다.

본 논문에서는 오차 함수의 모수의 탐색 공간에 큰 영향을 미치는 입력 데이터의 종류에 의존하는 심층 학습 신경망 구조와 초모수 집합을 선정하고, 이로부터 최적 심층 학습 신경망 구조와 초모수를 탐색해낼 수 있는지를 보이기 위하여 유전 알고리즘을 탐색 알고리즘으로 이용한다. 탐색하는 심층 학습신경망 구조는 유전 알고리즘을 통해 심층 학습 신경망 구조 생성되며, 초모수 공간은 활성화 함수와 최적화 방법이다.

유전 알고리즘을 통하여 제안된 최적 초모수와 심층 신경망 구조를 통해 제안 모델을 구축하고 18F- 플로르베타벤 아밀로이드 PET/CT영상 데이터셋에서 임상 진단 분류를 위한 학습과 추론을 수행하고성능을 획득한다.

임상 진단 분류는 NC(normalcontrol), MCI(mild cognitiveimpairment), AD(Alzheimer’sdisease)의분류를 목적으로 수행한다.

유전 알고리즘이 최종적으로 제안한 유전자와 사전에 기존의 심층 학습 신경망들을 통해 확인한 결과와 비교함으로써 유전 알고리즘이 최적해를 탐색할수 있는지를 확인한다.Fig.4에서 실험의 전체 프로세스를 묘사하는 다이어그램을 보여준다.

Fig. 4. Block diagram of Genetic algorithm.

제안하는 유전 알고리즘의 초기화와 교차는 GCNN 의 동일한 베르누이 분포와 균등 교차를 사용한다. 선택은 러시안 룰렛 선택이 아닌 순위 기반 선택을 통해 적응도가 낮은 염색체는 사용하지 않고 적응도가 높은 염색체를 사용하여 러시안 룰렛 선택에 비해 빠르게 수렴할 수 있도록 한다. 변이는 고정된 세대마다 나타나며 교차가 발생한 염색체에 대해서도 동일하게 발생할 수 있도록 한다.

사용된 심층 학습 신경망 구조는 3개의 단계를 가지고 각 단계 별 노드의 개수는 3, 4, 5개를 사용한다. 초모수는 최적화 알고리즘, 활성함수로 지정하고, 구성은 다음 Table1과 같이 구성되어 있다. 최적화 알고리즘에서 SGDM의 모멘텀 값은 0.9를 사용하고, RMSProp의 β₂값은 0.999를 사용하고, Adam의 β₁ 값은 0.9, β₂ 값은 0.999를 사용한다. 활성함수에서 LeakyReLU의 Scale값은 0.01을 사용하고, Clipped ReLU의 Ceiling 값은 10으로 사용한다.

Table 1. Configuration of gene.

3.1 데이터셋

실험에 사용된 샘플 데이터는 2015년 11월부터 2019년 2월까지 동아대 병원 핵의학과에서 18F-플로르베타벤 아밀로이드 PET/CT영상을 촬영한 케이스로부터 조사되었다. 종합된 샘플 데이터는 동아대 병원 신경과에서 유전자 검사와 신경심리 검사등의 임상적 정보를 종합하여 평가되었고, AD가 아닌 다른 종류의 치매의 케이스는 제외하였다. 최종적으로 NC, MCI, AD로 진단된 총 414명의 케이스를 사용하였다.

PET 카메라로부터 재구성된 원 PET데이터셋은 0.5859*0.5859*1.5mm의 크기로 촬영된 512*512*110 픽셀 크기의 3차원 영상이다. matlab2020a(math- works, 미국 매사추세츠)의 통계적 매개변수 사상모듈을 통하여 PET이미지를 CT영상에 강체 정합을 수행하고, 개별 PET영상과 CT템플릿 영상으로생성한 PET템플릿을 이용하여 공간 정규화를 수행하였다. 그리고 PMOD(pixel-wisekineticmodeling tool, pmodtechnologiesLLC, 스위스 취리히)3.6으로 MNI(montrealneurological institute)공간에서획득한 확률적 소뇌 마스크 이용하여 획득한 PET영상에 대한 카운트 정규화를 수행하였다. 이렇게 생성된 영상은 95*79*68의 3차원 영상를 지녔으며, 2차원분류기 모델 구축을 위한 데이터셋으로 각 케이스의개별 영상 68장을 사용하고, 100*100크기로 입력 영상의 크기를 바꾸어 모델에 입력하였다. 모델 구축을위한 데이터셋의 분할은 3차원 부피 영상을 기준으로 계층 샘플링을 수행한다.

학습을 위해 AD159명에 대한 10, 812장, MCI130 명에 대한 8, 840장, NC₈₅명에 대한 5, 780장의 전처리가 완료된 Nifti포맷 영상으로 데이터셋을 구성하고 추론을 위하여 학습에 사용되지 않고 완전히 분리된 AD 17명, MCI 14명, NC 9명에 대한 이미지 각 1, 156장, 952장, 612장의 추론 데이터셋을 구성한다. 데이터셋의 구성은 다음 Fig.5와 같다.

Fig. 5. Training example image of Alzheimer’s disease classification. (a) Normal control, (b) Mild cog- nitive impairment, and (c) Alzheimer’s disease.

본 연구는 기관 감사 위원회(institutional review board, IRB)의 승인을 받아 진행되었습니다.(IRB승인번호: DAUHIRB-17-108)

4. 실험 결과 및 고찰

실험 결과는 유전 알고리즘으로 제안된 심층 학습신경망 구조와 초모수의 학습 정확도로 나타내며, 최대·최소·평균과 F1Score, FPR(falsepositiverate) 그리고 유전 알고리즘의 이진 문자열을 Table2과 같이 표현한다.

Table 2. Experimental results for neural network structure and hyperparameters proposed by the genetic algorithm.

Fig.6은 유전 알고리즘에서 최종적으로 제안하는 네트워크 구조를 나타낸다.

Fig. 6. Neural network structure proposed in genetic algorithm.

첫 번째 단계는 ResNet과 유사한 구조를 나타내며, 두 번째 단계는 GoogLeNet과 유사한 구조를 나타낸다. 세 번째 단계는 고속도로 신경망의 일종으로 구조가 나타남을 알 수 있다. 비교적 최근에 발표된 심층 학습 신경망과 유사한 구조를 가지는 것을 알수 있다.

실험 결과 30세대 이후 최소값이 최대값에 수렴하는 것으로 보아 유전 알고리즘을 통해 최적 심층학습 신경망 구조와 초모수를 선택 할 수 있음을 알 수 있다. 수렴 여부를 판단하기 위하여 실험 결과를 Fig. 7과 같이 도표화한다.

Fig. 7. Experiment result of proposed GCNN.

베이지언 최적화는 정의된 탐색 공간을 가우시안과정(Gaussianprocess)에 의하여 아직 탐색하지 않은 공간에 대한 방문 순위 점수를 획득 함수(Acqui- sitionfunction)을 통하여 평가하면서 다음 탐색 공간을 결정한다. 이러한 가정은 도메인이 연속하다는 것을 가정한 기법이기 때문에 20차원이하의 연속한 도메인에서의 최적화에 가장 적절하다고 알려져 있다[13]. 활성화 함수 혹은 층에 관한 정의와 같은 다양한 심층 학습 기반 신경망의 파라미터의 두드러진 특징 가운데 하나는 학습률과 에폭과 달리 범주형 초모수가 많다는 점이다. 불연속적인 공간 탐색이라는 측면에서 유전 알고리즘이 적절해 보인다.

초모수의 최적화는 제안하는 GCNN과 기존 GCNN 과의 성능 비교를 통해 알 수 있다. 기존의 GCNN의 최종 성능은 70.21%의 정확도를 나타내며, 제안하는 초모수를 포함한 GCNN은 82.64%의 성능을 나타내 12.43%의 성능차가 나타난다. 이를 통하여 초모수의 최적화가 되었음을 알 수 있다. 기존의 GCNN의 실험 결과는 Fig. 8과 같다.

Fig. 8. Experiment result of original GCNN.

본 논문의 목표가 유전 알고리즘을 통하여 제안된 최적 초모수와 심층 신경망 구조를 통해 제안 모델을 구축하고 최적의 초모수를 선택하여 18F-플로르베타벤 아밀로이드 PET/CT영상에 대한 각 증상의 임상 진단 분류가 목표이다. 이에 50세대에 대한 각 AD, NC, MCI를 개별 분류를 Table3과 같이 나타낸다.

Table 3. Experiment result of each class with 50th gen- eration.

정확도는 데이터셋이 10, 812장인 AD는 성능이 87.81%로 가장 높은 것을 알 수 있으며, 데이터셋이 5, 780장인 NC는 76.94%로 상대적으로 성능이 좋지않음을 알 수 있다. 하지만 F1Score와 FPR의 경우 MCI가 가장 낮은 성능을 나타낸다. MCI데이터셋이 심층 학습 신경망 최적화에 영향을 끼친 것으로 판단된다.

5. 결론

의료 영상에서 유전 알고리즘이 제안하는 심층 학습 신경망 구조와 초모수 탐색을 통한 모델 선택의 구현 가능성을 보이고자 하였다. 18F-플로르베타벤아밀로이드 PET/CT에서 심층 학습 기반 모델의 구조에 따라 유전 알고리즘을 수행하였을 때, 실험 결과가 최대 정확도 82.85%, 평균 81.85%, 최소 80.84% 로 나타나며, 세대가 진행 될수록 결과가 수렴함에 따라 최적의 심층 학습 신경망 구조와 초모수를 선택함을 알 수 있다. 또한 기존의 GCNN과 비교하였을 때 구조뿐만 아니라 초모수를 적절히 변경하는 것도 심층 학습 성능에 영향을 끼침을 알 수 있다. 향후 연구로는 알츠하이머 질병의 지난에 사용되는 다양한 임상 정보 및 검사 결과와 영상 정보와 같이 분류를 위하여 판단해야하는 데이터의 조합과 그에 따른 파라미터의 조합에 관한 탐색에도 적용하는 것이다.