Journal of Korea Multimedia Society (한국멀티미디어학회논문지)

Korea Multimedia Society (한국멀티미디어학회)
권호 표지
DOI QR코드

DOI QR Code

Design of 3D Visualization Software Tool Based on VTK for Manual Brain Segmentation of MRI

뇌 MR영상 수동분할을 위한 VTK기반의 3차원 가시화 소프트웨어 툴 설계

  • Received : 2014.04.11
  • Accepted : 2015.01.17
  • Published : 2015.02.28
Download PDF
⟨ Previous Next ⟩

Abstract

Mild Cognitive Impairment(MCI) is a prior step to Alzheimer's Disease(AD). It is different from AD which is seriously affecting daily life. Particularly, the hippocampus could be charged a crucial function for forming memory. MCI has a high risk about progress to AD. Our investigated research for a relationship between hippocampus and AD has been studied. The measurement of hippocampus volumetric is one of the most commonly used method. The three dimensional reconstructed medical images could be passible to interpret and its examination in various aspects but the cost of brain research with the medical equipment is very high. In this study, 3D visualization was performed from a series of brain Magnetic Resonance Images(MRI) and we have designed and implemented a competitive software tool based on the open libraries of Visualization ToolKit(VTK). Consequently, our visualization software tool could be useful to various medical fields and specially prognosis and diagnosis for MCI patients.

Keywords

1. 서 론

의료기기의 발전과 함께 영상의 시각화에 대한 발전 또한 점진적으로 발달하고 있다. 영상처리를 통해 획득할 수 있는 것들은 다양하다. 예를 들어 MRI (Magnetic resonance imaging), CT(Computed tomography) 또는 PET(Positron Emission Tomog-raphy) 등을 통하여 환자의 치료방향과 진단을 예측할 수 있다[1,2]. 이러한 의료영상의 발전은 영상을 이용하고 이를 진단하는 영상의학자에게 결정적이고 강력한 도구이다. MRI는 환자에게 고통을 주지않는 비침습적 검사를 실시하여 환자의 상태나 기능적인 이상을 판단하고 진단할 수 있다는 장점을 가지고 있다. 이러한 의료영상을 이용한 연구들은 현재까지 진행되고 있으며 이를 기반으로 하는 많은 연구가 진행되고 있다. 뇌 정신신경학에서는 치매(Alzheimer's Disease)에 대한 연구가 활달히 진행되고 있다. 특히 뇌 MR 영상을 이용한 환자의 치료와 진단이 대표적이라 할 수 있으며 알츠하이머 질병은 현재까지도 그 진단과 기전규명이 명확하지 않다.

사회가 선진화됨에 따라 노인의 인구수 또한 기하급수적으로 늘어가고 있다. 보건복지부의 2012년 치매 유병률 조사통계자료에 의하면 65세 이상 노인의 치매 유병률은 9.18%로 보고에 따르면 2012년 약54 만 명에서 2030년에는 약 127만 명 그리고 2050년에는 약 271만 명으로 매 20년마다 약 2배씩 증가할 것으로 보고됐다[3]. 한편, 의료기기의 발전과 더불어 이에 따른 환자의 비용 부담도 클 수밖에 없다. 고가의 의료기기를 통한 뇌 영상의 데이터양은 급속히 증가하고 있으며 따라서 대용량의 데이터를 처리하고 임상의가 원하는 데이터를 얻기까지는 많은 시간이 사용된다. 대량의 연속된 뇌 2차원 영상들은 3차원 재구성을 통하여 이를 3차원적으로 해석하고 가시화할 수 있는 기술이 요구되고 있다. 그러나 대부분 이러한 의료기기들은 고가의 시스템이기 때문에 현실적으로 널리 이용되기 힘들다. 일반적인 3차원 재구성을 통한 모델링 방법으로는, 사용자가 원하는 임임의 객체(3차원 데이터)를 가시화하고 구현하기 위한 그래픽스의 기술인 OpenGL 라이브러리를 응용하여 그 객체를 모델링하고 렌더링을 수행한다. 그러나 OpenGL 라이브러리는 기본적인 그래픽스를 이용함으로 구현하는 사용자의 역량에 따라 소프트웨어의 질의 격차가 크고 많은 기능들을 손수 만들어야 하는 단점을 가지고 있다. 그러나 VTK(Visualization ToolKit)는 OpenGL과 달리 가시화를 위한 고급 렌더링 알고리즘과 개발자의 편의를 위해 제공되는 다양한 구성요소를 가지고 있다는 장점을 가지고 있다. 따라서 3차원으로 재구성된 뇌 MR영상 데이터로부터 관심영역(Region Of Image)을 획득하고 이를 3차원 가시화할 수 있는 VTK 라이브러리 기반의 소프트웨어를 제안하였다.

본 논문은 다음과 같이 구성된다. 2장에서는 연구재료 및 개발환경과 VTK 라이브러리의 기본적인 이론을 설명한다. 3장에서는 제안하는 가시화 소프트웨어의 전체적인 구조도 설명과 알츠하이머 질병에서 가장 결정적인 역할을 하는 해마(hippocampus)를 관심영역으로 간주하고 이를 3차원 재구성을 통한 가시화 방법을 보여주고 4장에서는 시스템 구현 및 결과 마지막으로 5장에서는 결론을 서술하였다.

 

2. 연구재료 및 배경

2.1 연구재료 및 개발환경

본 논문에서 사용된 데이터는 해운대 백병원 신경과에서 획득한 뇌 MR 영상으로 T1(T1 weighted image)이 사용되었다. 시스템 환경은 Intel Core i7 CPU 2.93GHz, 16GB 메모리, Windows 7 64Bit 운영체제에서 수행하였으며 2차원 영상 데이터는 최대해상도 256 × 256인 192장의 연속된 2차원 MR 뇌영상을 사용하였다. 소프트웨어 개발에 사용된 도구는 Microsoft Visual Studio 2010 Standard Edition을 사용하였으며, 플랫폼으로는 .Net 개발환경으로 C# 언어를 사용하였고 VTK(ActiViz.NET 5.8.0 Open-Source Edition), OpenCV(OpenCV2.4.5) 라이브러리가 사용되었다.

2.2 VTK(Visualization ToolKit) Pipeline

VTK(Visualization ToolKit)는 3차원 그래픽을 컴퓨터로 구현할 수 있는 Kitware에서 지원하는 공개 그래픽 라이브러리중의 하나이다[4,5]. OpenGL 은 기본적인 그래픽 라이브러리이므로 대부분의 작업을 프로그래머가 작성해야 하지만 VTK는 Color Mapping, Contouring, Cutting, Probing 등과 같은 가시화 기술을 지원하며, Volume Rendering, Surface Rendering과 같은 렌더링 기법, 개발자의 편의를 위해 제공되는 Interaction, Widget 등 다양한 구성요소를 가지고 있어서 그래픽 처리를 위한 사용자에게 특화된 공개 프리웨어라고 할 수 있다. 이러한 장점을 이용한 VTK기반의 가시화 연구가 수행되었다 [6-8]. VTK 파이브라인은 일반적으로 Fig. 1과 같은 과정을 거친다. Source 부분에서 파일이나 기본적인 데이터를 만들고 데이터를 가공하는 filters를 통하여 기본적인 데이터를 새로운 데이터로 변환해준다. Filters 과정을 거친 데이터는 Mapper라는 과정을 통하여 데이터의 오브젝트를 그래픽데이터로 실체화 해준다. 마지막으로, 실체화되는 오브젝트의 속성을 변환하는 Actors의 과정과 스크린에서 뷰포트를 만들고 가시화하는 Renderers & Windows로 파이프라인은 구성된다.

Fig. 1.VTK pipeline process.

 

3. 제안한 방법

3.1 소프트웨어의 전체적인 시스템 구조

본 논문에서는 2차원 뇌 MR영상으로부터 3차원 재구성된 데이터를 가시화하고 사용자에 의한 관심 영역을 3차원으로 가시화하였다. 일반적인 기존의 MR 뇌 영상 소프트웨어들은 시상면(sagittal), 관상면(coronal), 수평면(axial) 등을 볼 수 있으나, 제안된 시스템은 일반적인 기존의 뷰어를 통하여 원하는 시점을 설정하고 설정된 시점을 oblique 슬라이스 뷰어를 통하여 다각적인 시점 분석을 가능하게 하였다. 클래스는 MR 뇌영상 데이터를 입력받고 3차원 데이터를 재구성할 수 있는 ReadDICOMS 클래스, Oblique 슬라이스의 데이터 획득과 이에 관련된 기능을 위한 submain Viewer 클래스, 전체적인 인터페이스와 결과를 확인할 수 있는 Main Viewer 클래스로 구성되어 있다. 전체적인 시스템 구조도와 클래스 다이어그램을 Fig. 2와 Fig. 3에 나타내었다.

Fig. 2.The system structure of the software tool.

Fig. 3.The design of class diagram for the software tool.

3.2 Oblique slice와 ROI 획득

일반적으로 뇌 영상에서 관심영역을 획득하는 방법들은 시상면, 관상면, 수평면에 대한 단면 영상으로부터 사용자가 해마의 형태를 획득한다. 해마는 기억을 담당하는 뇌 구조의 하나이며, 그 모양은 Fig. 4와 같이 곤봉모양의 형태를 띄고 있다. 그러나 이러한 방향(시상면, 관상면, 수평면)으로부터 얻은 해마는 그 형태가 모호하여 영상을 분할하는데 어려움이 있다. 현재까지 알츠하이머 질병에서 결정적인 역할을 하는 해마의 형태를 관찰하고 진단하는 방법들이 연구되었다[9-13]. Oblique slice를 이용하는 연구는 앞부분에서 언급한 3가지 단면도에서 관찰하는 것보다 용이하여 사용자가 분할하는데 적합한 방법이라 할 수 있다[14-16]. 또한 정신과 의사들이 강력하게 요구되는 사항이다. 따라서 본 연구에서는 해마의 관심영역을 얻기 위하여 해마의 머리 부분과 꼬리부분의 정점을 획득하여 비스듬한 사선(oblique)을 긋고 해마의 장축을 구하였다. 그리고 장축에 대해 수직인 2차원 슬라이스의 획득을 제안하였다(Fig. 4, 5).

Fig. 4.The selected hippocampus head and tail by user.

Fig. 5.A perpendicular slice of brain image to oblique axis of hippocampus.

3.3 ROI에 대한 3차원 재구성 방법 및 가시화

각 oblique slice로부터 우리는 해마의 단면에 대해 사용자에 의한 수동적인 관심영역을 획득하고 3차원 재구성을 위한 해마 단면에 대하여 홀 채우기 방법을 수행하였다. 홀 채우기 방법은 OpenCV의 FillFlood 함수를 이용하였으며 단면 ROI의 중심을 seed point 로 간주하는 방식을 선택하였다. 해마의 연속 일련된 단면들의 3차원 재구성 방식은 vtkImageImport 에서 3차원 데이터를 입력하고 vtkFixedPoint VolumeRayCastMapper, vtkVolume을 통하여 가시화를 수행하였다(Fig. 6).

Fig. 6.A part of code for the hippocampus visualization.

 

4. 시스템 구현 및 결과

4.1 기존 소프트웨어와의 비교 분석

현재 상용 및 공개 소프트웨어로 개발되어진 SPM(Statistical Parmetric Mapping), MRIcroN(MRIcro)은 대표적인 뇌 구조 분석을 위한 소프트웨어들이다[17,18]. SPM은 뇌 영상 데이터 시퀀스들을 분석하기 위하여 디자인되었으며 Matlab 함수들을 이용하여 런던 신경학 연구소에 의해 개발 되었다. 영상 데이터로는 MRI, fMRI, PET등을 통하여 가시화하여 통계적인 수치를 산출할 수 있다. 그러나 문턱치(Thresholding) 등의 간단한 영상분할 알고리즘을 제공하고 분할 정확도 낮다. 반면 MRIcroN은 미국 조지아 대학(Georgia Tech) Neuropsychology Lab에서 개발되었으며 의료 영상의 가시화를 위한 소프트웨어이다. 그리고 의료 영상을 SPM에서 사용 가능한 Analyze format으로 변환기능을 제공한다. ROI 분할 기능을 지원하기 때문에 뇌 영상에 대한 관심영역을 쉽게 추출할 수 있다. 그러나 관심영역에 대한 분할은 시상면, 관상면, 수평면을 기준으로만 분할이 가능하다. MRI, fMRI, PET등의 분석을 위해서는 SPM을 사용하여야 한다. 그러나 본 논문에서 제안하는 소프트웨어는 시상면, 관상면, 수평면을 기준으로 하는 단면영상에서의 관심영역을 획득할 수 있을 뿐만 아니라, 사용자가 원하는 임의의 방향을 선택하여 이에 대한 단면의 관심영역 분할 또한 가능하다.

Table 1.Compared Established softwares with proposed software

4.2 제안하는 소프트웨어의 결과

VTK 가시화의 파이프라인과 소프트웨어의 시스템 구조를 토대로 시스템의 구현과정을 서술한다. 시스템 구현 설계는 영상 데이터를 입력받고 관심영역을 획득하기 위한 시상면, 관상면, 수평면 뷰어를 기반으로 영역을 지정, 사용자에 의해 지정된 영역에 대하여 Oblique slice를 관찰하고 각 슬라이스에 대하여 관심영역을 획득, 이를 가시화하는 3단계를 기반으로 설계하였다. 연속적인 일련의 2차원 MR 뇌영상을 기반으로 3차원 재구성을 실시하고 전체적인 두개골 뷰어, 사용자 컨트롤러에 따른 슬라이스 뷰어를 구현하였다. 시상면, 관상면, 수평면 뷰어를 통하여 사용자가 마우스로 클릭하여 관심 영역을 지정 할 수 있도록 하였다. 이때 관심영역을 지정하기 위한 사용자의 편의를 고려하여 투영도와 콘트라스트를 조정할 수 있는 컨트롤러를 생성하였다(Fig. 7).

Fig. 7.The visualization software tool. (a) sagittal plane viewer, (b) coronal plane viewer, (c) horizontal plane viewer, and (d) control brightness viewer.

해마의 머리 부분에서 꼬리 부분까지 총 45장을 슬라이스를 획득하였고 각 슬라이스에서 해마로 추정되는 부분의 2차원 슬라이스 영역을 수동 분할하였다. 그리고 분할되어진 45장의 2차원 슬라이스를 3차원으로 재구성하여 가시화시킨 영상을 Fig. 8에 그 결과를 나타내었다. 본 영상은 smoothing을 시키지 않은 raw데이터이며 사용자의 인지를 위한 빛 조명에 의한 반사효과만을 적용시켰다.

Fig. 8.The developed 3D visualization and analyzer software tool for brain hippocampus.

본 연구에서 개발되어진 소프트웨어 툴의 객관성 평가를 위하여 기존 시스템으로 널리 알려진 MRIcroN과 Freesurfer와의 정량적인 비교평가를 임상의사가 실시하였다. 그러나 정확하게 비교평가를 할 수 없었던 것이 방법론에서 차이점이 있다. MRIcroN은 시상면, 관상면, 수평면을 보면서 임상 의사가 손수 해마부분을 그려서 추출하였으며, Freesurfer는 명령어에 의한 뇌 지도에 따라 해마를 자동 분할하였다. 본 연구에서 가장 독창성 및 차별성을 주장하는 분야가 바로 해마의 기본 축의 사선에 의한 수직면을 임상의사가 직접 그려 해마를 추출하여 분석하는 툴(Image Analyzer)이다. 현재 이와 같은 방법론을 사용하는 툴은 없다. 그러나 본 연구에서 진행되어진 분석 결과를 Table 2에 제시하였다. 아래 Table 2에서 보면 개발되어진 툴이 해마 좌우의 정량적 분석에 큰 편차가 없음을 보였다.

Table 2.Quantitative brain hippocampus analysis according to software tools (unit: voxel number)

 

5. 결 론

의료기기가 발전함에 따라 대용량의 데이터를 처리하는 방법이 요구되고 있다. 3차원의 의료영상 데이터는 단순한 2차원 의료 영상에서의 시각적인 결과에 비해 다양한 방법으로 영상의 정보와 해석이 가능하지만, 본 연구에서 제안하는 방법은 사용자가 관심영역을 지정하고 이를 직관적으로 관찰하기 위한 방법인 oblique slice에서 획득한 해마를 3차원 설계 및 가시화를 하였다. 따라서 해마를 포함한 알츠하이머의 질병에 관하여 뇌의 하부구조를 가시화하고 이를 해석 할 수 있는 충분한 가능성을 제시하였다. 공개라이브러리인 VTK를 이용함으로써 기존의 고가 소프트웨어보다 비용적인 측면에서 경쟁력 있는 소프트웨어라고 사료된다. 그러나 Table 2에서와 같이 세 개의 툴의 정량적 지표에 큰 차이가 있어 이 부분에 대해서는 지속적인 연구를 수행 할 것이다. 향후 연구에서는 임상의와의 긴밀한 피드백을 통하여 사용자를 위한 직관적인 인터페이스를 구현하는 방법과 객체에 대한 3차원 가시화를 개선하는 방법에 대한 연구를 진행할 예정이다.

References

  1. Y. Itai, K. Ohtomo, S. Furui, T. Yamauchi, M. Minami, and N. Yashiro, "Noninvasive Diagnosis of Small Cavernous Hemangioma of the Liver: Advantage of MRI," American Journal of Roentgenology, Vol. 145, No. 6, pp. 1195-1199, 1985. https://doi.org/10.2214/ajr.145.6.1195
  2. D.E. Sosnovik and R. Weissleder, "Emerging Concepts in Molecular MRI," Current Opinion in Biotechnology, Vol. 18, No. 1, pp. 4-10, 2007. https://doi.org/10.1016/j.copbio.2006.11.001
  3. Ministry of Health and Welfare, Alzheimer's Prevalence Rate Research, 2012.
  4. Visualization ToolKit, http://www.vtk.org (accessed Mar. 22, 2014)
  5. W.J. Schroeder, The VTK User's Guide, (11th Edition), Kitware, Inc. Colombia, Latin America, 2010.
  6. S. Li, X. Cui, S. Hong, C. June, and H. Kim, "3D Visualization of Knee MRI using VTK," Journal of Computing Science and Engineering, Vol. 37, No. 1, pp. 283-288, 2010.
  7. Y.C. Kim, M.C. Woong, and H.K. Choi, "3D Visualization of Brain for MRI Image," Journal of Korea Multimedia Society, Vol. 6, No. 1, pp. 389-392, 2003.
  8. M.J. Shin and D.Y. Kim, "Phased Segmentation of Human Organs On the MDCT Scan," Journal of Korea Multimedia Society, Vol. 14, No. 11, pp. 1383-1391, 2011. https://doi.org/10.9717/kmms.2011.14.11.1383
  9. M.J. Muller, D. Greverus, C. Weibrich, P.R. Dellani, A. Scheurich, P. Stoeter, et al., "Diagnostic Utility of Hippocampal Size and Mean Diffusivity in Amnestic MCI," Neurobiology of Aging, Vol. 28, No. 3, pp. 398-403, 2007. https://doi.org/10.1016/j.neurobiolaging.2006.01.009
  10. S.D. Santi, M.J. de Leon, H. Rusinek, A. Convit, C.Y. Tarshish, A. Roche, et al., "Hippocampal Formation Glucose Metabolism and Volume Losses in MCI and AD," Neurobiology of Aging, Vol. 22, No. 4, pp. 529-539, 2001. https://doi.org/10.1016/S0197-4580(01)00230-5
  11. L.G. Apostolova, P.M. Thompson, A.E. Green, K.S. Hwang, C. Zoumalan, C.R. Jack Jr., D.J. Harvey, et al., "3D Comparison of Low, Intermediate, and Advanced Hippocampal Atrophy in MCI," Human Brain Mapping, Vol. 31, No. 5, pp. 786-797, 2010. https://doi.org/10.1002/hbm.20905
  12. A. Fellgiebel, P.R. Dellani, D. Greverus, A. Scheurich, P. Stoeter, and M.J. Muller, "Predicting Conversion to Dementia in Mild Cognitive Impairment by Volumetric and Diffusivity Measurements of the Hippocampus," Neuroimaging, Vol. 146, No. 3, pp. 283-287, 2006. https://doi.org/10.1016/j.pscychresns.2006.01.006
  13. E.D. Bigler, D.D. Blatter, C.V. Anderson, S.C. Johnson, S.D. Gale, R.O. Hopkins, et al., "Hippocampal Volume in Normal Aging and Traumatic Brain Injury," American Journal of NeuroRadiology, Vol. 18, No. 1, pp. 11-23, 1997.
  14. J. Pluta, P. Yushkevich, S. Das, and D. Wolk, "In vivo Analysis of Hippocampal Subfield Atrophy in Mild Cognitive Impairment via Semi-Automatic Segmentation of T2-Weighted MRI," Journal of Alzheimer's Disease, Vol. 31, No. 1, pp. 85-99, 2010.
  15. O. Saitoh, C.M. Karns, and E. Courchesne, "Development of the Hippocampal Formation from 2 to 42 Years MRI Evidence of Smaller Area Dentata in Autism," Brain, Vol. 124, No. 7, pp. 1317-1324, 2001. https://doi.org/10.1093/brain/124.7.1317
  16. G.A. Kerchner, "Ultra-high Field 7T MRI: A New Tool for Studying Alzheimer's Disease," Journal of Alzheimer’s Disease, Vol. 26, No. 3, pp. 91-95, 2011. https://doi.org/10.1177/1533317511400892
  17. Statical Parametric Mapping, http://www.fil.ion.ucl.ac.uk/spm (accessed Mar. 6, 2014) [
  18. MRIcron(MRIcro), http://www.mccauslandcenter.sc.edu/ mricro (accessed Mar. 10, 2014)