DOI QR코드

DOI QR Code

Construction of Medical Image Information Viewer-Matching System Based by Diseases

질환별 의료영상정보 뷰어 매칭 시스템의 구축

  • No, Si-Hyung (Medical Convergence Research Center, Wonkwang University Hospital) ;
  • Ham, Gyu-Sung (Department of Computer Engineering, Wonkwang University) ;
  • Jeong, Chang-Won (Medical Convergence Research Center, Wonkwang University Hospital) ;
  • Joo, Su-Chong (Department of Computer.Software Engineering, Wonkwang University)
  • Received : 2019.05.24
  • Accepted : 2019.08.07
  • Published : 2019.10.31

Abstract

The purpose of this paper is to construct a system that matches the patient's image disease information with the medical image viewer in providing the medical image information to the medical staff. Currently, medical image information systems that are commercialized mostly provide only one image viewer with various image information of diseases or use incompatible exclusive viewers. For this reason, we designed and implemented a medical image information viewer matching system that integrates and provides specialized viewers that can be selected by diseases' image information. That is, it is a system to match and view medical image viewers based on disease information extracted from tag information stored as the metadata in DICOM file, which is medical image information standard, for disease-specific viewer matching. We analyzed the execution performances through our retrieval service of medical image information from our implementation system, and showed compatibility and control with various viewers.

본 논문은 의료진에게 영상정보를 제공하는 데 있어, 환자의 질병정보와 의료영상뷰어를 매칭 지원해주는 시스템을 구축하는 데 목적을 둔다. 현재 상용화된 의료영상정보시스템들은 대부분 하나의 뷰어로 다양한 질환들의 영상정보들을 제공하거나 호환성이 없는 벤더사의 전용뷰어를 사용하고 있다. 따라서 본 논문에서 질환별로 선택이 가능한 전용뷰어들을 통합한 의료영상정보 뷰어 매칭 시스템, 즉 질환별 뷰어 매칭을 위해 의료영상정보 표준인 DICOM 파일 내부에 메타데이터로 저장되는 태그정보에서 추출한 질환 정보를 기반으로 의료영상 전용뷰어들을 매칭하고, 매칭된 뷰어 상에서 디스플레이하는 시스템을 설계 및 구현하였다. 제안 시스템으로부터 의료영상정보의 검색서비스를 통해 수행성능을 분석하고, 다양한 뷰어들과의 호환 및 뷰어제어가 가능함을 보였다.

Keywords

1. 서론

4차 산업혁명의 인더스트리 4.0에 맞추어 의료기관들도 의료영상을 포함한 의료정보 시스템의 서비스 활용을 극대화하기 위해 스마트 신기술을 도입하고 있다[1,2,3,4]. 이러한 변화는 의료진들에게 제공되는 CD/DVD 기반의 의료영상정보 서비스에서 탈피하여 스마트 디바이스 기반의 앱 또는 웹 뷰어를 사용하는 모바일 시스템 환경으로 구축되고 있다[5,6]. 또한 다양한 디바이스를 통해 의료정보에 접근할 수 있는 반면에 접근을 통제하기 위한 보안 메카니즘들의 적용이 필연적이다. 현재, 국내 의료 및 헬스케어 산업에 클라우드 기술을 도입하기에는 의료정보 보안 문제를 포함하여, 운용에 대한 법적 또는 제도적인 문제를 해결할 시점에 와 있다. 국외의 경우, 클라우드 기술을 도입하여 의료정보의 공유와 협업 시스템을 구축하고 모바일 클라우드 환경을 통해 개인 건강정보시스템까지도 구축하여 상용화하고 있는 현실이다[7,8]. 클라우드 환경 기반의 개인화된 스마트 기기들의 활용에서 중요한 의료정보의 접근에 대한 보안 및 의료진의 인증문제를 해결하기 위한 연구들이 활발하게 진행되고 있다[9,10,11].

본 논문에서는 의료영상정보 시스템 즉, 의료영상전송시스템(PACS)에서 의료영상정보에 대한 의료진의 접근제어 및 의료영상정보의 특성에 매칭되는 뷰어 시스템을 구축하는데 연구의 중점을 둔다.

현재 상용화된 의료영상정보 시스템들의 대부분이 시스템에 종속되는 의료영상 뷰어들을 제공하고 있다. 이는 주로 의료영상정보 시스템의 개발 및 벤더사들이 제공하는 전용 뷰어를 사용하므로 써, 질환별로 다양한 타입이나 규격의 다양한 의료영상정보를 하나의 동일한 뷰어를 통해 판독 및 진단함에 있어 제약성을 가질 수 있다.

이러한 문제를 해결하기 위해, 본 논문에서는 의료진에게 제공되는 의료영상정보인 DICOM 표준파일의 메타데이터로부터 추출한 환자의 질환 정보를 기반으로 질환별 의료영상과 뷰어를 매칭 시키기 위한 시스템을 구축하고자 한다. 제안 시스템을 위한 플랫폼 환경, 뷰어 매칭구조, 뷰어 선택을 위한 키워드 매칭 처리 과정 그리고 뷰어 제어 및 영상판독 내용의 QR 코드화의 설계 및 구현과정들과 최종으로 의료영상정보를 뷰어를 통해 매칭 결과들을 보인다. 또한, Kinect 센서를 이용한 매칭되는 의료영상정보의 뷰어링에서 의료진과 모니터 간의 측정된간격거리에 맞춰 자동적으로 영상정보의 화면을 확대와 축소시킴으로 써 최적의 뷰어링을 제공하도록 한다[12,15]. 마지막으로 영상의학 전공 의료진이 환자의 의료영상정보로부터 판독내용을 QR코드화하여 해당 의료영상정보와 같은 타입의 이미지로 병합하여 의료영상정보시스템에 저장한다. 이후, 담당 의료진이 의료영상정보를 검색 시 QR코드를 자동으로 해독하여 판독내용을 참고할 수 있도록 한다.

본 논문의 구성은 다음과 같다. 2장에서는 관련 연구로서 의료영상정보 지원 시스템의 전반 구성에 대해 설명한다. 의료영상 뷰어 매칭 시스템의 설계를 기술한 3장에서는 제안 시스템 플랫폼, 뷰어 크기 제어, QR코드의 적용을 설명한다. 4장에서는 제안 시스템의 구현으로 뷰어 매칭 시스템의 수행모듈 구조, 세부구현, 구현한 의료영상정보 뷰어 매칭 시스템의 수행성능을 평가하였다. 마지막으로 5장 결론에서 앞으로 본 연구의 개선 및 확장 방안을 기술하였다.

2. 관련연구

2.1 의료영상정보 지원 시스템의 요소구성

아래 그림 1은 멀티 뷰어 모듈지원을 통해 모니터에 의료영상정보를 지원하기 위한 시스템 환경을 보인다. 의료영상정보 지원 시스템의 구성요소들을 보면, 뷰어 모듈, 사용자별 워크리스트관리 모듈, 디스플레이 컨트롤러모듈, 로그인 관리 모듈 등을 포함한다.

OTJBCD_2019_v20n5_37_f0001.png 이미지

(그림 1) 의료영상정보 지원 시스템의 환경(Figure 1) An Environment of Medical Image Information Supporting System

적어도 하나 이상의 뷰어 모듈들은 촬영장비(예, CT, MRI)에 의해 획득된 의료영상정보나 환자정보(예, 환자ID, 환자 이름, 성별), 촬영정보(예, 촬영장비, 촬영시간)등의 의료영상정보가 저장된 의료정보 데이터베이스와 상호연동하며 모니터의 화면상에 질환별로 매칭된 의료영상정보들을 디스플레이 한다. 각 구성요소의 설명에서뷰어 모듈의 상태정보는 뷰어 모듈의 수, 뷰어 모듈과 모니터 수의 일치 여부, 뷰어 모듈이 디스플레이 되는 모니터의 화면상의 레이아웃 및 위치 등의 설정정보를 포함한다. 사용자(예, 의료진)별 워크리스트 관리 모듈은 로그인된 사용자의 역할에 기반 하여 서로 다른 기능을 제공하는 워크리스트 인터페이스를 통하여 사용자별 워크리스트를 제공한다. 사용자별 워크리스트 관리 모듈과 통신하는 규칙 데이터베이스는 사용자의 ID와 촬영장비, 촬영부위 등의 조건에 따라 의료정보를 어떤 형태로 제공할지에 관한 규칙정보를 저장하고 있다. 의료영상정보 지원시스템에서 사용자별 워크리스트는 사용자별로 의료정보를 조회 기록하는 사람들이 날짜별 할당된 일이 적힌리스트들의 집합으로, 사용자의 역할에 따라 필요한 기능으로 구성된 워크리스트를 의미한다. 사용자는 워크리스트 인터페이스를 통해서 제공되는 사용자별 워크리스트중 자신에게 필요한 리스트를 선택하여, 선택에 따라 뷰어 모듈을 통해 모니터의 화면상으로 제공되는 의료영상, 환자의 개인정보(판독내용) 등을 확인한다. 의료영상정보지원시스템의 사용자별 워크리스트 관리 모듈은 적어도 하나 이상의 뷰어 모듈과는 별개의 독립적인 대등한 레벨의 프로세스로 실행되도록 구성되어있다. 사용자는 영상의학 분야의 의료진의 역할들(예, 영상의학 전문의, 임상전문의, 방사선사, 전사자(Transcriber) 등)에 따라 사용자별 워크리스트 관리 모듈이 제공하는 사용자별 워크리스트가 결정된다. 뷰어 모듈은 디스플레이 컨트롤러 모듈의 명령에 따라 의료정보를 디스플레이 한다. 다시 말해, 사용자별 워크리스트 관리모듈은 뷰어 모듈에 디스플레이 되는 의료정보에 대응하는 워크리스트를 통합적으로 관리함으로써, 사용자별 워크리스트 중 선택된 리스트에 해당하는 의료정보가 각 뷰어 모듈의 특성(디스플레이의 환경설정)에 따라 해당 모니터의 화면상에 각각 디스플레이 될 수 있도록 한다[5].

로그인 모듈은 사용자 단말기와 통신하여 단말기에서 입력한 ID와 비밀번호를 수신하여 로그인된 사용자의 정보 중 사용자의 역할을 추출한 후, 사용자 역할에 대한 정보를 디스플레이 컨트롤러 모듈 및 사용자별 워크리스트관리모듈에 전달한다. 로그인 모듈은 사용자 정보(예, 사용자의 ID, 비밀번호, 역할)를 저장하는 사용자 의료정보데이터베이스 시스템과 통신한다. 정보전달에 따라 사용자별 워크리스트 관리 모듈은 로그인된 사용자의 역할에 해당하는 사용자별 워크리스트를 워크리스트 인터페이스를 통해 제공된다.

3. 의료영상정보 뷰어 매칭 시스템의 설계

본 장에서는 2장에서 기술한 의료영상정보 지원 시스템의 환경을 기반으로 뷰어 매칭 및 의료영상정보 디스플레이 부분을 추가한 시스템으로 설계한다. 이를 위해, 제안 시스템의 플랫폼 구조와 내부 구성요소 간의 수행절차를 보이며 각 구성 모듈의 세부기능에 대해 설명한다.

3.1 의료영상정보 뷰어 매칭 시스템의 플랫폼

본 절에서는, 영상판독 및 환자 담당 의료진에게 의료영상정보를 제공받기 위한 뷰어를 질환(폐 질환, 골 질환,뇌 질환)별로 뷰어를 자동매칭하고 이를 디스플레이하여 정확한 영상판독 및 진단을 지원하기 위한 의료영상 뷰어 매칭 시스템의 플랫폼을 기술한다. 사용된 의료영상정보는 DICOM 표준파일이며, DICOM 파일로부터 태그 정보를 읽어 제공되는 뷰어와의 키워드 매칭을 한다. 제안한 전체 시스템의 플랫폼 구조, 내부구성요소들 및 지원흐름도 등의 환경에 대해 기술하고, 뷰어 매칭 모듈의 매칭 과정 및 매칭된 뷰어를 통해 의료영상정보를 디스플레이를 위한 수행 모듈에 대하여 설명한다.

3.1.1 의료영상정보 뷰어 매칭 시스템의 플랫폼

본 시스템의 플랫폼은 4 계층으로 그림 2와 같은 구조로 설계한다[13,14].

OTJBCD_2019_v20n5_37_f0002.png 이미지

(그림 2) 의료영상 뷰어 매칭 시스템의 플랫폼 구조(Figure 2) A Medical Image Viewer Matching System Platform

맨 하위의 물리적 계층(Physical layer)은 동적접근 제어기법을 위한 DAC(Dynamic Access Control) 데이터베이스 서버와 환자와 의료진의 의료정보를 저장한 MIS(Medical Information Server), 그리고 표준 의료영상정보인 DICOM 파일을 저장한 PACS 서버로 구성된다. 레포지토리 계층(Repository Layer)에는 물리적 계층에 대응하여 사용자정보, HIS 정보와 DICOM 파일의 태그정보가 각각 저장된다. 논리적 계층(Logic Layer)에는 사용자의 로그인을 위한 로그인 모듈과 환자의 질환에 맞는 해당 뷰어로 연결시켜주기 위한 매칭 모듈(Matching Module)을 두었다. 또한 MIS로부터 의료정보를 검색하고 어떻게 사용됐는지 추적하는 검색 모듈과 트래킹 모듈, 그리고 환자의 영상판독내용을 QR 코드로 인코딩 및 디코딩하는 QR 모듈이 있다. 마지막으로 최상위의 응용 계층(Applicationlayer)에는 해당 질환별로 매칭 될 뷰어 응용들이 구현된다. 그림 3에서는 질환별 의료영상정보 뷰어 매칭을 위한 시스템과 지원 서버들 간의 연동 구조를 보인다.

뷰어 매칭 시스템에서는 사용자가 PACS에 저장된 DICOM 파일을 선택 할 때, DICOM 파일 내에 저장되어 있는 메타데이터인 태그정보를 읽어 환자의 질환을 인식하여 질환에 맞는 전용 뷰어로 매칭시킨다. 이때 태그 정보를 읽어 질환을 파악하고 질환에 맞는 뷰어 매칭 방법으로 우리는 단일 키워드 매칭 알고리즘인 KMP 알고리즘과 다중 키 워드 매칭 알고리즘인 Aho-Corasick 알고리즘을 하나로 통합한 알고리즘[17]을 이용하였다. 또한 모니터 상단에 Kinect 센서를 설치하고 비접촉식 뷰어 제어기능을 구현하여 뷰어 상에 의료영상정보를 사용자와 모니터상의 간격거리를 측정하고, 측정된 간격거리 변화에 따라 자동적으로 영상정보의 화면을 확대와 축소시킴으로 써 최적의 뷰어링을 제공하도록 한다.

OTJBCD_2019_v20n5_37_f0003.png 이미지

(그림 3) 의료영상정보 뷰어 매칭 시스템과 관련 서버들 간의 연동 구조(Figure 3) Interaction Structure Between A Medical Image Information Viewer Matching System and Related Servers.

3.1.2 의료영상정보 뷰어 매칭 절차

제안 시스템에서 의료영상정보 표준인 DICOM 태그 정보를 기반으로 하여 시스템에서 제공되는 뷰어와 의료영상정보와의 매칭절차는 그림 4와 같다.

OTJBCD_2019_v20n5_37_f0004.png 이미지

(그림 4) 의료영상정보를 이용한 뷰어 매칭 절차(Figure 4) Viewer Matching Procedures Using Medical Image Information

의료진이 로그인 모듈을 통해 의료영상정보 시스템을로그인하는 과정에서 DAC 데이터베이스 서버에서 제공되는 자신의 접근할 의료영상정보에 대해 동적 접근 제어(DAC : Dynamic Access Control)의 접근권한을 적용받는다. 이후, 의료영상정보 시스템인 PACS 서버에 저장된 환자의 DICOM 파일을 선택하는 과정을 수행한다. DICOM 파일을 선택하게 되면, 뷰어 매칭 모듈에서는 DICOM에 저장된 정보 중 태그정보에 포함되어 있는 환자의 질환정보를 통해 질환에 맞는 뷰어와 매칭한다. 이 뷰어를 통해 접근 허가된 의료영상정보를 디스플레이 한다. 이때 질환별 의료영상정보 뷰어 매칭 시스템의 전용 뷰어에제공되는 정보는 의료영상정보와 DICOM 태그정보, MIS에서 받아온 환자의 개인의료정보가 포함된다.

아래 그림 5는 질환별 의료영상 뷰어 매칭 모듈에서 DICOM의 태그정보를 읽어와 해당뷰어와의 매칭을 위한 키워드 매칭 절차를 보인다.

OTJBCD_2019_v20n5_37_f0005.png 이미지

(그림 5) 뷰어 매칭 모듈 내 질병 키워드 매칭 절차(Figure 5) Disease Keyword Match Procedures in Viewer Matching Module

DICOM에 저장된 메타데이터 내부의 태그정보는 그림 6과 같은 형태를 가지고 다양한 태그 정보들이 저장되어 있다. 한 예로 환자의 질환정보를 읽기 위해 태그번호(0008, 1030)를 가진 의료영상정보를 추출하게 된다.

DICOM에 저장되는 질환 정보는 각 병원마다 다양한 형태의 값으로 저장되게 되는데, 크게 한글과 영문으로 나눌 수 있으며, 세부적으로 질환부위와 질환 명으로 나뉘게 된다. 질환 부위와 질환명이 같이 쓰여 있는 경우도 있다.

OTJBCD_2019_v20n5_37_f0006.png 이미지

(그림 6) DICOM 파일에 저장된 질환별 태그 정보(Figure 6) Tag Information Based on Diseases Included in DICOM Files

3.2 Kinect 센서를 이용한 비접속식 뷰어(인터페이스) 제어

디지털 IT 수술실 환경의 구축과 더불어, 의료진의 수술 효율성을 높이기 위한 의료영상정보 뷰어의 제공이 필수이며, 이를 기반으로 수술용 내비게이션에 관한 활용도 또한 급증하고 있다. 집도 의료진은 수술에 전념하도록 모니터상의 뷰어를 수동 조작이 없도록 비접촉식 뷰어 제어 방법이 제공되어야 한다.

이에 대한 대표적인 연구들로 카메라를 이용한 영상처리기반의 위치 추적 연구와 광학기술을 이용한 위치 추적 기술을 이용한 연구가 진행되었다[12]. 본 논문에서는뷰어환경으로 비 접촉식으로 제어하기 위해 사용된 Kinect 센서를 사용하였다. Kinect의 깊이 센서(Depth sensor)를 통해 얻은 깊이(Depth) 값, 의사와 모니터간의 간격거리의 변동에 따라 모니터의 의료영상정보를 자동으로 확대 및 축소기능을 제공하는 장점이 있다. 본 논문에서 제안하는 비접촉식 뷰어 인터페이스의 구현은 Kinect의 깊이 센싱 값을 기반으로 뷰어를 제어하도록 하였다. 센싱된 값의 일정한 범위를 정하여 의료영상 이미지가 자동으로 확대, 축소되도록 하였다. 확대 축소되는 범위는 깊이 값을 기준으로 실험 수치화하여 0.7, 실제 간격거리로는 약 0.6m 이하로 내려가게 되면 의료영상이 축소되도록 하였고, 의료영상이 확대되는 기준은 깊이 값 1.06, 실제 간격거리는 약 1.05m 이상으로 하였다.

3.3 QR 모듈을 이용한 의료영상정보 통합 응용

정의된 QR 모듈(그림 3 참조)에서 영상전공 의료진의 의료영상 판독 데이터를 QR 코드로 변환하여 의료영상정보에 하나의 통합 이미지 정보를 생성하는 절차는 그림 7과 같다.

OTJBCD_2019_v20n5_37_f0007.png 이미지

(그림 7) QR 코드를 포함하는 통합 의료영상정보(Figure 7) Integrated Medical Image Information Including QR Codes

영상의학 의료진의 영상 판독내용을 뷰어에서 제공되는 텍스트 창에 입력하고 저장버튼을 누르게 되면 영상판독내용을 QR 코드로 인코딩하게 된다. 인코딩된 QR코드는 의료 영상정보 표준인 DICOM 파일로부터 이미지 파일을 전달받아 하나의 통합 의료영상정보인 이미지파일로 생성된다[16]. 차후, 담당 의료진은 뷰어에 띄운QR 코드를 클릭함과 동시에 통합 의료영상정보로부터QR 코드가 분리되고 디코딩된 영상 판독내용을 참고하도록 한다.

4. 의료영상정보 뷰어 매칭 시스템의 구현

본 장에서는 의료영상정보 뷰어 매칭 시스템에서 질환에 맞는 뷰어에 매칭시킨 방법으로 키워드 매칭 알고리즘을 적용하여 DICOM 파일에서 획득한 태그정보를 통해 질환에 맞는 뷰어로의 매칭과정을 구현한다[14].

4.1 뷰어 매칭 시스템의 구조

본 절에서는 제안 시스템에 키워드 매칭 알고리즘을 적용하여 DICOM에서 획득한 태그정보를 통해 질환에 맞는 뷰어로의 매칭을 위한 시스템을 구현한다. 세부적으로 뷰어매칭 과정, 매칭 알고리즘 그리고 뷰어제어의 세부기능들에 대해 기술한다.

4.1.1 뷰어 매칭 시스템 내 구현 모듈과 기능

뷰어 매칭 시스템 내 뷰어 매칭 모듈은 그림 8과 같이 3개의 모듈로 구성된다. 첫 번째 뷰어 매칭 모듈은 DICOM 파일의 태그정보로부터 질환 정보를 읽어와 키워드 매칭 알고리즘을 이용한 뷰어를 매칭하는 역할을 수행한다. 둘째로, 트래킹 모듈은 비 접촉식 뷰어 제어 방법의 제공으로써, Kinect 센서를 기반으로 하여 의료진과 모니터간의 간격거리, 즉 깊이를 측정하여 주어진 기준에 따라 의료영상이미지를 확대, 축소하는 제어기능을 수행하게 된다. 마지막으로 QR 모듈은 의료진이 환자에 대한 의료영상정보를 판독한 내용을 QR 코드화하여 의료영상이미지에 삽입, 저장하는 기능과 담당 의료진으로 하여금 의료영상이미지에 삽입된 QR 코드를 마우스 클릭하면 자동 스캔되어 텍스트 창을 통해 환자에 대한 영상 판독정보를 불러오는 기능을 수행한다.

OTJBCD_2019_v20n5_37_f0008.png 이미지

(그림 8) 뷰어 매칭 시스템의 3 모듈(Figure 8) 3 Modules of Viewer Matching System

4.1.2 키워드 매칭 알고리즘을 이용한 뷰어 매칭

DICOM의 태그를 문자열로 받아 질환 부위 영상정보를 획득하여 질환에 맞는 해당 뷰어로 매칭하기 위한 키워드 매칭 알고리즘으로 단일 키워드 매칭 알고리즘인KMP 알고리즘과 다중 키워드 매칭 알고리즘인 A ho-Corasick 알고리즘을 하나로 합친 통합 알고리즘을 사용한다. 통합 알고리즘을 이용하여 의료영상정보 뷰어와 질환별 키워드 매칭 과정을 그림 9와 같이 보인다.

OTJBCD_2019_v20n5_37_f0009.png 이미지

(그림 9) 키워드 매칭 알고리즘을 이용한 뷰어 매칭 과정(Figure 9) Viewer Matching Procedures using Keyword Matching Algorithm

DICOM 파일로부터 얻은 태그정보를 입력으로 통합 알고리즘을 통해 구현된 키워드 트리를 통해 질환별 키워드를 추적하여 태그정보 중 질환 정보와 질환 부위에 대한 부가 정보를 찾게 된다. 하나의 출력링크만이 매칭되면 다른 처리 과정 없이 바로 해당 질환 전용 뷰어로매칭된다. 출력 링크가 여러 개 출력된다면 출력링크들의 관계를 파악하여 환자의 질환에 대한 좀 더 정확한 뷰어를 제공할 수 있도록 한다. PACS의 DICOM 파일로부터태그 정보를 읽어오면 통합 알고리즘에서는 문자열 탐색을 시작하게 된다. 먼저 KMP 알고리즘을 이용하여 문자열을 탐색하게 되고, 탐색된 문자열을 제외한 문자열이 남아있는지를 체크한다. 문자열이 남아있지 않다면 그대로 알고리즘은 종료되며 탐색된 단일 키워드를 통해 전용 뷰어로 매칭을 수행하게 된다. 하지만 문자열이 남아있다면 남은 문자열을 Aho-Corasick알고리즘을 이용하여 남은 문자열에 대한 키워드 매칭을 수행하게 된다.

4.2 뷰어 매칭 시스템의 구현

4.2.1 키워드 매칭을 이용한 뷰어 매칭 구현

키워드 매칭을 이용한 질환별 전용 뷰어 매칭 서비스의 전체 구현의 결과는 그림 10과 같다.

OTJBCD_2019_v20n5_37_f0010.png 이미지

(그림 10) 키워드 매칭에 의한 뷰어 매칭 시스템의 구현(Figure 10) Implementations of View Matching System for Keyword Matching

제안 시스템에서 의료진에게 할당된 ID/PW를 통해 로그인 후 환자의 DICOM 파일을 선택하고 DICOM 내의 환자의 질환에 대한 태그정보를 바탕으로 질환별(골질환,뇌질환, 폐질환) 전용 뷰어로 매칭된 후 뷰어가 실행되는 결과 화면을 보였다

4.2.2 비접촉식 뷰어 제어 구현

Kinect 센서를 기반으로 한 비접촉식 뷰어 제어 인터페이스를 통해 의료진과 모니터 간의 깊이 값(간격거리)을 기반으로 의료영상정보 이미지를 확대, 축소 제어한 이미지의 구현 결과는 그림 11과 같다[15].

먼저, (b)는 의료진과 모니터 상에 부착된 Kinect 센서와 적정간격거리(0.6m -1.05m)에 맞춰진 DICOM 이미지이고, (a)는 Kinect 센서와 간격거리가 0.6m 이내 일 때 축소된 DICOM 이미지를 보였다. (c)는 Kinect 센서와 의료진과 간격거리가 1.05m이상인 경우 확대된 DICOM 이미지 스크린을 보였다. 의료영상정보가 확대될 때, 마우스의 좌표를 기준으로 확대하도록 하였고, 마우스가 뷰어 창을벗어난 경우에는 의료영상의 중심 픽셀을 기준으로 확대되도록 구현하였다.

OTJBCD_2019_v20n5_37_f0011.png 이미지

(그림 11) Kinect 센싱에서 구해진 깊이 값을 통해 확대 축소된 DICOM 이미지(Figure 11) DICOM Images Zoomed In & Out using Depth Value Obtained from Kinect Sensing

4.2.3 의료영상정보의 판독내용의 QR 코드화

아래 그림 12는 환자의 의료영상정보를 통해 의료진이판독한 내용을 QR코드화 하여 저장하고 선택된 뷰어를 통해 보인 화면들이다. (a)는 의료진이 의료영상정보를 통해 판독한 내용을 판독창에 입력을 하고 저장을 통해QR코드로 인코딩하여 의료영상정보에 QR코드 이미지를 통합한 결과 이미지를 보였다. (b)는 의료영상정보에 삽입된 QR 이미지를 담당 의료진이 클릭하게 되면 자동으로 디코딩되어 판독팝업창을 통해 출력되도록 하였다[16].

OTJBCD_2019_v20n5_37_f0012.png 이미지

(그림 12) 환자의 영상판독정보의 QR코드로의 인코딩과 디코딩(Figure 12) Encoding and Decoding of Patient & rsquo;sImage Reading Information into QR Codes

4.3 뷰어 매칭 시스템의 평가

본 절에서는 의료영상정보지원 뷰어 매칭 시스템의 뷰어 매칭시간, Kinect 센서를 이용한 간격거리 측정 및 뷰어의 확대 및 축소기능의 수행에 관한 평가결과를 보였다. 질환별 의료영상정보 뷰어 매칭 시스템의 수행과정을 평가하기 위해 구성된 환경은 Kinect V2 센서를 PC에 설치하여 사용자와의 모니터 스크린간의 간격거리를 측정하는 모듈을 테스트하였고, DICOM 파일을 받아오기 위한 PACS 서버를 기본 환경으로 하여 수행과정을 평가하였다.

4.3.1 의료영상정보 매칭 비교평가

뷰어 매칭을 위한 키워드 매칭 알고리즘의 수행 평가는 단일 문자열 매칭과 다중 문자열 매칭 수행시간에 관한 결과는 그림 13과 그림 14에서 보였다. 그림 13에서 보인 바와 같이 Aho-Corasick 알고리즘과 KMP 알고리즘을 이용하여 단일 문자열의 매칭 수행 시간을 비교한 그래프이다. 평가 실험은 1세트에 30번씩 총 10세트의 실험을 수행하였다. 실험 결과에서 단일 문자열을 매칭하는데 걸리는 수행시간은 두 알고리즘이 근사한 것을 확인할 수 있었다.

OTJBCD_2019_v20n5_37_f0013.png 이미지

(그림 13) 단일 문자열 매칭을 위한 Aho-Corasick Algorithm과 KMP Algorithm의 수행시간 비교(Figure 13) Comparisons of execution times(sec) of 2 Key-word Matching Algorithms using A Single String

OTJBCD_2019_v20n5_37_f0014.png 이미지

(그림 14) 다중 문자열 매칭을 위한 ho-Corasick Algorithm과 KMP Algorithm의 수행시간 비교(Figure 14) Comparisons of execution times(sec) of 2 Key-word Matching Algorithms Using Multiple Strings.

(그림 15) 제안한 통합 알고리즘과 A ho-Corasick알고리즘의 성능 비교(Figure 15) Performance Comparison of Both Our Integrated Algorithm and A ho-Corasick Algorithm

그림 14의 다중 문자열들을 찾아 매칭시키는 멀티 키워드 매칭에 대한 수행 실험 결과로 DICOM 태그 정보는 단일 문자열 뿐 아니라 다중 문자열 또한 키워드를 매칭시킬 때 수행시간을 평가하기 위한 실험을 수행하였다. 본 실험은 각 문자열 수마다 50회씩 실험을 수행하여 평균값을 냈다. 이 실험 결과로 여러 개의 문자열을 찾으려 할수록 두 알고리즘의 시간 차이는 점점 커지는 것을 확인할 수 있다. 위 실험평가에서 단일 키워드 매칭에 우수한 KMP Algorithm과 멀티 키워드 매칭에 우수한 A ho-Corasick Algorithm을 절충하여 구현한 우리의 통합 알고리즘에 대한 수행 실험 결과는 아래의 그림 15와 같다. 우리의 통합 알고리즘의 성능평가는 찾고자 하는 문자열마다 50회씩수행하였으며, 단일 문자열과 다중 문자열 키워드 매칭에 우수했던 Aho-Corasick 알고리즘과의 비교 평가한 결과로 제안한 통합 알고리즘이 속도가 큰 차이는 없으나 약간빠름을 보였다.

본 수행 평가는 의료정보 시스템에서 다루고 있는 임상데이터를 기반으로 수행하였으며, DICOM의 복잡한 태그 정보로부터 정확한 문자열을 찾아 매칭시킴으로 써 질환에 적합한 뷰어로의 매칭 가능한지에 대한 평가로 진행되었다. 그 결과로 단일 문자열 또는 다중 문자열들 등이 혼합 구성된 DICOM 태그정보로부터 키워드 매칭에 있어 다른 두 알고리즘들을 분리해서 사용하는 것보다 이를 결합한 통합 알고리즘의 적용이 다소 효과적임을 보였다.

4.3.2 Kinect 센서와 모니터 간의 간격거리측정 실험결과

본 논문에서 제안한 비접촉식 뷰어의 확대 및 축소 제어방법으로 Kinect의 깊이 센서의 깊이 값에 대한 신뢰성을 평가하기 위해 실제 간격거리 측정값과 깊이 값을 비교한 실험결과는 그림 16과 같다.

OTJBCD_2019_v20n5_37_f0016.png 이미지

(그림 16) Kinect 센서와 모니터 간의 실제 간격거리와 비교한 평균 깊이 값(Figure 16) Average Depth Values Compared to Actual Internal Distance between Kinect Sensor and Monitor.

실험 평가에 사용된 Kinect 센서는 v2 버전으로 최소 측정간격거리인 0.5m부터 측정을 실시하였다. 가로축의 실제 간격거리마다 20회씩 간격거리에 따른 깊이 값을 측정하였으며, 측정된 깊이 값의 평균을 구하고 그에 따른 평균 깊이 값에 대한 오차를 구하였다. 첫 측정 간격거리인 0.5m에서의 측정은 깊이 값의 평균값이 0.654로 실제 간격거리와는 다소 오차를 보이는 것을 볼 수 있다. 마지막 측정위치인 실제 간격거리 0.55m에서는 깊이 값의 평균값이 0.713으로 실험결과 중 실제 간격거리와 가장 큰 오차를 보였다. 실제 간격거리가 멀어짐에 따라 Kinect의 깊이 값과 실제 간격거리간의 차이가 점차 줄어드는 것을 알 수 있는데 이는 아래의 실제 간격거리와 평균 깊이 값 간의 차이를 나타낸 그림 17에서 볼 수 있으며, 점점 줄어드는 깊이 위치와의 차이는 실제 간격거리 1m에서 최소로 나타나는 것을 볼 수 있다.

OTJBCD_2019_v20n5_37_f0017.png 이미지

(그림 17) 실제 간격거리와 평균 깊이 값 간의 차이(Figure 17) Differences between Actual Distance and Average Depth value

5. 결론

최근 의료정보 시스템에 저장되는 다양한 형태의 의료정보 접근 및 디스플레이를 위한 제공되는 뷰어들이 대부분 호스트 또는 지원 시스템 환경에 종속되어 있다. 다양한 의료영상장치들로부터 생성된 의료영상정보의 타입이나 규격이 다름에도 동일한 뷰어를 통해 판독 및 진단함에 있어 제약적이면서도 이를 활용할 수밖에 없었다. 따라서 의료영상정보의 타입이나 규격에 따라 적절한 뷰어들 선택하여 매칭을 지원함이 필요하다.

따라서 본 논문에서는 의료진에게 의료영상정보, DICOM 파일을 제공하는데 있어 해당 DICOM 파일의 메타데이터로부터 추출한 환자의 질환 정보를 기반으로 질환별 의료영상정보의 표현에 적합한 뷰어를 매칭시키고 스크린을 통해 뷰어링할 수 있는 의료영상정보 뷰어 매칭 시스템을 설계 및 구현하였다.

세부연구내용으로 제안 시스템의 플랫폼을 기반으로 한 의료영상정보 뷰어 매칭 시스템을 구축하여 3개의 모듈을 구현하였다. 뷰어 매칭 모듈에서는 질환별 키워드매칭 알고리즘의 구현과 뷰어 트래킹 모듈에서는 Kinect센싱 깊이 값을 의료진과 모니터 간에 실제 간격거리로 환산하여 원근에 따라 뷰어 확대 및 축소 제어기능을 구현하였다. 뷰어의 추가기능인 QR 모듈에서는 영상판독내용의 의료영상정보와 통일한 이미지 타입의 QR 코드화 및 수신 측에서 원상태의 영상판독내용으로 자동 해독할 수 있도록 구현하였다.

마지막으로 제안시스템의 수행평가는 뷰어 매칭 시스템 내 뷰어 매칭 모듈에서는 적용한 질환별 키워드 매칭 방법으로 키워드의 구성이 단일 문자열 또는 다중 문자열들의 경우에서 매칭시간을 평가하였다. 기존에 사용된 Aho-Corasick 알고리즘과 KMP 알고리즘을 각각 적용하여 단일 문자열 키워드 매칭에서는 두 알고리즘 모두 유사한 키워드 매칭 수행시간을 보였다. 다중 문자열 키워드 매칭의 결과로 Aho-Corasick 알고리즘이 우수함을 보였다. 질환별 키워드들이 단일 및 다중 문자열들이 혼합된 형태일 때를 위해 위 두 알고리즘의 장점을 결합한 통합 알고리즘을 구현하여 KMP 알고리즘과 비교해 다소향상된 결과를 보였다.

따라서 뷰어 매칭에서 질환별 키워드 형태에 따라 3가지의 키워드 매칭 알고리즘을 선택적으로 적용 가능함을 보였다. 뷰어 트래킹 모듈의 구현 평가에서 비접촉식 뷰어의 확대 및 축소 제어방법으로 Kinect 센서를 이용한 깊이 값을 의료진과 모니터에 가장 오차가 적은 실제 간격거리로 얻어 뷰어용 팝업창에 나타낸 영상정보의 확대 및 축소 제어의 경계점을 찾았다.

향후 연구로는 전체 시스템을 개선하고 의료진의 수술을 보조하는 수술도구로서 뷰어 트래킹을 동반한 수술용내비게이션 서비스 개발에 관한 연구를 진행하고자 한다.

References

  1. M. E. Mahmoud, J. P. C. Rodrigues, S. H. Ahmed, S. C. Shah, V. Korotaev and V. h. c. d. Albuquerque, "Enabling Technologies on Cloud of Things for Smart Healthcare", IEEE Access, Vol. 6, pp. 31950-31967, 2018. https://doi.org/10.1109/ACCESS.2018.2845399
  2. G. Manogaran, R. Varatharajan, D. Lopez, P. M. Kumar, R. Sundarasekar and C. Thota "A New Architecture of Internet of Things and Big Data Ecosystem for Secured Smart Healthcare Monitoring and Alerting System", FGCS, Vol. 82, pp. 375-387, 2018. https://doi.org/10.1016/j.future.2017.10.045
  3. S. A. Parah, J. A. Sheikh, F. Ahad, N. A. Loan and G. M. Bhat, "Information Hiding in Medical Images: A Robust Medical Image Watermarking System for E-healthcare", Multimedia Tools and Applications, Vol.76, No. 8, pp. 10599-10633, 2017. https://link.springer.com/article/10.1007/s11042-015-3127-y
  4. S. D. Kim, J. C. Park, H. T. Jung, and H. J. La, "A Cloud Service for Archiving and Interpreting Medical Images", JICS, Vol. 17, No. 3, pp. 45-54, 2016. https://doi.org/10.7472/jksii.2016.17.3.45
  5. A. H. Sodhro, Z. W. Luo, A. K. Sangaiah and S. W. Baik, "Mobile Edge Computing Based QoS Optimization in Medical Healthcare Applications", International Jouranl of Information Management, Vol. 45, pp. 308-318, 2019. https://doi.org/10.1016/j.ijinfomgt.2018.08.004
  6. S. Nagamani, DR. C. Nagaragu, "A Mobile Cloud- Based Approach for Secure M-Health Prediction Application", International Journal for Innovative Engineering & Management Research, Vol. 7, No. 12, pp. 236-244, 2018. https://ssrn.com/abstract=3312621
  7. A. Nirabi, S. A. Hameed, "Mobile Cloud Computing for Emergency Healthcare Model:Framework", 2018 7th International Conference on Computer and Communication Engineering, pp. 375-379, 2018. https://doi.org/10.1109/ICCCE.2018.8539310
  8. L. S. Tapsoba, F. Guinko, H. B. Sta, "A Mobile Cloud-based Application for Renal Insufficiency Patient Monitoring", 2018 International Conference on Smart Communications and Networking, 2018. https://doi.org/10.1109/SMARTNETS.2018.8707436
  9. M. U. Aslam, A. Derhab, K. Saleem, and H. Abbas, "A Survey of Authentication Schemes in Telecare Medicine Information Systems", Springer US, Journal of Medical Systems, Vol. 41, No. 1, article no.14, 2017. https://doi.org/10.1007/s10916-016-0658-3
  10. G. Abdelkader, H. S. Naima, and A. P. Adda, "Secure Authentication Approach Based New Mobility Management Schemes for Mobile Communication", Journal of Information Process Systems, Vol. 13, No. 1, pp. 152-173, 2017. https://doi.org/10.3745/JIPS.03.0064
  11. S. K. Kim, H. J. Hwang, "Security Requirements of Personal Health Service", Journal of Institute of Korean Electrical and Electronics Engineers, Vol. 19, No. 4, pp. 548-556, 2015. https://doi.org/10.7471/ikeee.2015.19.4.548
  12. Anuj Shivaji Sabale, Yogita M. Vaidya, "Accuracy measurement of depth using Kinect sensor" 2016 Conference on Advances in Signal Processing (CASP), 2016. https://ieeexplore.ieee.org/document/7746156
  13. Si-Hyung No, Chang-Won, Su-Chong Joo etc, "Development of Medical Image Viewer Matching System by Diseases", Proceedings of the Joint International Conference of BDAHI2016 and u-Healthcare2016 (BigHealth-2016: Abstract), Aizuwakamatsu, Japan, pp. 47 2016.
  14. S. H. No, C. W. Jeong, "Multi-medical Imaging viewer matching system by Disease based on Dynamic Access Control", Proceedings of the 32th KSII Fall Conference, Vol. 16, No. 2, pp. 125-126, 2015.
  15. S. H. No, C. W. Jeong, K. H. Yoon, S. C. J, "Implementation of Smart Medical Imaging Viewer", Proceedings of the 33th KSII Spring Conference, Vol. 17, No. 2, pp. 41-42, 2016.
  16. S. G. Lee, C. W. Jeong, S. C. Joo, "Design and Implementation of Medical Information System using QR Code", JICS, Vol. 16, No. 2, pp. 109-115, 2015. http://doi.org/10.7472/jksii.2015.16.2.109
  17. Gulfishan Firdose Ahmed, Nilay Khare, "Hardware based String Match Algorithms : A Survey", International Journal of Computer Application, VoL. 88, No. 11, pp. 16-19, 2014. https://doi.org/10.5120/15396-3898