DOI QR코드

DOI QR Code

Smart Device System for Strabismus Diagnosis

사시 진단을 위한 스마트 디바이스 시스템

  • Yoon, Woong Bae (Biomedical engineering Branch, National Cancer Center) ;
  • Oh, Ji Eun (Biomedical engineering Branch, National Cancer Center) ;
  • Moon, Hyo Won (Biomedical engineering Branch, National Cancer Center) ;
  • Yang, Hee Kyung (Department of Ophthalmology, Seoul National University Bundang Hospital, Seoul National University College of Medicine) ;
  • Hwang, Jeong Min (Department of Ophthalmology, Seoul National University Bundang Hospital, Seoul National University College of Medicine) ;
  • Park, Jong Il (Department Of Computer and Software, Hanyang University) ;
  • Kim, Kwang Gi (Biomedical engineering Branch, National Cancer Center)
  • Received : 2016.07.28
  • Accepted : 2016.08.08
  • Published : 2016.08.30

Abstract

Strabismus is a non-aligned state;the visual axis of each eye is not directed toward the same direction at the same time. Clinically, the degrees of strabismus are measured by prism cover test, corneal reflex test (Hirschberg test), prism reflex test (Krimsky prism test), But corneal reflex test and prism reflex test is a possibility that errors occur. we suggest a computer-aided diagnosis for strabismus. We made a mobile application to measure angles of strabismus. For 34 patients, we tested our application. The result of comparing between two methods, It showed a difference 7 Prism Diopter(PD). Our application gives strabismus angles just using a camera and a smart device. Therefore, it can reduce the cost and make the diagnosis of strabismus accurate.

Keywords

1. 서 론

사시(Strabismus)는 각 눈의 시축이 동시에 같은 방향을 향하지 않고 정렬되지 않은 상태이다. 모든 연령에서 인구의 약 4% 정도 발생하고, 돌이킬 수 없는 근육의 변화와 함께 시야를 변화시킨다[1]. 사시를 진단하기 위해 일반적으로 사용되는 방법은 허쉬버그 검사, 크림스키(Krimsky) 검사, 프리즘 가림 검사(cover-uncover 검사) 방법이 있다[2-4]. 허쉬버그 검사와 크림스키 검사 방법들은 육안으로 보정하는 방법이므로 오차 가능성이 커질 수 있다. 또한 프리즘 가림 검사의 경우 프리즘의 재질에 따라 오차가 발생할 가능성도 존재한다. 최근 좀 더 신뢰성 있고 정확한 측정방법이 연구되고 있으며 이 중 컴퓨터 기반의 영상처리기술을 이용한 연구는 실제 진단을 하는데 있어서 객관적 평가를 통해 보다 정확한 결과를 얻을 수 있었다.

현대 의료의 핵심 기술 중 하나는 원격진료 등을 통한 의료의 접근성 증대이다. 원격진료가 단순히 화상 전화 수준으로 공간적 제약을 극복하는데 그치지 않고, 환자의 상태를 보다 정확히 파악할 수 있는 양질의 의료를 공급하기 위한 연구가 진행 중이다[5,6]. 현재 보급된 이동전화 이용자의 95% 이상이 스마트폰 사용자로 보고된 가운데, 공공기관과 연구기관에서 모바일 환경에서의 서비스를 제공 및 연구를 진행하고 있다. 스마트 폰과 스마트 패드를 이용한 의료영상 시스템은 장소에 구애받지 않고 모바일 환경 하에서 환자 및 연구자가 영상 데이터를 실시간으로 확인 가능하다는 장점이 있어 원격진료에 용이한 장비이다[7.8].

최근 불필요한 진단 절차를 피하거나 환자들에게 조사되는 방사선량을 감소시키기 위한 노력이 강조되고 있다. 스마트 디바이스 시스템은 이러한 노력의 하나의 해결 방법이 될 수 있다[9]. 스마트 디바이스를 사용하여 임상의나 영상의학자, 의료기기 기술자들이 주요증상, 관련기록, 초기진단에 기반하여 최적의 결정을 내릴 수 있도록 도움을 줄 수 있는 어플리케이션들이 연구되고 있다. 2015년 기준으로 대략 16만개의 의료 어플리케이션이 존재한다고 보고되고 있으며, 매년 증가하고 있다[10]. 진단 관련 어플리케이션으로써 가장 많은 비중을 차지하는 어플리케이션은 방사선량과 관련된 어플리케이션이며 이 가운데 eRoentgen Radiology DX는 질병에 따라서 가장 적합한 방사선 검사를 추천하여 불필요한 방사선 검사를 감소시키고 진단 정확성을 향상시키는 것을 도와준다. AirStrip OB는 산모의 상태와 태아의 상태를 산부인과 의사가 확인하도록 심장 박동 정보를 제공한다. 이외에도 많은 어플리케이션이 존재하며 많은 연구가 이루어지고 있다[11].

본 연구는 환자와 의사간의 긍정적인 상호작용을 할 수 있는 모바일 디바이스를 이용한 의료영상 시스템을 제안한다. 사시 진단을 위한 스마트 디바이스 기반의 어플리케이션을 개발했다는 점에서 이러한 연구를 선도했다는 의의를 가진다. 스마트 디바이스 기반의 원격진료 시스템의 개발은 사시에 대한 원격진료 뿐 아니라 의료 진단용 소프트웨어를 사용하는 어떤 분야에 대해서도 적용될 수 있으며 이러한 플랫폼의 개발에 대한 연구도 추가적으로 필요하다. 제안한 시스템은 기존 컴퓨터 기반의 영상처리 기술을 이용한 알고리즘을 적용하여 스마트 디바이스 환경에서 사시의 진단이 가능하다. 또한 환자와 의사간의 상호작용을 위한 환경을 제공한다. 환자와 의사간의 상호작용에서 발생한 데이터는 데이터 공유 센터에 저장된다. 이러한 데이터는 계속해서 병원데이터로 축적이 가능하며 축적된 데이터는 앞으로 발생할 수 있는 환자들에게 매우 유용한 정보를 제공할 수 있을 것이라 기대한다.

 

2. 이 론

2.1 내부알고리즘

스마트 디바이스 기반의 사시 어플리케이션은 자동으로 사시각을 측정하는 선행 연구를 기반으로 이루어졌으며 전안부 영상을 획득하고 양쪽 눈 각막 영역의 중심과 각막 반사점의 위치를 비교하여 자동적으로 주시안과 사시안을 결정하여 사시안을 정상안에 대해 3차원 안구 모델을 통해 크기, 위치 조정 등을 한 후 최종 사시각을 측정하는 과정으로 이루어진다.

그림 1사시진단 어플리케이션 흐름도

그림 23D 안구 모델과 실제 눈 모델의 모식도

전안부 영상에서 구한 양쪽 눈의 각막과 전처리 과정에서 추출된 각막 반사점의 위치를 비교하여 자동적으로 정상안과 사시안을 구분한다. 측정된 각막의 반지름과 안구 비율에 대한 데이터를 근거로 3차원 안구모델을 생성한다. 생성된 안구모델의 중심을 각막반사점에 위치시킨 후, 안구모델의 각막 경계와 영상에서의 각막 경계가 일치 되도록 안구 모델을 회전시킨다. 회전된 안구모델의 각도와 실제 영상에서의 안구는 식 (1)과 같은 관계를 가진다. 이로부터 사시각을 구할 수 있다[12].

 

3. 제안한 방법

3.1 소프트웨어 개발환경 및 테스트

제안한 시스템은 IOS(IPhone Operating System 8.1, Apple, 미국) 환경에서 Xcode(Version 6.1, Apple, 미국)로 개발하였으며, 테스트 디바이스로(Test Device)로 IPad Air(Apple, 미국)를 사용하였다. 사용자 인터페이스(User Interface, UI)의 구성은 IOS에서 제공되는 스토리보드(Story Board) 기능을 사용하였다[13].

전안부 영상은 2544×1696의 크기를 가지는 24비트 RGB 영상으로 Canon MR-14EX 링 플래쉬와 100mm f2.8 매크로렌즈를 장착한 Canon EOS 60D DSLR 카메라를 삼각대에 고정하고 환자로부터 정확하게 50cm 떨어진 거리에서 촬영이 이루어졌다. 각 테스트 영상은 플레쉬를 이용하여 각막반사점이 포함된 영상을 획득하였다. 정리된 내용은 아래 Table 1과 같다.

표 1시스템 개발 환경

3.2 어플리케이션 구조

OpenGL ES와 OpenCV 프레임워크를 결합한 스마트 디바이스에 맞는 인터페이스를 그림 3과 같이 설계하였다. OpenGL ES View 와 Photo View를 이용해 3차원 안구에 영상을 겹쳐 보이도록 개발 하였으며, Photo View에 입력되는 영상은 OpenCV 라이브러리를 사용한 영상처리 결과가 적용될 수 있도록 하였다[14,15].

그림 3스마트 디바이스 뷰의 구조

3.3 모바일 어플리케이션

본 논문에서 제안하는 사시측정 어플리케이션은 카메라로 촬영한 이후에 스마트 디바이스에 영상을 업로드하고 자동으로 전처리 과정을 거쳐 사시각 측정 이전까지 이루어지며 전처리 이후에 발생할 수 있는 오차는 수동조작으로 안구모델 크기 및 위치를 수정하여 최종 사시각 측정 결과를 얻을 수 있다.

스마트 디바이스에서 터치하여 3차원 안구 영상을 제어하며 아래 그림 4와 같이 3D 안구 좌표계를 스마트 디바이스에 적합한 2D 터치 좌표계로 연동하였다.

그림 43D 안구 모델 좌표계에서 스마트 디바이스 뷰 좌표계로의 변환

그림 5와 같은 진행과정을 기반으로 자동 사시각 측정 APP을 개발하였다. 그림 5의 a는 개발 어플리케이션의 초기화면으로 사진열기 버튼을 통하여 사진 목록을 얻어 올 수 있다. 그림 5의 b에서 사진 목록을 볼 수 있으며, 그림 5의 c와 같이 스마트 디바이스에 저장된 전안부 영상을 획득한 후, 그림 5의 d와 같이 자동으로 사시각을 측정하기 위해 영상의 눈과 각막 영역을 인식하고, 기하학적 변환을 통해 각막 반사점을 얻기 위해서 영상의 중앙에 위치시키는 과정들을 수행하였다. 사시각 측정을 위해서 위치시킨 구형의 3D 안구 모델은 환자영상과의 매핑을 통해 자동으로 위치가 정해지며, 안구이동 버튼을 이용하여 수동으로 세밀하게 조절이 가능하게 하였다.

그림 5사시측정 어플리케이션 실행 흐름 (a) 초기 화면, (b) 영상목록, (c) 영상 선택 화면, (d) 영상처리 수행 결과.

 

4. 실험 결과 및 고찰

임상데이터와의 비교는 그림 6과 같으며 34명의 환자 영상을 대상으로 테스트 수행하였다. 그림 6에서 한 점(x, y)의 위치는 크림스키 테스트의 PD 값(x)과 어플리케이션으로 측정한 PD 값(y)를 의미하며 중앙의 가이드라인에 가까울수록 둘의 상관관계가 높음을 의미한다. 기존의 사시각 측정은 실제 안과진단에서 사용되는 단위인 PD로 환산하여 측정하였다. PD는 프리즘에서 1m 되는 곳에서 분산폭이 1cm 일 때 1PD로 나타내며 일반적으로 값이 클수록 사시정도가 심하다. 크림스키 방법과의 비교에서는 7PD 오차를 보였다. 크림스키검사에서 프리즘은 1, 2, 3, 4, 5, 10, 15, 20의 PD를 가지고 행해졌다. x개중 y개의 결과가 대부분 이 영역에 있었으며 큰 사시각에 대해서는 정확도가 떨어지는 경향이 있었다. 그렇기 때문에 큰 사시각에서 크림스키방법의 정확도가 떨어진다고 알려져 있다. 그림 7은 구현 어플리케이션을 이용하여 사시를 측정한 예이다.

그림 6제안방법과 크림스키 테스트 결과 비교

 

5. 결 론

본 연구에서는 컴퓨터를 이용한 사시각측정 어플리케이션을 개발하였으며, 3D 안구모델을 사용하여 사시 환자의 사진으로부터 사시각을 측정하였다. 그 결과, 임상에서의 검사값과 높은 상관관계를 드러냈다. 본 연구에서 얻어진 영상은 각막 반사점을 얻기 위해서 링플레시를 설치한 카메라를 사용하였다. 스마트 디바이스 이외에 카메라와 함께 추가적인 장비가 필요하기 때문에 앞으로 스마트 디바이스에 직접적으로 링플레시를 설치하거나 스마트 디바이스 자체에 장착된 플레시를 이용하는 방법에 대한 연구가 필요하다. 안구운동은 4개의 곧은근과 2개의 빗장근, 총 6개의 외안근에 의해서 이루어지는데 만일 어떤 외안근에 이상이 있는 지 진단할 수 있다면 사시 치료에 큰 도움이 될 것이다. 환자의 주시가 정면인 영상 뿐 아니라 좌상, 중상, 우상, 좌중, 우중, 좌하, 중하 그리고 우하 이렇게 총 추가적인 8개의 방향인 영상에 대해서도 3D 안구모델을 활용하여 분석할 수 있다면 외안근 검사에 있어서 큰 도움이 될 것이다. 영상에서 환자가 정위를 향하지 않고, 옆으로 비틀어진 경우 제대로 된 측정을 할 수 없다. 또한 환자가 눈을 크게 뜨지 않은 경우 영상처리의 어려움이 있다. 이에 대한 후속연구가 필요하다. 개발 어플리케이션은 위에서 언급한 하드웨어적인 문제와 소프트웨어적인 문제가 향상된다면 빠르고 정확한 사시 측정의 수단으로 이용될 것으로 기대한다.

References

  1. J.D.S. De Almeida, A.C. Silva, A.C. De Paiva, and Teixeira, J.A.M, "Computational Methodology for Automatic Detection of Strabismus in Digital Images through Hirschberg Test," Journal of Computers in biology and medicine, Vol. 42, No. 1, pp. 135-146, 2012. https://doi.org/10.1016/j.compbiomed.2011.11.001
  2. M.H. Goldbaum, M. Smithline, T.A. Poole, and H.A. Lincoff, "Geometric Analysis of Radial Buckling," American Journal of Ophthalmology, Vol. 79, No. 6, pp. 958-965, 1975. https://doi.org/10.1016/0002-9394(75)90678-9
  3. P. Riddell, L. Hainline, and I. Abramov, "Calibration of the Hirschberg Test in Human Infants," Journal of Investigative Ophthalmology & Visual Science, Vol. 35, No. 2, pp. 538-543, 1994.
  4. E. Krimsky, "The Binocular Examination of the Young Child," American Journal of Ophthalmology, Vol. 26, No. 1, pp. 624-625, 1943.
  5. Z. Wei, C. Wang, and Y. Nakahira. "Medical Application on Internet of Things," Proceeding of Communication Technology and Application, IET International Conference on IET, 2011.
  6. M.K. Jeremy, "Virtual Visits—confronting the Challenges of Telemedicine," New England Journal of Medicine, Vol. 372, No. 18, pp. 1684-1685, 2015. https://doi.org/10.1056/NEJMp1500533
  7. A. Székely, R. Talanow, and P. Bágyi. "Smartphones, Tablets and Mobile Applications for Radiology," European Journal of Radiology, Vol. 82, No. 5, pp. 829-836, 2013. https://doi.org/10.1016/j.ejrad.2012.11.034
  8. D. S. Hirschorn, A.F. Choudhri, G. Shih, and W. Kim. "Use of Mobile Devices for Medical Imaging," Journal of the American College of Radiology, Vol. 11, No. 12, pp. 1277-1285, 2014. https://doi.org/10.1016/j.jacr.2014.09.015
  9. M. McHugh, and D. Lillis. "The Impact of Regulatory Changes on the Development of Mobile Medical Apps," Jouranl of Computing, 4042, 2016.
  10. R. Jahns. mHealth App Developer Economics 2015, Technical Report, research2guidance, 2015.
  11. The AirStrip OB (R) for wireless fetal heart rate monitoring(2006). http://www.medgadget.com/2006/02/the_airstrip_ob_1.html (accesed Aug.,30, 2016).
  12. T.Y. Kim, S.S. Seo, Y.J. Kim, H.K. Yang, J.M. Hwang, and K.G. Kim. "A New Software for Quantitative Measurement of Strabismus based on Digital Image," Journal of Korea Multimedia Society Vol. 15, No. 5, pp. 595-605, 2012. https://doi.org/10.9717/kmms.2012.15.5.595
  13. iOS. http://www.apple.com/ios (accesed Aug., 30, 2016).
  14. OpenCV. https://www.oepncv.org (accesed Aug., 30, 2016).
  15. OpenGL ES. https://www.khronos.org/opengles (accesed Aug.,30, 2016).