Urinalysis Screening Application based on Smartphone

스마트폰 기반 요검사 스크리닝 애플리케이션

Abstract

The urinalysis, which is universally accessible to the general public, has disadvantages of being less objective using sight and purchasing a separate portable urinalysis machine. However, due to the high penetration rate and performance improvement of smartphone created by the development of mobile communication technology, research on urinalysis services using smartphone has been conducted. In this paper, a new urinalysis screening application based on smartphone was developed by supplementing the limitations of the previously studied urinalysis services. The key technology of the application is urinalysis recognition algorithm and urinalysis pad color determination algorithm through image-processing and contour detection. In order to confirm the performance of the developed application, urinalysis strip was photographed and analyzed from various backgrounds and angles.

일반인이 보편적으로 접근할 수 있는 요검사는 사람의 눈으로 판단하여 객관성이 떨어지고 별도의 휴대용 요검사기를 구매해야 하는 단점이 있다. 하지만 이동 통신 기술의 발전으로 탄생한 스마트폰의 높은 보급률과 성능 향상으로 스마트폰을 활용한 요검사 서비스에 관한 연구가 진행되었다. 본 논문에서는 앞서 연구된 요검사 서비스들에 대한 제한 사항을 보완하여 새로운 스마트폰 기반 요검사 스크리닝 애플리케이션을 개발하였다. 애플리케이션의 핵심 기술은 이미지 처리와 윤곽선 검출을 통한 요검사지 인식 알고리즘과 요검사 패드 색상 판별 알고리즘이다. 개발한 애플리케이션의 성능을 확인하기 위하여 다양한 배경과 각도에서 요검사지를 촬영하고 분석하였다.

Ⅰ. 서론

요검사지를 사용한 화학적 검사는 일반인의 경우 요검사지 제조사에서 제공한 표준비색표와 검사에 사용한 요검사 패드의 색을 시각을 통해 비교하거나 별도로 구매한 휴대용 요검사기를 통해 확인하는 방법이 있다^[1]. 하지만 시각을 통해 색을 판별하면 객관성이 떨어지고 별도로 구매해야 하는 휴대용 요검사기는 비용이 드는 단점이 있다.

그러나 이동 통신 기술의 발전으로 스마트폰의 전체적인 성능이 향상되었고, 스마트폰 보급의 보편화로 전 연령에 걸쳐 스마트폰 사용률이 증가하면서 다양한 분야에서 스마트폰을 활용한 서비스와 기술이 개발되었다. 요검사 또한 스마트폰을 활용하여 높은 정확성과 간편하게 검사할 수 있는 서비스에 관한 연구가 진행되었다.

첫 번째 관련 연구^[2]는 요검사지에 두 개의 검은색 선을 추가하여 요검사지를 추출하고 조명영향을 보정한다. 이후 HSV 색 공간을 이용하여 색조(H) 값과 채도(S) 값으로 판별할 수 있는 요검사 패드 색을 구별하여 건강 상태를 판별한다. 이 연구에서 첫 번째 제한사항은 요검사 패드 분석 위치가 고정되어 있어 요검사지 방향에 따라 결과가 달라지는 점이다. 두 번째는 조명이 균일하게 분포되어 있지 않을 때 조명영향 보정이 정상적으로 동작하지 않는 점이다.

두 번째 관련 연구^[3]는 고정된 촬영 영역에 사용자가요검사지 위치를 맞춘 후 요검사 패드의 위치를 표시한다. 이후 사용 전 요검사 패드와 사용 후 요검사 패드의 RGB의 색의 차이를 이용하여 건강 상태를 판별한다. 이 연구에서 첫 번째 제한사항은 사용자가 요검사지를 촬영영역에 정밀하게 맞추기 어려운 점이다. 두 번째는 요검사지 사용 전 사진과 사용 후 사진을 얻기 위해 두 번 촬영해야 하는 점이다.

세 번째 관련 연구^[4]는 미디언 필터 기반 조명 보상 방법과 2D- Gabor 에지 검출기, Harris 코너 검출기를 이용하여 요검사 패드 색 판별에 도움을 주면서 요 검사지를 추출한다. 이후 요검사 패드에서 추출한 HSV 값과표준비색표의 HSV 값을 각각 비교하여 건강 상태를 판별한다. 이 방법에서 첫 번째 제한사항은 흰색 배경에서 요검사 지의 위치를 찾지 못하는 점이다. 두 번째는 조명보정으로 요검사 패드의 색상에 변화가 생기는 점이다.

본 논문에서는 앞에서 소개한 요검사 서비스의 제한사항을 보완하여 요검사지 방향에 제약이 없이 자동으로요 검사지를 인식, 요검사 패드의 색을 판별할 수 있는 스마트폰 기반의 요검사 스크리닝 애플리케이션을 제안한다. 논문의 구성은 다음과 같다. Ⅱ장에서는 요검사 스크리닝 애플리케이션 흐름도를 설명하고 Ⅲ장은 요검사지인식 알고리즘을 설명한다. Ⅳ장에서는 요검사 패드의 색상 판별 알고리즘을 설명하고 Ⅴ장은 제안한 시스템의 성능평가를 위해 다양한 환경에서 실험 및 결과를 분석하고 마지막 Ⅵ장에서 결론 및 고찰로 마무리한다.

Ⅱ. 요검사 스크리닝 애플리케이션 흐름도

요검사 스크리닝 애플리케이션은 메인 화면, 카메라 화면, 이미지 화면, 분석 화면의 4개의 Activity와 Activity 사이에서 공통으로 사용할 수 있는 전역변수 역할을 하는 Application class로 구성되어 있다. 그림 1은 요검사 스크리닝 애플리케이션의 동작 화면이다.

그림 1. 요검사 스크리닝 애플리케이션 동작 화면

Fig. 1. Urinalysis screening application action screen

메인 화면은 스마트폰에서 카메라를 사용할 수 있는 권한과 촬영한 이미지를 내부 저장소에 저장하기 위한 접근 권한을 요청하고 “카메라 실행” 버튼을 클릭하여 카메라 화면으로 이동한다.

그림 2는 카메라 화면의 흐름도이다. 카메라 화면은 사용자에게 카메라가 요검사지를 인지했음을 검은색 선으로 표시해주는 서비스이다. 카메라 초점이 요검사 지에 맞춰지지 않은 경우, 터치 포커스를 사용하여 카메라의 초점과 밝기를 조절한다. 이후 사용자는 촬영 버튼을 눌러 촬영한 사진을 전역변수에 입력하고 이미지 화면으로 이동한다.

그림 2. 카메라 화면 흐름도

Fig. 2. Camera display flowchart

그림 3은 이미지 화면 흐름도이다. 이미지 화면은 인지한 요검사지를 추출하고 요검사 패드 위치를 표시하여 사용자에게 보여준다. 위 과정이 모두 만족한 경우 분석화면으로 이동한다. 만약 요검사지 추출이 정상적으로 동작하지 않거나 요검사 패드 위치가 제대로 배치되지 않았을 경우는 재촬영을 위해 다시 카메라 화면으로 이동한다.

그림 3. 이미지 화면 흐름도

Fig. 3. Image display flowchart

분석 화면은 요검사 패드의 RGB 값을 추출하여 색을 판별한다. 판별한 후 추출한 요검사지와 분석 결과를 보여준다.

Ⅲ. 요검사지 인식 알고리즘

그림 4는 요검사지 인식 알고리즘의 흐름도이다. 요검사 지는 흰색 플라스틱 막대에 검사할 개수만큼의 요검사 패드가 일정한 간격으로 나열되어 있어 요검사지를 흰색 배경에 놓을 경우, 플라스틱 막대와 색이 같아 요 검사지를 파악하기 어렵다. 이런 문제를 해결하기 위해 gradient와 findContours를 사용하여 두 번에 걸쳐서 요검사 지의 윤곽선을 파악한다.

그림 4. 요검사지 인식 알고리즘 흐름도

Fig. 4. Urinalysis recognition flowchart

\(\text { gradient }=\text { dilate }(s r c)-\operatorname{erode}(s r c)\)       (1)

식 (1)은 gray 채널의 밝은 영역을 확대하는 dilate와 어두운 영역을 확대하는 erode의 차이를 통해 1차 요검사지 윤곽선을 파악하는 gradient 연산이다^[5].

1차 요검사지 윤곽선을 파악한 후 2차 요검사지 윤곽선을 파악하기 위한 사전 작업으로 이미지 이진화를 진행한다. 이진화는 검은색과 흰색으로만 표현하는 것을 의미하며 임계값을 기준으로 작으면 검은색, 크면 흰색으로 표시한다. 다양한 이진화 방법 중에서 윤곽선을 표현하는데 효과적인 adaptiveThreshold는 여러 영역으로 나눈 후에 영역 주변의 픽셀값을 활용하여 각 영역의 임계 값을 계산하여 이진화를 진행한다^[6].

이진화 후 findContours를 사용하여 2차 요 검사지 윤곽선을 파악하고^[7], 2차 요검사지 윤곽선을 포함하는 직사각형을 minAreaRect를 사용하여 찾음으로써 얇고 긴 직사각형 형태의 요검사지를 쉽게 인지한다. 요검사지 주변에 얇고 긴 직사각형 형태의 물체와 구별하기 위해 윤곽선 내부 넓이가 최대이면서 윤곽선 길이가 특정 값 미만인 조건을 만족시킬 때 요검사지를 인지한다. 요 검사지를 인지한 후 rect.point를 사용하여 요검사 지의 꼭짓점을 파악한다^[8].

요검사지의 꼭짓점을 파악한 후 카메라에 표시하기 위해 Imgproc.line을 사용한다^[9]. 인지한 요검사지를 추출하기 위해 꼭짓점 내부의 이미지를 포함하는 행렬을 getPerspectiveTransform으로 구성한 후 위치 변환 행렬 warpPerspective를 사용한다^[10].

Ⅳ. 요검사 패드의 색상 판별 알고리즘

요검사 패드의 색상을 판별할 수 있는 색 공간을 RGB 로 선택하였다. RGB는 빨간색, 초록색, 파란색의 빛을 3 차원으로 혼합하여 색을 표현하여^[11] 디지털 분야에서 많이 사용한다.

요검사 패드의 색상을 판별하기 위해서 기준값이 필요하다. 기준값은 요검사 패드에 음성과 양성으로 반응하는 정도관리물질^[12]을 묻힌 후 다양한 배경에서 촬영하여 각각의 RGB의 최대, 최소값의 평균값을 사용한다. 앞의 방식으로 기준값을 얻음으로써 색 판별에 큰 영향을 주는 주변 환경을 최소화한다.

\(\text { resylt }=\sqrt{\begin{array}{l} \left(R_{\text {추출값 }}-R_{\text {기준값 }}\right)^{2}+ \\ \left(G_{\text {추출값 }}-G_{\text {기준값 }}\right)^{2}+ \\ \left(B_{\text {추출값 }}-B_{\text {기준값 }}\right)^{2} \end{array}}\)       (2)

식 (2)는 추출한 R, G, B값과 기준값을 사용한 유클리디안 거리공식이다^[13]. 결과값이 가장 작을 경우, 기준값과 가장 가까운 값으로 판단한다.

Ⅴ. 다양한 환경에서 실험 및 결과 분석

요검사 스크리닝 애플리케이션의 요검사지 인식 알고리즘과 요검사 패드 색상 판별 알고리즘을 검증하기 위해서 영동제약(주)의 URiSCAN 10 SGL Strip 요검사 지와 URiTROL Liquid 1, 2의 정도관리물질을 사용하였다^[14]. 영동제약(주)의 요검사지는 대한임상검사정도관리협회에 등록된 기관에서 약 40% 이상 보유^[15]하고 있어 실험에 사용하였다. URITROL Liquid 1, 2는 액체 형태로 제공되며 개봉 후 2주까지 사용할 수 있고 음성, 양성의 기준인 분석범위를 표 1에 도시하였다.

표 1. 정도관리물질의 분석범위

Table 1. Analyte Range of Quality Control Material

첫 번째 실험은 요검사지 인식 알고리즘의 신뢰성을 검증한다. 다양한 배경, 각도를 설정하여 카메라에 요 검사지를 표시하고 촬영 시 요검사지를 추출, 요검사 패드의 위치를 확인한다. 배경은 흰색, 검은색, 빨간색, 노란색, 초록색, 파란색으로 설정하고, 각도는 0°부터 45°씩 회전하여 315°까지 각각 확인한다.

그림 5는 다양한 배경, 각도에서 카메라에 요검사지를표시한 결과로 설정한 배경과 각도에서 모두 요검사 지가 표시된 것을 확인하였다.

그림 5. 다양한 배경에서 요검사지 표시

Fig. 5. Display of Urinalysis strips on various backgrounds

그림 6은 사진 촬영 시 요검사지를 추출, 요검사 패드 위치를 표시한 결과로 요검사지가 다양한 각도로 놓여있어도 고정된 방향으로 요검사지가 추출, 요검사 패드 위치가 표시되는 것을 확인하였다.

그림 6. 요검사지 추출 및 요검사 패드 위치 표시

Fig. 6. Urinalysis strip extraction and Urinalysis pad position indication

두 번째 실험은 요검사 패드 색상 판별 알고리즘의 기준값의 신뢰성을 검증한다. 다양한 배경에서 정도 관리물질을 묻힌 요검사지를 제안한 애플리케이션으로 촬영하여 요검사 패드의 RGB의 최대, 최소값의 평균값 분포를 추출하여 판별에 사용할 수 있는 기준값인지 확인한다. 배경은 첫 번째 실험의 배경과 같으며 배경마다 15번씩 촬영하였다.

그림 7과 그림 8을 통해 정도관리물질의 분석범위가 차이가 나지 않는 pH와 비중을 제외한 검사항목의 RGB 의 분포가 유의미한 차이를 보임을 확인하였다.

그림 7. 다양한 배경에서 URiTROL Liquid 1 RGB 분포

Fig. 7. URiTROL Liquid 1 RGB distribution on various backgrounds

그림 8. 다양한 배경에서 URiTROL Liquid 2 RGB 분포

Fig. 8. URiTROL Liquid 2 RGB distribution on various backgrounds

세 번째 실험은 요검사 패드 색상 판별 알고리즘의 신뢰성을 검증한다. 두 번째 실험에서 검증한 기준값을 사용하여 요검사 패드의 색상 판별 정확도를 확인한다. 배경은 첫 번째 실험과 같으며 배경마다 10번씩 애플리케이션을 구동하여 그림 9과 같이 판별 결과를 확인하였다.

그림 9. 요검사 패드 색상 판별 결과

Fig. 9. Urinalysis pad color determination result

표 2는 제안한 애플리케이션을 구동하였을 때 판별 정확도를 표시하였다. 검사항목 당 요검사 패드의 색상 판별 정확도가 90% 이상으로 높은 정확도를 보이는 것을 확인하였다.

표 2. 요검사 패드 색상 판별 정확도

Table 2. Urinalysis pad color determination accuracy

Ⅵ. 결론 및 고찰

스마트폰은 현대인들의 필수품으로써 일상생활 내내 대부분 소지하고 있다. 본 논문에서는 이러한 스마트폰의 특성을 이용하여 새로운 요검사 스크리닝 애플리케이션을 개발하여 신속하고 정확하게 요검사를 할 수 있는지 분석하였다. 그 결과, 스마트폰을 활용한 요검사 서비스 관련 연구들의 제한사항을 보완하였으며 별도의 요검사기 없이 스마트폰의 애플리케이션으로 요검사를 할 수 있었다.

향후 개발한 애플리케이션이 상용화가 되기 위해서는 환자의 요를 사용하여 검증하고 요검사 패드 색상 판별에 사용하는 기준값을 최적화해야 할 것이다.