A development of a Digital tongue diagnosis system using the tongue color analysis of the each taste region

미각 영역별 설색 분석을 이용한 디지털 설진 시스템 개발

Abstract

A new tongue examination model by using color analysis according to the taste division of tongue. The proposed system consists of a tongue image acquisition in a predefined template, taste region segmentation, color distribution analysis and abnormality decision of tongue by color analysis using Hue-Saturation histograms and the part of a mobile application service. We divided 4 basic taste(bitter, sweet, salty and sour) regions and performed color distribution analysis targeting each region under HSI(Hue Saturation Intensity) color model. To minimize the influence of illumination, the histograms of H and S components only except U are utilized. Using the analyzed results, the abnormality is discriminated by the criteria of the histogram range of normal tongues. Finally, a self tongue diagnosis system which can be used anytime and anywhere on mobile environment.

본 논문에서는 미각영역별 색상분석에 의한 새로운 한의학적 설진 시스템을 제안한다. 시스템의 전체 구성은 혀 모양의 영상입력 탬플릿 범위 설정 및 영상획득, 미각영역별 분할, 분할된 영역에 대하여 H-S 히스토그램을 이용한 색상분석 및 이상 유무 판별, 모바일 앱과의 연동으로 구성된다. 혀 영역으로부터 짠맛, 신맛, 단맛, 쓴맛의 네 가지 영역으로 나누어 분할하고, RGB 컬러영상을 HSI 컬러영상으로 변환하였다. 색상분석은 HSI 모델을 이용하였는데, 주변 조도의 영향을 최소화하기 위하여 I(Intensity)값을 제외한 H(Hue)와 S(Saturation) 성분의 히스토그램을 이용하여 색상을 분석하였다. 분석된 결과를 이용하여 정상태 히스토그램의 범위를 기준으로 이상 유무를 판별한다. 마지막으로 제안한 알고리즘을 모바일 앱과 연동하여, 시간과 장소에 구애받지 않고 사용할 수 있는 설진 자가진단 시스템을 제안하였다.

Ⅰ. 서 론

한의학에서의 주요 진찰법은 크게 망(望), 문(聞), 문(問), 절(切)의 네 가지로 분류한다. 이중 망진에서 특히 중요한 것 중 하나는 설진(舌診)으로 설질(雪質)과 설태(舌苔)의 변화를 관찰하여 질병을 진찰하는 방법이다. 한의학에서 혀는 인체의 생리적, 임상적인 상태를 반영하는 기관으로 사람의 건강 상태를 진단하는 중요한 지표로 사용되고 있다[1]. 일반적으로 선행 연구들은 환자의 혀 전체 영역을 분석하지만 본 논문에서는 환자들의 혀 사진을 이용하여 혀 영역 검출, 혀 영역 분할, 분할 영역의 색상분포 검출을 이용하여 혀 미각의 종류별 구획에 따른 이상 유무를 판단한다. 제 2장에서는 기존에 연구된 설진 판별 방법들을 기술하고, 제3장에서는 제안하는 시스템을 기술한다. 제 4장에서는 제안하는 시스템에 대한 실험 및 결과고찰을 기술하여 제 5장에서는 결론 및 향후 연구를 제시한다.

 

Ⅱ. 관련연구

일반적으로 혀의 영역을 검출하는 방법에는 디지털 설진기를 이용하여 검출하는 방법과 디지털 설진 시스템(DTDS)을 이용하여 혀를 포함한 안면 영상을 획득한 후, 혀의 구조적인 특성을 이용하여 안면 영상으로부터 혀 영역을 검출하는 방법 등이 있다. 이러한 방법들은 검출률은 양호하지만 측정 장비의 규모가 커서 일반인들이 쉽게 이용하는데 한계가 있다. 혀의 영역을 검출하고 혀의 색상분석을 하기 위해 혀의 영역 분할이 필요하다. 혀의 영역분할 방법에는 에너지를 최소화하여 경계면을 찾는 Graph cut방법[2], Graph cut 의 구조를 반복하는 형태의 GrabCut 방법[3]이 제안되었으나 초기 단계에 물체를 둘러싸는 영역을 설정해 주어야 하는 단점을 가지고 있다. GrowCut방법[4]은 cellular automata를 적용하여 영역을 분할하는 방법으로 배경과 객체를 식별하기 위하여 사용자가 그에 해당하는 2개 이상의 픽셀에 식별표(user-labelled pixels)를 부여하여 영상을 분할하는 방식으로 사용자의 개입을 최소화하였다. 또한 Cylindrical metric을 이용한 블록기반의 컬러영상 분할 방법은 컬러 영상의 분할에 적합하지만, 경계면을 다른 영역으로 인식하는 경우가 많다. 혀의 영역을 분할한 뒤, 색상분석에 이용된 방법으로는 MATLAB을 이용하여 설태 영상으로부터 RGB값을 구하고, RGB 값으로 컬러벡터 변환식을 이용하여 분석하는 방법, RGB 값들의 히스토그램을 이용한 방법, YCbCr 컬러모델을 이용하여 설색지수를 분석하는 방법, 혀 영역에 대해 Cb와 Cr의 범위를 새로이 선정하여 혀의 병색과 관련된 색상 정보를 추출하여 분석하는 방법 등이 있다. 최근 HSI 컬러모델을 이용하여 가장자리 픽셀을 중심으로 한 영역의 평균값을 산출해내어 분석하는 방법들이 연구되어 색상분석 시스템 성능 향상에 기여하였다.

 

Ⅲ. 제안하는 시스템

제안하는 시스템은 HSI 컬러모델의 색상 분석에 기반한 한방 설진 모델로서 전체 시스템 흐름도는 그림 1과 같다.

그림 1.전체 시스템 흐름도 Fig. 1 Total System Flow

3.1. 관심영역 설정 및 혀 영상 획득

실험 영상 데이터베이스를 수집하기 전에 통일성 있는 혀 DB를 구축하기 위하여 혀 모양의 영상입력 탬플릿의 범위를 설정하였다. 혀 모양의 영상입력 탬플릿의 범위를 설정하여 입력영상에 대해 동일하게 미각영역별로 분할 할 수 있다. 그림 2는 혀 모양의 영상입력 탬플릿의 범위를 설정하여 혀 DB를 구축하는 그림이다.

그림 2.혀 모양의 영상입력 탬플릿의 범위 설정 Fig. 2 Tongue-shaped range of video input template set

3.2. 혀의 미각영역별 분할

미각 영역별로 이상 유무를 판별하기 위해서는 맛을 느끼는 영역들을 따로 검출하여 색상분석을 해야한다. 혀 DB는 혀 모양의 영상입력 탬플릿의 범위를 지정하여 구축하였기 때문에 상대적인 위치를 이용하여 혀 영역을 분할하였다. 그림 3은 미각 영역별 분할 결과를 나타낸 그림이다.

그림 3.미각 영역별 분할 결과 Fig. 3 Taste the segmentation results by region

그림 3에서 (1)은 좌‧우 양옆의 신맛 영역이며, (2)는 앞쪽의 단맛 영역, (3)은 가운데의 짠맛 영역이다. 마지막으로 (4)는 안쪽의 쓴맛 영역을 분할한 그림이다. 그림 3에서 각 영역별 바운딩 박스는 각각의 영역별로 겹치는 현상을 방지하기 위해 실제 맛을 느끼는 부분보다 작게 설정하여 분할하였다.

3.3. 혀의 미각영역별 색상분석

혀의 미각영역별로 분할된 영상을 이용하여 색상분석을 한다. 분할된 RGB 컬러 영상을 HSI 컬러 영상으로 변환을 하고, H-S 히스토그램을 이용하여 이상 유무를 판별한다. 그림 4는 혀의 색상분석 흐름도를 나타낸 그림이다.

그림 4.혀의 색상분석 흐름도 Fig. 4 Flowchart of tongue color analysis

일반적으로 혀 분석은 환자의 혀 전체 영역을 분석하여 진단에 사용한다. 그러나 한의학적 진단에서는 혀의 미각 영역별로 연결된 장기가 있다고 보고 있으며 이러한 관점에서 혀의 전체영역을 분석하는 것은 적합하지 않은 한계가 있다. 일반적으로 한의학에서는 신맛은 간장, 단맛은 비장 위장, 짠맛은 콩팥, 쓴맛은 심장과 관계가 있다. 따라서 각 미각 영역별로 색상분석에 의한 정상 여부를 판단함으로서 한의학적 보조 진단 도구로 활용 될 수 있을 것이다.

그림 5는 정상인 혀의 히스토그램을 나타낸 그림이다. 변환된 영역별 혀 영상의 이상 유무를 판별하기 위해 H-S 히스토그램을 생성한다. H-S 히스토그램은 각 영역별 혀에 대한 색상으로부터 추출된 특징들이 나타나는 횟수를 합산한 것이며, 주어진 데이터의 분포에 대한 통계적인 그래프로 나타낸다. 산출된 히스토그램의 결과를 이용하여 정상과 비정상인 혀를 판별한다. 진단의 기준이 되는 정상 혀는 DB에서 정상인 혀의 히스토그램 산출 결과와 한의학적 근거에 따라 기준으로 정의한다. 식 1은 정상과 비정상을 판별하는 식이다.

그림 5.정상인 혀의 히스토그램 Fig. 5 Histogram of normal tongue

식 1에서 Di(h,s)는 검출된 히스토그램의 산출 값을 의미하고, T는 기준 값을 나타낸다.

임계 값 이상이 검출되는 각 부위에 따라 정상인의 혀 색상 범위를 넘어 검출되는 영역을 2차 필터링 한다. 임계값은 부위별 이미지 면적의 색상 강도 200을 기준으로 한다. 2차 필터링이 된 부위에서 색상의 채도가 환자의 기준을 넘는 영역을 한의학적 소견에 따라 백태, 황태, 혹은 홍설이 존재한다고 판단한다. 그림 6은 임계값 이상이 검출되는 영역의 히스토그램을 나타낸 그림이다.

그림 6.임계값 이상이 검출되는 영역의 히스토그램 Fig. 6 The area above the detection threshold of the histogram

2차 필터링을 수행하면 임계 값 이상인 영역들이 검출된다. 검출된 영역들을 이용하여 두 번의 필터링을 실시한다. 먼저 정상인의 혀 색상(H) 범위를 넘는 히스토그램을 필터링을 하여 정상인의 혀 색상 범위를 넘게 되면 ‘비정상’으로 판별한다. 1차 필터링을 수행한 후, 정상인의 채도(S)를 기준으로 2차 필터링을 수행한다. 필터링을 통하여 최종적으로 얻어진 미각영역별 히스토그램에 대하여 색상과 채도의 비율을 통하여 설태가 존재하는 혀를 검출하고, 영역에 따라 이상 유무를 판별한다. 판별 방법은 실험적 데이터를 이용하여 색상강도가 200이상이고, 히스토그램 상의 색상 범위가 30 이상이면 ‘정상’, 채도가 1~5사이이면 ‘비정상’으로 판별한다. 그리고 색상 범위가 30이상이면서 채도의 범위가 10이상이면 ‘비정상’으로 판별한다. 그림 7은 분할된 혀의 영역에 대한 히스토그램을 나타낸 그림이다.

그림 7.분할된 혀의 영역에 대한 히스토그램 Fig. 7 Tongue segmented in area of the histogram

 

Ⅳ. 실험 및 결과 고찰

4.1. 실험 환경

실험에 사용된 영상은 스마트 기기를 이용하여 촬영하였다. 전체적인 실험은 크게 혀 모양의 영상 입력 템플릿 범위를 지정하여 통일성 있는 혀 DB를 구축하고, 상대적인 위치 값을 이용하여 미각영역별로 분할하였고, 분할한 RGB 컬러 영상을 HSI 컬러 영상으로 변환한 후, 색상분석을 수행하였다. 또한, 모바일 앱과 연동하여 스마트 기기 화면상에서 사진을 찍어 각각 미각영역별 이상 유무를 판별하였다. 그림8은 대전대학교 한방병원에서 수집한 훈련DB 사진이다. 훈련DB는 본 논문에서 제안하는 알고리즘의 성능분석을 위한 기준이 된다. 훈련 DB 중 정상태의 히스토그램을 기준으로 제안하는 알고리즘의 이상 유무판별을 도출한다.

그림 8.실험에 사용한 훈련DB Fig. 8 Training DB used in the experiment

본 논문에서 수집한 훈련DB는 대전대학교 한방병원에 입원중인 환자를 대상으로 총 300장으로 구성되었으며 사진은 성별, 연령별로 나뉘어 실제 훈련알고리즘에서 사용하였다.

표 1은 성별로 나뉜 데이터베이스의 표이다.

표 1.성별 분류 데이터베이스 Table. 1 Database on gender classification

데이터베이스를 성별로 구분한 것은 남성과 여성에 따른 입과 혀의 크기가 차이나기 때문에 혀를 분리하는 과정에서 참고하여 실험하였다. 표 2는 데이터베이스를 연령별로 분류한 표이다. 데이터베이스 연령별 분류는 환자의 나이에 따라 설태의 강도를 분석하는 과정에서 참고하여 연구하였다. 연령이 낮으면 설태의 분포가 연령이 높은 환자보다 비교적 낮게 분포된다. 따라서 혀를 분석함에 있어 진단 기준의 모호함을 해결하였다.

표 2.연령별 분류 데이터베이스 Table. 2 Database on age classification

4.2. 색상분석에 의한 미각영역별 이상 유무 판별 실험

최근 설진 연구가 활발히 진행되고 있으나 혀 전체 영역에 대한 연구가 대부분이며, 미각영역별로 분할하여 색상을 분석한 연구결과 데이터가 존재하지 않는다. 실험 결과의 성능 평가를 위한 본 논문의 시스템이 진단한 결과와 한의사가 진단한 결과를 비교하여 오차를 측정한다. 따라서 성능지표는 시스템의 진단 정확도를 평가한다. 그림 9는 제안한 시스템의 성능을 검증하기 위해 다양한 환자의 혀 사진을 이용하여 실험한 결과이다.

그림 9.실험 결과 Fig. 9 Experimental results

그림 9에서 (a)는 실험영상원본을 나타낸 사진이고, (b)는 제안하는 시스템을 이용하여 실험한 결과를 나타낸 그림이고,(c)는 한의사가 직접 판별한 결과를 나타낸 사진이다.

식 2는 그림 9의 결과를 이용하여 진단 성공률을 구하는 식이다. DT는 한의사가 판별한 영상의 숫자를 위미하고, ST는 시스템에서 판별한 것과 한의사가 판별한 영상의 일치한 영상의 숫자를 뜻한다.

그림 9와 같은 방법으로 대전대학교 정보통신공학과 재학생 남성의 사진 39장, 여성의 사진 11장으로 총 50 장의 실험영상을 이용하였다. 표 3은 시스템 진단 성공률로 시스템이 판별한 결과 중, 한의사가 판별한 결과와 일치하지 않는 테이블에 음영으로 표시하였다.

표 3.시스템 진단 성공률 Table. 3 System diagnostic success rate

식 3에서 Accuracy AVG(%) 은 진단 성공률의 평균을 의미하고, Accuracy Σj는 진단 성공률의 합을 의미한다. Result Σk는 실험영상의 개수를 의미한다. 식 3을 이용하여 구한 시스템 진단 성공률의 평균은 83.5%의 성공률을 얻을 수 있었다.

 

Ⅴ. 결 론

본 논문에서는 미각 영역별 색상분석에 의한 새로운 한의학적 설진 시스템을 제안하였다. 미각 종류별 분석을 위하여 혀의 검출 및 미각 부위별로 분할을 하였고, 분할된 부위들을 HSI 컬러모델을 이용하여 분석하였다. HSI 컬러 모델은 다른 컬러 모델과 비교하여 인간의 시각 모델과 흡사한 색상 모델로서 인간의 직관적인 시각에 기초를 두고 있기 때문에 제안한 진단 모델을 구축하는데 적합하다. 미각 부위별로 구한 히스토그램의 색상 강도와 채도 값은 한의사가 판별한 정상태 히스토그램의 색상 강도와 채도 값을 기준으로 색상분석을 하였다. 제안한 알고리즘은 보편적으로 빛의 밝기가 일정한 환경에서 실험하였다. 주위 환경이 많이 밝거나 어두우면 결과적으로 정확한 혀의 이상 유무 판별이 불가능하다. 이러한 한계는 기존의 연구들에서 사용되었던 색상보정 및 밝기의 임계값 조절 등을 병합 이용함으로써 보완할 수 있다고 본다. 향후, 본 알고리즘을 미각영역별 색상 분석 시스템에 색상분석과 동시에 혀의 형태분석이 가능한 시스템으로 보완이 요구된다.