A Study on Needle Detection by using RGB Color Information

RGB 컬러정보를 이용한 침 인식에 관한 연구

Abstract

In this paper, a detection algorithm for the removal of needle in oriental clinic is presented. First, in the proposed method, the candidate areas of each needle penetrated are selected by using the RGB color information of needle head, and the false candidates are removed by considering their area size. Next, two main edges of the needle are extracted through using the edges of selected candidate areas and their radon transformation. The final verification of penetrated needle is accomplished by using the morphological analysis of these two edge lines. In the experiments, the detection rate of proposed method reaches to 99% for the 36 images containing 294 needles.

1. 서 론

일반적으로 한의학에서 행하는 한방치료는 한의사가 사진법(四診法)을 통하여 환자의 상태를 파악한 후 침이나 뜸을 시술(施術)하고 있으며 이러한 사진법은 환자의 상태를 보고, 듣고, 묻고, 맥을 짚는 방법에 의해 파악하는 것이다[1,2]. 특히, 침이나 뜸은 환자의 건강상태에 따른 치료 및 보양을 위한 목적으로 한의학에서 자주 시술되고 있다. 그 중, 침시술의 경우는 침의 크기가 작고 가늘 뿐만 아니라, 치료를 위해 많은 수의 침을 한꺼번에 직침(直針)하는 경우가 많아, 침술 도중 발침(拔針)이 완전히 이루어지지 않음으로써 의료사고가 간간히 발생되고 있다.

치료수단으로 환자의 몸에 직침 한 후에 발침하는 과정에서 직침 된 모든 침을 전부 회수하지 않고 환자 몸에 그대로 방치하여 발생되는 의료사고의 경우, 환자에게 2차 피해를 줄 수 있으며, 자칫 환자의 목숨까지 위협할 수 있다. 아울러, 이는 민원소송을 유발시켜 해당 의료기관은 손해배상에 따른 큰 손실을 유발시키는 원인이 되기도 한다. 특히 대부분의 대형한방병원의 경우 직침자(한의사)와 발침자(간호사)가 다름으로써 이러한 사고의 위험에 쉽게 노출되어 있으나 이는 대형 의료기관의 신뢰성과도 밀접한 관계가 있어 많은 병원 관계자들이 숙지하고 있는 의료사고 중 하나임에도 불구하고 정확한 통계조차도 찾아보기 힘들다. 또한 이러한 불완전한 발침에 대한예방시스템은 전무한 상태로 전적으로 시술한 한의사의 개인적 기억에 의존하고 있어 시급히 이러한 의료사고의 예방을 위한 시스템의 도입을 대부분의 한방병원에서 필요로 하고 있는 실정이다.

과거 불완전한 발침의 위험을 예방하기 위하여 침의 머리 부분에 발침자의 인지가 용이하도록 명도가 큰 형광색으로 코팅된 침을 사용하는 방법[3]이 제시되었으나 이 또한 전적으로 발침자의 시각에 의존함으로써 여전히 위험성이 남아있다 할 수 있겠다. 따라서 본 논문에서는 이와 같은 기존의 침술 치료의 문제 해결을 위해, 시술 영역을 촬영·획득한 영상으로부터 직침 된 침의 위치 및 제거 여부를 자동으로 확인할 수 있는 영상모니터링 시스템과 이의 구현에 필수적인 침 인식 알고리즘을 제안하고자 한다.

현재까지 구현된 구체적인 기술은 전무한 상태며 단지 특정센서(바코드, RFID, 또는 자기장센스)를 이용한 침의 위치추적 개념[4,5,6]과 촬영된 환자영상으로부터 침 인식개념을 적용한 영상모니터링 시스템에 대한 아이디어만 특허출원중인[7] 상태라 본연구를 통해 구체적인 알고리즘을 기술적으로 완성함으로써 이 분야의 독점적 기술선점 및 상품화를 이루고자한다. 특히 특정센서 기반의 침 위치추적시스템은 일회용으로 사용되는 침에 센서물질을 부착해야하는 점과 환자병상에 그것을 감지 할 수 있는 센서들이 설치되어 있어야 하는 점 등 그 경제성이 낮아 본 연구에서는 특별한 침 검출장비 없이 촬영된 환자영상으로부터 직접적으로 침을 인식하는 알고리즘을 개발하고자 하였다.

침은 그 크기가 작고 가늘어 일반적으로 촬영된 환자의 영상으로부터 그 위치를 추출하기는 쉽지가 않다. 따라서 본 연구에서는 침을 효과적으로 추출하기 위하여 침 머리 부분에 인체에 무해한 노란색의 발광 물질을 도포함으로써 직침 된 침이 그 주위환경 보다 밝게 촬영되는 기법을 적용하였다. 조명은 인식 알고리즘의 활용성을 높이기 위해 카메라렌즈에 부착된 백색광선의 링(ring) 조명을 제외한 특별한 조명장치 없이 일반 한방병원의 치료실 조명 아래서 직침된 환자영상을 촬영하였다. 제안된 알고리즘은 이렇게 획득된 영상으로부터 발광된 침 머리 부분의 RGB 컬러 정보를 이용하여 침 후보 영역을 찾고 이진화 및 잡음제거 과정, 그리고 추출된 영역의 크기 성분 등을 고려하여 거짓 후보영역을 제거하는 과정을 거친 후, 추출된 후보영역의 edge 성분에 Radon 변환[8]을 적용하여 침의 경계를 이루는 두 개의 주직선 성분을 찾아 형태학적 분석을 함으로써 최종적으로 침을 검증하도록 구성되어 있다. 자세한 알고리즘에 대한 설명은 2장과 3장에 서술되어 있으며 4장에서는 실험과정, 그리고 5장에서는 향후 보완계획 및 결론 등을 서술하였다.

 

2. 발침을 위한 영상모니터링 시스템

본 연구를 통해 최종적으로 구성하고자 하는 영상모니터링 시스템의 개념도는 Fig. 1과 같다. 시스템의 구성요소로는 먼저, 카메라(Fig. 1의 (a),(b),(c))들로 구성된 영상촬영부와 시술 및 발침 후 촬영된 영상으로부터 침을 인식하는 알고리즘을 포함하는 영상처리부, 그리고 그러한 소프트웨어를 내장하고 인식된 침의 위치 및 개수를 표시하여주는 영상출력부(Fig. 1의 (d)) 등으로 구성하고자 한다. 특히 카메라 및 영상출력부의 표시장치 등은 사용 환경변화에 적합하도록 위치이동 및 탈부착이 가능하도록 구축하고자 한다. Fig. 2에는 Fig. 1의 (a)에 표시된 전면 촬영부의 상세도를 나타내고 있으며 전면 촬영부에는 필요에 따라 카메라 수의 조절 및 조명장치의 삽입을 가능하게 할 수 있도록 한다. 이렇게 구성된 발침을 위한 영상모니터링 시스템의 가장 중요 필요기술은 무엇보다도 획득한 영상으로부터 침을 인식하는 알고리즘의 개발이라 할 수 있겠다. 이는 Fig. 1의 (d)에 탑재되어 시술된 침의 위치 및 발침 여부를 모니터를 통해 표시할 수 있어야 한다. 본 연구에서는 노란색 발광물질로 도포된 침 머리 부분의 RGB 컬러성분을 이용하는 인식 알고리즘을 개발하였으며 특별한 조명장치 없이 카메라에 장착된 링(ring) 조명만 활용하여 한방병원의 일반 치료실에서 영상을 촬영·획득하고 인식과정을 수행하였다.

Fig. 1.Image monitoring system for the removal of needle. (a) Camera unit for front image capture, (b) and (c) cameras for side image capture, (d) monitor for output display, and (e) clinic bed.

Fig. 2.Detail image of the camera unit for front image capture in fig. 1.

 

3. 직침된 침의 검출

3.1 직침된 환자의 영상획득

발침에 필요한 영상모니터링 시스템의 구현을 위한 핵심기술은 직침된 환자영상으로부터 크기가 작고 두께 또한 가는 침에 대한 인식기술이라 할 수 있다. 본 논문에서는 침을 효과적으로 추출하기 위하여 침의 머리 부분에 인체에 무해한 노란색의 발광물질을 도포하여 환자 영상이 촬영될 때 직침된 침이 그 주위 환경보다 밝게 하였다. 이러한 방법은 과거 직침 시 발침자의 인지가 용이하도록 침 머리 부분에 형광색으로 코팅된 침[3]을 이용하는 것에서 유례를 찾을 수 있다. 그러나 본 연구에서는 링 조명이 부착된 카메라가 획득한 촬영영상에서 침을 인식해야하기에 빛을 재귀(Retro) 반사[9]하는 발광물질을 사용하였다. 거친 표면이나 매끄러운 표면에서의 반사광은 각각 난반사(Diffuse reflection)와 거울반사(Mirror reflection)를 일으킨다. 그러나 미세한 유리구슬을 포함하는 발광물질은 입사광이 들어올 때 빛이 들어온 방향으로 재귀 반사(Retro reflection)를 하기 때문에 Fig. 3에 표시된 것처럼 카메라의 렌즈에 부착된 링 조명에 의해 카메라 정면 방향으로 반사광을 낼 수 있어 침의 머리 부분이 주변보다 항상 밝게 촬영되어진다.

Fig. 3.Types of light reflection on luminary. (a) Diffuse reflection, (b) mirror reflection, (c) retro reflection, and (d) image capturing by using ring light.

실험영상의 획득을 위해 카메라 렌즈의 테두리에는 원형의 링 조명이 장착되어 촬영 시 자동으로 켜지도록 설정되어 있으며 일반 한방치료실의 형광실내조명 아래서 리모콘(remote control)에 의해 직침 후 환자영상을 원격 촬영하였다. 또한 실험을 위해 지지대를 설치하여 Fig. 1의 영상모니터링시스템의 개념도와 유사한 프로토타입(prototype)을 구성하고 환자영상을 상, 중, 하단의 세 영역으로 나누어 촬영·획득하였으며 이는 Fig. 4, 5, 6에 나타나 있다.

Fig. 4.Capturing process for upper portion of body. (a) Concept image for upper portion of body capturing, (b) real image with penetrated needle and (c) capturing process of the image.

Fig. 5.Capturing process for mid portion of body. (a) Concept image for mid portion of body capturing, (b) real image with penetrated needle and (c) capturing process of the image.

Fig. 6.Capturing process for lower portion of body. (a) Concept image for lower portion of body capturing, (b) real image with penetrated needle and (c) capturing process of the image.

3.2 환자영상에 대한 침 인식

본 논문에서 제안된 RGB 컬러정보를 이용한 침인식 알고리즘은 크게 3단계로 구성된다. 먼저 발광된 침 머리 부분의 참조(reference) RGB 컬러 성분을 정하고 직침된 환자의 RGB 입력영상과의 거리를 이용하여 침 후보 영역을 찾아 이진화하는 과정과, 추출된 후보 영역에 대한 잡음제거와 크기성분 등을 고려하여 거짓 후보영역을 제거하고 edge와 Radon 변환을 이용하여 두 직선 성분을 추출하는 과정, 그리고 최종후보 영역에서 두 직선성분의 형태학적 분석을 통해 침을 검증하는 과정으로 구성된다. 전체 알고리즘의 흐름도는 Fig. 7에 요약되어 있으며 단계별 설명은 다음과 같다.

Fig. 7.Algorithm flowchart (1st stage: Binarization, 2nd stage: Extraction of two main line, 3rd stage: Verification process).

< 1 단계: 이진화 과정: Fig. 7의 1, 2, 3>

step 1 : 침의 효과적 추출을 위해 침 머리 부분에 노란색 발광 물질을 도포하고 한방치료실의 일반 조명 아래서 카메라렌즈에 부착된 링 조명만으로 직침환자의 영상을 획득한다. Fig. 8은 환자의 배 부위가 촬영된 영상이다.

Fig. 8.A sample of input image.

step 2: 노란색으로 발광된 침 머리 부분의 참조 RGB 컬러 성분을 이용하여 입력영상의 각 화소들과 유클리드(Euclead) 거리를 식 (1)을 적용함으로써 Fig. 9와 같은 거리 영상을 획득한다.

Fig. 9.Distance image with reference RGB components of needle head.

where I(i,j,:) : color components of input image Gr, Gg, Gb : each of reference R, G, B components for the yellow color of needle head.

step 3 : 거리영상인 Fig. 9에서 Otsu [10]의 방법으로 임계값을 설정하고 이진화 한다. 하지만 이진화를 통해 추출된 후보영역은 RGB 컬러성분의 구성비율이 아니라 식 (1)의 유클리드 거리에 전적으로 의존함으로 침 머리 부분의 노란색 컬러정보를 온전히 나타내지는 못한다. 따라서 추출된 후보영역의 RGB 컬러성분 중 Red와 Green 성분이 Blue 성분보다 일정비율보다 적은 영역은 노란색을 나타낼 수 없음으로 이 영역들은 후보영역에서 제거한다. 이는 식 (2)에 표시되어 있으며 그 결과영상은 Fig. 10과 같다.

Fig. 10.Binary image after thresholding and ratio analysis of RGB component.

where th1 : Otsu’s threshold

th2, th3 : threshold values for the yellow color ratio of needle head.

< 2 단계: 거짓후보영역제거와 두 직선성분의 추출과정: Fig. 7의 4, 5, 6>

step 4 : Fig. 10의 이진영상에 대해 영상의 형태학적 연산(morphological operation)인 열기(opening)와 닫기 연산(closing) [11,12]을 적용하여 잡음을 제거하고 난 후 침 후보 영역의 크기(면적) 정보를 이용하여 일정한 크기 이상 및 이하의 후보영역들은 제거한다. 노란색 발광물질로 도포된 침 머리 부분의 크기는 일정한 면적을 가짐으로 식 (3)을 적용하여 그 외의 후보영역은 제거한다. Fig. 11은 Fig. 10에서 거짓후보영역이 제거되고 난 후의 이진영상과 이를 입력영상에 투영하여 후보영역을 표시한 영상이다.

Fig. 11.Image after removing false candidate areas. (a) Binary image by equation (3) and (b) input image containing candidate areas.

where a(k) : area of candidate region k

th4, th5 : threshold values for needle head’s area.

step 5 : 획득한 후보 영역의 최소포함 사각형(minimum enclosing rectangle) 영역에서 형태학적 연산(morphological operation)인 침식(erosion) 연산을 식 (4)와 같이 적용하여 edge를 획득한다. 이 과정은 후보영역의 명암도 영상에 edge 검출 마스크[11,12] (sobel, canny 등)를 이용하여서도 획득되어 질 수 있다. Fig. 12은 추출된 edge 영상을 나타낸다. 식 (4)에서 I 는 후보 영역 영상, Ie는 후보영역에 대한 침식(erosion)과정을 한번 수행한 영상이며, Iedge는 edge 영상이다.

Fig. 12.Edge detection for candidate area.

step 6 : 획득한 각 후보영역의 edge 영상에 Radon 변환을 적용하여 그 값이 제일 큰 값과 두 번째로 큰 값을 추출하여 두 개의 주 직선 성분을 추출한다. 그 예는 Fig. 13에 표시되어 있으며 이 과정은 후보영역에 Hough 변환 [11,12,13]을 적용하여도 같은 결과를 얻을 수 있다.

Fig. 13.Radon transform and two main lines detection.

< 3 단계: 두 직선성분의 형태학적 분석을 통한 검증과정: Fig. 7의 7, 8>

step 7 : 후보영역에서 추출된 두 개의 주 직선 성분은 침 머리 부분의 테두리를 나타냄으로, 평행성 여부를 식 (5)를 적용하여 알아봄으로써 최종 후보영역에 대한 1단계 검증을 실시할 수 있다. Fig. 14에는 이 과정을 거친 후보영역이 표시되어 있으며 Fig. 11에서 후보영역으로 검출된 9번 영역이 이러한 과정을 통해 제거됨을 알 수 있다.

Fig. 14.Candidate areas after verification of two lines’ parallelism.

where θA, θB : each of angles between two main lines A,B and holizontal line, respectively.

step 8: 마지막 단계로, 추출된 두 직선의 간격과 주 직선의 길이 정보를 식 (6)과 같이 적용하여 최종후보영역을 검출하였으며 Fig. 15에 표시되었다. 이 과정에서는 Fig. 11의 거짓후보영역인 10번 영역이 제거됨을 알 수 있으며, 최종적으로 Fig. 9의 입력영상에서 검출된 직침 된 침은 8개이며 그 영역은 Fig. 15와 같다.

Fig. 15.Finally verified areas for each of needle penetrated.

where dist : distance between two main lines length: length of detected main line.

 

4. 실험결과

제안된 방법의 성능 평가를 위해서 대형 한방병원의 치료실에서 촬영된 환자영상을 이용하였다. 일반환자에 대한 직접적인 침 시술은 정부 관계기관의 허가를 얻어야 하는 등 현실적 제약이 있는 관계로 알고리즘 개발 단계인 현 시점에서는 의료용 마네킹을 대상으로 대형한방병원에 근무하는 한의사의 도움을 받아 4일에 걸쳐 침 시술을 36회 직접 실시하고 그 영상들을 획득하였다. 촬영에 사용된 카메라는 소니 ILCE-7이며 줌 기능은 사용하지 않았으며, 카메라 렌즈의 테두리에만 원형의 링 조명을 장착하여 리모콘에 의한 원격 촬영 시 자동으로 켜지도록 설정하였고 대형한방병원의 밀폐된 한방치료실에 있는 일반 형광조명은 평상시처럼 모두 켜진 상태에서 촬영함으로써 영상촬영 시간대에 따른 실내 조명조건의 변화는 거의 발생하지 않았다. 또한 앞서 3.1에서 서술한 것처럼 지지대를 이용하여 Fig. 1의 영상모니터링시스템의 개념도와 유사한 프로토타입(prototype)을 구성하고 3대의 카메라를 장착하여 환자영상을 상, 중, 하단의 세 영역으로 나누어 촬영하였으며 획득한 영상의 크기는 3600x5400 RGB 컬러영상이다. 이렇게 촬영된 36장의 영상에 대하여 침의 검출을 수행하였으며 각 영상에는 최소 3개, 최대 21개의 침이 직침되어 있고 그 전체 개수는 294개 이다.

제안된 알고리즘은 인텔 i5-2500 cpu에 Matlab 7.1로 코딩되었으며 침 시술의 특성상 빠른 처리속도를 요구하진 않으나 한 장의 영상에서 직침 된 모든 침의 위치를 표시하는 데는 평균 3초 내외가 소요되었으며 검출율은 Table 1에 요약되어있다. 전체 36개의 실험영상 중 3개의 영상에서 각각 1개씩의 오류(2개의 false acceptance error(FA), 1개의 false rejection error(FR))가 발생하였다. Fig. 16에는 21개의 침이 성공적으로 모두 검출된 경우(a)와 직침된 15개의 침 중 1개를 검출하지 못한 경우(b)를 나타내었다. Fig. 16-(b)의 FR 경우는 발광된 침 머리 부분의 영역이 상대적으로 너무 작아 식 (6)의 주 직선의 길이 임계값(th8)에 의해 침으로 검출되지 못한 경우이다. 의료시스템의 특징상 FR 오류는 환자에게 더 치명적일 수 있어 식 (6)의 임계값을 조절함으로써 이와 같은 FR 오류는 낮출 수는 있으나 상대적으로 FA 오류가 증가하게 된다. 이러한 문제점은 향후 침머리 부분에 대한 발광물질 도포영역의 일관성과 카메라 위치조정, 그리고 링 조명의 밝기조절 등을 통해 개선되어 질 수 있을 것으로 사료된다.

Table 1.Verification results for penetrated needles

Fig. 16.Samples of needle verification: (a) Without FA or FR and (b) with 1 FR.

 

5. 결 론

본 논문에서는 한방치료의 침 시술 중 발생할 수 있는 불완전한 발침으로 인한 의료사고 방지를 위한 영상모니터링 시스템에 필요한 침 인식 알고리즘을 제안하였다. 가늘고 소형화된 침의 형태학적 특징으로 인해 일반적으로 촬영된 영상으로부터 직침 된 많은 수의 침을 모두 인식하는 것은 쉽지가 않다. 제안된 알고리즘에서는 침 머리 부분에 발광물질을 도포하고 그 RGB 컬러성분을 참조 모델로 이용하여 환자영상으로부터 직침 된 침의 위치를 검출하였으며, 의료용 마네킹을 대상으로 한 실험에서 빠른 처리속도와 함께 약 99%대의 높은 침 검출율를 보였다. 향후 제안된 영상모니터링 시스템의 상용화를 위해서는 관계기관의 허가를 취득한 후 실제 환자를 대상으로 하는 임상검증을 진행할 예정이다. 그 과정에서 다양한 환자의 피부 및 착용의복 색깔에 따른 영향을 최소화하는 방향으로 인식 알고리즘의 수정 및 보완 작업이 이루어 져야 할 것이며 또한 사용자 편이성을 고려한 모니터링시스템의 집적화(integration)작업도 함께 지속적으로 추구해 나갈 계획이다.