Deep Learning-Based User Emergency Event Detection Algorithms Fusing Vision, Audio, Activity and Dust Sensors

영상, 음성, 활동, 먼지 센서를 융합한 딥러닝 기반 사용자 이상 징후 탐지 알고리즘

Abstract

Recently, people are spending a lot of time inside their homes because of various diseases. It is difficult to ask others for help in the case of a single-person household that is injured in the house or infected with a disease and needs help from others. In this study, an algorithm is proposed to detect emergency event, which are situations in which single-person households need help from others, such as injuries or disease infections, in their homes. It proposes vision pattern detection algorithms using home CCTVs, audio pattern detection algorithms using artificial intelligence speakers, activity pattern detection algorithms using acceleration sensors in smartphones, and dust pattern detection algorithms using air purifiers. However, if it is difficult to use due to security issues of home CCTVs, it proposes a fusion method combining audio, activity and dust pattern sensors. Each algorithm collected data through YouTube and experiments to measure accuracy.

최근 다양한 질병 때문에 사람들은 집 안에서 많은 시간을 보내고 있다. 집 안에서 다치거나 질병에 감염되어 타인의 도움이 필요한 1인 가구의 경우 타인에게 도움을 요청하기 어렵다. 본 연구에서는 1인 가구가 집 안에서 부상이나 질병 감염 등 타인의 도움이 필요로 하는 상황인 이상 징후를 탐지하기 위한 알고리즘을 제안한다. 홈 CCTV를 이용한 영상 패턴 탐지 알고리즘과 인공지능 스피커 등을 이용한 음성 패턴 탐지 알고리즘, 스마트폰의 가속도 센서를 이용한 활동 패턴 탐지 알고리즘, 공기청정기 등을 이용한 먼지 패턴 탐지 알고리즘을 제안한다. 하지만, 홈 CCTV의 보안 문제로 사용하기 어려울 경우 음성, 활동, 먼지 패턴 센서를 결합한 융합 방식을 제안한다. 각 알고리즘은 유튜브와 실험을 통해 데이터를 수집하여 정확도를 측정했다.

1. 서론

최근 다양한 질병으로 인해 집 안에서 많은 시간을 보 내고 있다. 집 안에서 다치거나 질병에 감염되어 타인의 도움이 필요할 경우에 다인 가구는 쉽게 가족 등에게 도 움을 요청할 수 있지만 1인 가구는 타인에게 쉽게 도움 을 요청할 수 없다. 1인 가구의 수는 점점 더 많아지고 있는 추세이며 한국의 문제뿐만 아니라 전 세계적으로 증가하고 있는 추세[1]이다. 우리는 1인 가구가 집안에서 부상이나 질병 감염 등 타인의 도움이 필요로 하는 상 황인 이상 징후를 보여 일반적인 생활 패턴과 다른 비정 상적인 패턴을 탐지하고자 한다. 본 연구에서는 집 안에 설치된 홈 CCTV를 이용해 사람 및 사물을 탐지하여 사 람의 움직임 및 이상 징후를 파악하는 영상 패턴 알고리 즘과 사람의 음성을 수집하고 분석하여 사람의 움직임 및 이상 징후를 파악하는 음성 패턴 알고리즘을 제안한 다. 또한, 스마트폰의 가속도 센서를 이용하여 사람의 움 직임 및 이상 징후를 파악하는 활동 패턴 알고리즘과 공 기청정기 등 가정의 다양한 기계에서 사용되고 있는 먼 지 센서를 이용하여 사람의 움직임 및 이상 징후를 파악 하는 먼지 패턴 알고리즘을 제안한다. 각 알고리즘을 이용하여 사람의 움직임 및 이상 징후를 파악할 수 있다. 그러나, 영상 패턴 알고리즘은 홈 CCTV를 통해 영상 데 이터를 수집하는데 보안 문제로 인해 사용을 원하지 않 을 수 있다. 영상 패턴 알고리즘을 사용하지 않을 경우 음성, 활동, 먼지 패턴 알고리즘을 결합한 융합 방식을 제안하고자 한다. 융합 방식을 통해 각 패턴 알고리즘이 가지고 있는 단점을 서로 보완할 수 있다.

연구와 관련된 연구들을 설명하고 각 패턴 알고리즘 및 융합 방식에 대해 설명한다. 패턴 알고리즘과 융합 방식은 다양한 실험을 통해 정확도를 측정한다.

2. 관련 연구

영상 및 이미지를 기반으로 사람 및 사물을 탐지하는 연구들이 활발히 진행되고 있으며 Faster R-CNN 알고리즘[2]은 2-Stage detection 알고리즘 중 높은 정확도로 사 람 및 사물 등의 객체를 탐지할 수 있다. 또한, Inception 모듈[3]을 Faster R-CNN 알고리즘과 결합하여 Common Objects in Context(COCO) Dataset으로 사전 학습된 모델 [4]을 활용하여 사용했다.

다양한 소리를 분석하고 분류하는 연구들[5,6]이 다양 하게 진행되고 있으며 본 연구에서는 다양한 소리를 분 석하기 위하여 MFCC (Mel-Frequency Cepstral Coefficient) 알고리즘을 이용한다. 또한, 분석된 소리를 효과적으로 분류하기 위하여 GMM (Gaussian Mixture Model) 을 이 용하여 분류 모델을 만들어 탐지되는 소리를 분류하도록 했다.

스마트폰의 다양한 센서를 이용하여 사람의 움직임을 확인하거나 낙상을 탐지하는 연구[7, 8, 9] 들이 진행되고 있다. 스마트폰의 가속도 센서를 이용하여 낙상을 탐지 하는 연구는 가속도 센서의 특징을 분석하고 낙상과 낙 상이 아닌 상황에 대한 임계 값을 파악한 후, 차이뿐만 아니라 더욱 강화된 낙상 감지 접근법을 제안했다.

다양한 Internet of Things(IoT) 디바이스와 먼지 센서를 결합하여 대기질 또는 미세먼지를 탐지하는 연구들[10,11] 또한 활발히 진행되고 있다. 라즈베리파이와 아두이 노에 먼지센서 또는 가스 센서 등 다양한 센서를 연결하 고 블루투스나 Wifi 모듈을 통해 측정한 값을 전달하여 분석한다. 본 연구에서는 아두이노와 DSM501A 센서를 이용하여 공기 중 발생된 먼지를 측정하는 방법을 사용한다.

우리는 이전의 연구들[12, 13, 14]을 기반으로 영상 패 턴 알고리즘과 음성, 활동 패턴 알고리즘을 융합하거나 먼지, 활동 패턴 알고리즘을 융합한 연구들을 진행했으 며 다양한 시나리오를 기반으로 높은 정확도로 정상적인 활동 및 이상 징후를 탐지할 수 있었다. 하지만, 홈 CCTV의 보안 이슈 등 다양한 이유로 영상 패턴 알고리 즘을 사용하지 못하는 상황이 발생될 수 있다. 영상 패턴 알고리즘을 제외한 음성, 활동, 먼지 패턴 알고리즘을 이 용한 융합 방식을 통해 각 알고리즘의 단점을 보완하고 높은 정확도로 사람의 정상적인 활동 및 이상 징후를 탐 지한다. 각 패턴 알고리즘에 대해서 설명한 후 각 알고리 즘의 실험을 진행하고 융합 방법은 다양한 시나리오를 기반으로 평가를 한 후 결론을 통해 마무리한다.

3. 제안하는 알고리즘

영상 패턴 알고리즘은 홈 CCTV를 기반으로 영상 데 이터를 수집하고 사람 및 사물을 탐지하여 사람의 정상 적인 활동 및 이상 징후 상태를 탐지한다. 영상 패턴 알 고리즘의 구조는 그림 1과 같다. 홈 CCTV를 통해 수집 한 데이터를 통해 사람 및 사물을 탐지하기 위해 Faster R-CNN Inception v2 알고리즘을 사용한다. Faster R-CNN Inception v2 알고리즘은 2-Stage detection 알고리즘으로 높은 정확도와 처리 속도를 기반으로 탐지할 수 있다. 사 람이 탐지되면 사람의 움직임 여부를 분석한다. 사람이 라고 탐지된 물체의 Bounding box의 x, y 좌표 값의 변화 와 비율, 탐지 정확도의 정보를 기반으로 움직임을 분석 한다. 움직임이 없다고 판단되면 패턴 분석을 통해 휴식 공간에서 휴식을 취하는 중인지, 휴식을 취하는 시간인 지를 분석한다. 패턴 분석의 결과를 통해 움직임이 없으 면 이상 징후가 발생했다고 탐지되며 정상적인 휴식 장 소 및 시간대면 정상적인 활동이라고 판단한다. 사물이 탐지되면 사물의 움직임 여부를 분석한다. 사람이 영상 영역 밖에서 물체를 움직일 수 있기 때문에 물체의 Bounding box의 x, y 좌표 값의 변화를 기반으로 사물의 움직임 여부를 판단한다. 움직임이 없다고 판단되면 사 물 위치의 패턴을 분석한다. 위치 변동이 없던 사물이 위 치가 변동되었으면 사람이 인위적으로 물체를 이동시켰 다고 판단하여 정상적인 상태로 분류하며 사물의 위치가 지속적으로 변동되지 않으면 이상 징후가 발생되었다고 판단한다.

(그림 1) 영상 패턴 알고리즘의 구조

(Figure 1) Algorithm architecture for the vision unusual pattern detections

음성 패턴 알고리즘은 인공지능 스피커 및 리모컨 등 다양한 IoT 장치들을 통해 음성 데이터를 수집할 수 있 다. 음성 패턴 알고리즘의 구조는 그림 2와 같다. 다양하 게 수집된 음성 데이터를 기반으로 사람의 움직임 또는 이상 징후 상태를 파악할 수 있다. 수집된 음성 파일은 MFCC 알고리즘을 이용하여 Features 추출하고 GMM 알고 리즘을 이용하여 추출된 Features를 기반으로 Classification 을 하는 모델을 생성한다. Classification에서는 음성을 3가 지 소리로 분류하도록 했다. 첫 번째 탐지 결과는 조용한 소리이다. 조용한 소리는 사람의 움직임이 발생하지 않 거나 휴식을 취하는 등의 상황을 탐지하기 위함이다. 두 번째 탐지 결과는 말하는 소리이다. 말하는 소리는 사람 이 현재 정상적인 상태에서 대화를 하는 등 활동적인 상 황을 탐지하기 위함이다. 세 번째 탐지 결과는 노이즈가 낀 소리이다. 노이즈가 낀 소리는 집 안에서 발생될 수 있는 일상적인 소음(냉장고 소리, 에어컨 소음 등)이 말 하는 소리에 분류되지 않도록 하여 사람의 일상적인 활 동 상황 또는 이상 징후 상태를 명확하게 구분하기 위함 이다. 3가지 소리로 분류되는 모델을 통해 음성 파일의 패턴을 분석한다. 말하는 소리가 탐지되면 사람이 정상 적으로 움직이고 있다고 판단할 수 있다. 그리고 이상 징 후가 발생할 경우 말하는 소리가 탐지되지 않고 집 안의 다양한 상황에 따라 조용한 소리와 노이즈 낀 소리가 탐 지된다. 장시간 동안 조용한 소리와 노이즈 낀 소리만 탐 지될 경우 이상 징후가 발생했다고 판단한다. 또한, TV를 시청하거나 노래를 재생할 경우 말하는 소리 로 탐지되어 정상적인 상황이라고 판단할 수 있다. 하지 만 장시간 동안 TV를 시청하거나 노래를 재생하는 경우 는 많지 않고 평소의 수면 시간 등 일상적인 생활 패턴 시간을 분석하여 장시간 동안 말하는 소리가 탐지되는 경우도 이상 징후가 발생됐다고 판단한다.

(그림 2) 음성 패턴 알고리즘의 구조

(Figure 2) Algorithm architecture for the audio unusual pattern detections

활동 패턴 알고리즘은 스마트폰의 가속도 센서를 통 해 데이터를 수집하며 알고리즘의 구조는 그림 3과 같다. 수집한 데이터를 기반으로 데이터를 분석하여 사람의 움 직임 또는 이상 징후 상태를 탐지한다. 스마트폰의 가속 도 센서를 사용하는 이유는 스마트폰 종류는 굉장히 다 양하며 스마트폰의 가격대에 따라 내장된 센서의 종류도 다양하지만 대부분의 스마트폰에는 가속도 센서가 내장 되어 있다. 본 연구에서는 대부분의 스마트폰에 내장되 어 있는 가속도 센서를 이용하여 효율적으로 사람의 움 직임 또는 이상 징후를 탐지하고자 한다.

(그림 3) 활동 패턴 알고리즘의 구조

(Figure 3) Algorithm architecture for the activity unusual pattern detections

\(\begin{array}{c} \sigma=\frac{\alpha+\beta+\gamma}{n} \\ n=\text { 센서 축의 갯수 } \quad \alpha=X \text { 축 데이터 } \\ \beta=Y \text { 축 데이터 } \quad \gamma=Z \text { 축 데이터} \end{array}\)       (1)

스마트폰의 가속도 센서는 X, Y, Z 3축의 데이터를 제 공하며 각 축의 값을 더한 후 3으로 나눈 평균 값을 이용 한다. 계산된 평균 값은 배열에 저장하며 배열의 이름은 Window 라고 지정하며 배열의 크기는 5로 설정했다. 축 의 값이 변할 때 마다 평균 값을 계산하여 Window에 저 장한다. Window 배열에 값이 저장되면 Queue 구조와 같 이 선입선출 구조로 데이터를 관리하며 Window 배열의 중간 값이 배열에서 가장 큰 값일 경우, 이를 High Peak(HP) 이라고 정의한다. Window 배열의 중간 값이 배 열에서 가장 작은 값일 경우, 이를 Low Peak(LP) 이라고 정의한다. HP와 LP 값이 측정되면 HP와 LP 값의 차이를 Impact 라고 정의하며 Impact 값을 기반으로 사람의 움직 임 및 이상 징후 여부를 판단한다. Impact 값의 크기가 클 경우, 3축의 센서 값이 크게 변동되기 때문에 사람이 움 직이고 있음을 판단할 수 있다. Impact 값의 크기가 작을 경우, 3축의 센서 값이 거의 변동되지 않기 때문에 사람 이 움직이지 않고 있음을 판단할 수 있다.

먼지 패턴 알고리즘은 아두이노에 DSM501A 센서를 연결하여 데이터를 수집하며 먼지 패턴 알고리즘의 구조 는 그림 4와 같다. 수집한 센서 값 데이터를 통해 사람의 움직임 또는 이상 징후를 탐지할 수 있다. 센서를 통해 읽어 들인 값은 ㎍/㎥ (㎥당 마이크로그램(㎍) 미세 먼지 값) 단위로 변환하며 해당 단위는 국제 미세먼지 기준에 서 사용하는 단위이다. 먼지 센서 주변에서 사람이 움직 일 경우 10㎍/㎥ 이상의 값이 탐지되며 정상적인 상태로 분류한다. 10㎍/㎥ 미만으로 나타나면 사람의 움직임이 발생되지 않았음을 나타내면 이상 징후로 탐지한다.

(그림 4) 먼지 패턴 알고리즘의 구조

(Figure 4) Algorithm architecture for the dust unusual pattern detections

4. 실험 및 결과

(표 1) 영상 패턴 알고리즘의 탐지 성능

(Table 1) Algorithm results for unusual vision pattern detections

본 연구에서는 각 알고리즘의 성능을 평가하기 위해 유튜브를 통해 수집한 데이터와 자체적으로 실험을 통해 수집한 데이터를 통해 알고리즘의 성능을 평가했다. 영 상 패턴 알고리즘은 유튜브를 통해 수집한 영상 데이터 및 자체적으로 실험한 데이터를 기반으로 했으며 알고리 즘의 성능은 표 1과 같다. 총 187개의 데이터를 이용하였 으며 TP(True Positive) 124개, TN(True Negative) 12개, FP(False Positive) 7개, FN(False Negative) 44개로 분류됐 다. 그림 5의 (a)는 원본 영상을 의미하며 (b)는 Faster R-CNN Inception v2 알고리즘을 통해 탐지를 하고 물체 별 탐지 결과에 대한 Bounding box와 탐지 Class 및 정확 도를 나타낸다. 그림 5의 (c)는 영상의 첫 프레임을 Gray 이미지로 복사한 후에 사람이라고 탐지된 물체의 중간 영역에 파란색 원을 그리고 사물이라고 탐지되는 물체의 영역에는 빨간색 원을 그려 시각적으로 물체의 움직임을 파악하고자 했다. 그림 5의 (d)는 Opencv를 이용하여 움 직이는 물체와 배경을 감산하여 움직임이 발생될 수록 밝아지도록 하였으며 움직이는 물체에 대해 시각적으로 확인할 수 있다. 그림 5의 (e)는 사람이라고 탐지된 물체 의 x축과 y축 좌표의 합을 계산한 그래프이며, 세로 축은 좌표 값의 합이고 가로축은 횟수를 의미한다. (f)는 사람 이라고 탐지한 Class의 정확도를 의미하여 세로축은 정 확도 값 가로축은 횟수를 의미한다.

(그림 5) 영상 패턴 알고리즘의 탐지 결과

(Figure 5) Detection results of the vision pattern algorithm

(g)는 사람이라고 탐지한 물체의 Bounding box의 가로 길이/세로 길이의 비율이다. 사람이 서 있을 경우 탐지되 는 Bounding box의 세로 길이가 가로 길이보다 더 길기 때문에 1 미만의 값이 탐지될 것이며 누워있는 사람을 탐지할 경우 세로의 길이보다 가로의 길이가 길어지기 때문에 1 이상의 값이 탐지될 것이다. 세로축은 계산된 비율의 값을 나타내며 세로축은 횟수를 의미한다. (h)는 사람이라고 탐지되는 영역의 원형과 Bounding box의 기 울기 값을 나타내며 정상적인 활동을 할 경우에는 기울 기 값의 변화가 크게 변동되지 않지만, 낙상 등 급작스러 운 상황이 발생될 경우 기울기 값이 급격히 변동될 수 있 으며 세로축은 기울기 값이고 가로축은 횟수이다. (i)는 사물이라고 탐지된 물체들의 x축과 y축의 합을 Plot 그래 프로 그린 형태이며 세로축은 좌표 값의 합이고 가로축 은 횟수를 의미한다. 그림 5의 (e )와 (i) 의 탐지 결과를 통해 사람 및 사물의 움직임을 수치화할 수 있으며 (f)의 탐지 결과가 90 이상이고 (e )의 값의 변화가 생긴다면 사람이 움직이고 있어서 정상적인 활동을 하고 있다고 판단할 수 있으며, 장시간 동안 (e )와 (i)의 값이 변화가 없으면 이상 징후가 발생했다고 판단한다.

\(\text { Ratio }=(\operatorname{Xmax}-\operatorname{Xmin}) /(\operatorname{Ymax}-\operatorname{Ymin})\)       (2)

\(\text { Angle }=\arctan (\text { (width } / 2 \text { ) } / \text { (height } / 2 \text { ) } \text { ) }\)       (3)

또한, (f)의 탐지 결과가 90 이상인 상태에서 (g)의 탐 지 결과가 1 이상이고 (h)의 탐지 결과가 급격하게 변동 되면 이상 징후가 발생했다고 판단한다. 영상 패턴 알고 리즘은 홈 CCTV의 영역 안에서는 높은 정확도로 사람의 정상적인 활동 및 이상 징후 활동에 대해서 탐지할 수 있 다. 하지만, 최근 해킹 등 다양한 보안적인 이슈 때문에 홈 CCTV를 사용하기 어려운 경우도 발생한다. 이러한 보안적인 문제를 보완하고 영상 패턴 알고리즘의 제한적 인 영역 외의 보다 넓은 영역에서 음성, 활동, 먼지 패턴 알고리즘을 통해 사람의 정상적인 활동 및 이상 징후를 탐지할 수 있다.

(표 2) 음성 패턴 알고리즘의 탐지 성능

(Table 2) Algorithm results for unusual audio pattern detections

(그림 6) 정상적인 음성 패턴 결과

(Figure 6) A result of the normal audio pattern

음성 패턴 알고리즘은 자체적으로 실험을 통해 수집 한 데이터를 분석했으며 알고리즘의 성능은 표2와 같다. 실험을 통해 수집한 152개의 데이터를 이용하여 정확도 를 산출 했으며 TP 98개, TN 11개, FP 6개, FN 37개로 분 류 됐다. 음성 패턴 알고리즘을 통해 정상적인 활동을 할 경우 탐지되는 패턴은 그림 6과 같다. 또한, 이상 징후가 발생될 경우 탐지되는 패턴은 그림 7과 같다.

(그림 7) 비정상적인 음성 패턴 결과

(Figure 7) A result of the unusual audio pattern

정상적인 음성 패턴은 말하는 소리와 노이즈 낀 소리, 조용한 소리가 다양하게 탐지되며 말하는 소리를 탐지하 는 비율이 더 많다. 이상 징후가 발생된 상황에서는 말하 는 소리는 탐지하지 않고 노이즈 낀 소리와 조용한 소리 만을 탐지했다. 하지만, TV를 시청하거나 노래를 재생 할 경우 사람의 말하는 소리와 동일하게 탐지한다. 그래 서 TV를 시청하거나 노래를 재생한 상태에서 사람에게 이상 징후가 발생 할 경우, 이를 신속하게 판단할 수는 없으며 장시간 동안 말하는 소리가 탐지될 경우 이상 징 후가 발생되었다고 탐지한다.

활동 패턴 알고리즘은 자체적인 실험을 통해 수집한 데이터를 분석했으며 알고리즘의 성능은 표 3과 같다. 실 험을 통해 수집한 114개의 데이터를 이용하여 정확도를 산출 했으며 TP 76개, TN 8개, FP 2개, FN 28개로 분류 됐다. 정상적인 활동을 할 경우 발생되는 패턴은 그림 8 과 같으며 이상 징후가 발생될 때의 패턴은 그림 9와 같 다. 스마트폰을 소지한 채로 정상적인 활동(걷기, 뛰기 등)을 하게 되면 가속도 센서 값이 변동하며 스마트폰의 어플리케이션을 통해 변동될 때 마다 Window 배열의 값 을 갱신하고 High Peak과 Low Peak을 계산하여 Impact 값을 갱신한다. 스마트폰을 소지한 채로 움직임이 발생 하면 Impact 값은 1 이상의 값이 지속적으로 탐지되는 것 을 보여준다. 반면, 이상 징후가 발생되어 사람의 움직임 이 발생되지 않는 경우 1 미만의 값들이 탐지되는 것을 확인할 수 있다. 활동 패턴 알고리즘은 스마트폰의 가속 도 센서 값을 기준으로 사람의 움직임과 이상 징후를 판 단하기 때문에 사람이 스마트폰을 소지하지 않는다면 판 단할 수 없게 된다. 사람이 스마트폰을 소지하지 않을 경 우, 음성 패턴 알고리즘이나 먼지 패턴 알고리즘을 통해 사람의 움직임 또는 이상 징후 상태를 탐지할 수 있다.

(표 3) 활동 패턴 알고리즘의 탐지 성능

(Table 3) Algorithm results for unusual activity pattern detections

(그림 8) 정상적인 활동 패턴 결과

(Figure 8) A result of the normal activity pattern

(그림 9) 비정상적인 활동 패턴 결과

(Figure 9) A result of the unusual activity pattern

먼지 패턴 알고리즘은 자체적인 실험을 통해 수집한 데이터를 분석했으며 알고리즘의 성능은 표4와 같다. 실 험을 통해 수집한 84개의 데이터를 이용하여 정확도를 산출 했으며 TP 55개, TN 4개, FP 1개, FN 24개로 분류 됐다. 먼지 패턴 알고리즘은 Arduino Uno 보드에 DSM501A 센서를 연결하여 먼지 센서 값을 읽어 들인 후 ㎍/㎥ 단위로 변환하여 저장한다. 먼지 센서 주변에서 정 상적인 활동을 할 경우 탐지되는 패턴은 그림 10과 같으 며 이상 징후가 발생할 경우 탐지되는 패턴은 그림 11과 같다. 먼지 센서 주변에서 정상적인 활동(걷기, 뛰기, 옷 털기, 요리 등)을 할 경우 먼지가 발생되고 먼지 센서는 이를 탐지하여 먼지 센서 값이 10 이상의 값을 탐지하는 것을 확인할 수 있다. 이상 징후가 발생 했을 때는 10 미 만의 값만 탐지되는 것을 확인할 수 있었으며 이전의 연 구를 통해 센서에서 대부분 5 미만의 값을 탐지하지만 노이즈로 인하여 5~10 의 값을 탐지하기 때문에 움직임 이 발생되지 않는 상황은 10 미만의 값이 탐지되는 상황 으로 정의했다. 하지만 먼지 패턴 알고리즘도 먼지 센서 주변에서 발생되는 상황에 대해서는 높은 정확도로 사람 의 움직임 또는 이상 징후 상황에 대해서 탐지할 수 있지 만 먼지 센서와 거리가 멀어지면 탐지할 수 없다. 이런 상황에선 음성, 활동 패턴 알고리즘을 통해 사람의 정상 적인 활동 및 이상 징후를 탐지할 수 있다.

(표 4) 먼지 패턴 알고리즘의 탐지 성능

(Table 4) Algorithm results for unusual dust pattern detections

(그림 10) 정상적인 먼지 패턴 결과

(Figure 10) A result of the normal dust pattern

(그림 11) 비정상적인 먼지 패턴 결과

(Figure 11) A result of the unusual dust pattern

융합 방식은 다양한 시나리오를 기반으로 알고리즘의 성능을 평가했으며 융합 방식의 탐지 결과는 표5와 같으 며 융합 방식의 탐지 시나리오는 표 6과 같다.

(표 5) 융합 방식의 탐지 성능

(Table 5) Fusion method results for unusual pattern detections

(표 6) 제안된 알고리즘들의 시나리오 기반 사용자 활동 탐지 결과

(Table 6) Scenario-based user event detection results of proposed algorithms

융합 방식의 시나리오는 14개의 일반적인 상황과 2개 의 이상 징후 발생 상황에 대한 시나리오이며 모든 알고 리즘이 탐지하지 못하는 상황을 반복하여 탐지 성능을 산출했다. TP 33개, TN 1개, FP 2개, FN 9개로 분류됐으며 스마트폰을 소지한 후 빨래나 TV 시청하며 운동을 하 는 상황에 대해서는 3개의 패턴 알고리즘을 통해 정상적 으로 탐지할 수 있다. 스마트폰을 소지한 채로 청소를 하는 상황은 활동, 먼지 패턴 알고리즘을 통해 사람의 움직 임을 탐지할 수 있다. 통화를 하는 상황과 통화 후 이상 징후가 발생된 상황, 스마트폰을 사용하는 상황에서는 소리, 활동 패턴 알고리즘을 통해 사람의 움직임을 탐지 할 수 있다. 스마트폰을 소지 후 말을 하면서 걷거나 걷 고 난 후 이상 징후가 발생한 상황에서는 소리, 활동, 먼 지 패턴 알고리즘을 이용하여 사람의 정상적인 활동 및 이상 징후 상황을 탐지할 수 있다. 스마트폰을 소지한 후 컴퓨터를 사용하는 상황에서는 소리, 활동 패턴 알고리즘을 통해 사람의 움직임을 판단할 수 있으며 스마트폰 을 소지한 후 요리를 할 경우 활동, 먼지 패턴 알고리즘 으로 사람의 움직임을 판단할 수 있다. 스마트폰을 소지 한 후 독서를 할 상황에는 활동 패턴 알고리즘으로 사람의 움직임을 판단할 수 있고 스마트폰을 소지한 후 음악 재생 및 TV 시청을 할 상황에는 소리, 활동 패턴 알고리즘으로 사람의 움직임을 판단할 수 있다. 하지만, 스마트 폰을 미 소지 하고 장시간 TV를 시청 후 이상 징후가 발 생하는 상황에서는 3개의 패턴 알고리즘을 통해서 정상 적인 상황인지 이상 징후 상황인지 판단하기 어렵다. 또 한, 스마트폰을 미 소지하고 장시간 아무 말 없이 앉아있 으면 3개의 패턴 알고리즘은 사람이 이상 징후가 발생하 지 않았다는 걸 탐지하기 어렵다. 이처럼 다양한 시나리 오를 통해 1개 또는 2개의 패턴 알고리즘이 탐지하지 못 하는 상황이 발생하더라도 다른 패턴 알고리즘이 정상적 으로 탐지할 수 있다면 보다 넓은 범위에서 높은 정확도 로 사람의 정상적인 활동 및 이상 징후 상황을 탐지하고 판단할 수 있다.

5. 결론

본 연구에서는 영상, 음성, 활동, 먼지 센서를 이용하여 사람의 움직임 또는 이상 징후 상태를 효과적으로 탐 지하는 패턴 탐지 알고리즘을 제안했다. 또한, 보안 문제 로 영상 패턴 알고리즘을 사용하지 못할 경우 음성, 활동, 먼지 패턴 알고리즘을 통해 이상 징후를 탐지할 수 있는 융합 방식을 제안했다. 각 알고리즘의 제한적인 탐지 범위와 탐지의 정확도를 높일 수 있었다. 각 패턴 알고리즘과 융합 방식은 유튜브를 통해 수집한 데이터 및 실제 환경과 유사한 환경에서 실험을 통해 수집한 데이 터를 기반으로 정확도를 측정했다. 융합 방식은 다양한 시나리오를 기반으로 정확도를 측정했으며, 음성, 활동, 먼지 패턴 알고리즘의 각각 제한적인 탐지 범위를 벗어나 다양한 범위에서 사람의 움직임 또는 이상 징후를 탐지할 수 있었다. 추후에는 다양한 센서와 다양한 딥러닝 알고리즘을 통해 효율적으로 이상 징후를 탐지할 수 있 도록 할 것이다.

☆ This research was supported by Korea National University of Transportation in 2020. This research was supported by Basic Science Research Program through the National Research Foundation of Korea(NRF) funded by the Ministry of Education (No. 2020R1I1A3068274).