Deep Learning-based Pet Monitoring System and Activity Recognition device

Abstract

In this paper, we propose a pet monitoring system based on deep learning using an activity recognition device. The system consists of a pet's activity recognition device, a pet owner's smart device, and a server. Accelerometer and gyroscope data were collected from an Arduino-based activity recognition device, and the number of steps was calculated. The collected data is pre-processed and the amount of activity is measured by recognizing the activity in five types (sitting, standing, lying, walking, running) through a deep learning model that hybridizes CNN and LSTM. Finally, monitoring of changes in the activity, such as daily and weekly briefing charts, is provided on the pet owner's smart device. As a result of the performance evaluation, it was confirmed that specific activity recognition and activity measurement of pets were possible. Abnormal behavior detection of pets and expansion of health care services can be expected through data accumulation in the future.

본 논문에서는 활동 인식장치를 이용한 딥러닝 기반의 반려동물 모니터링 시스템을 제안한다.이 시스템은 반려동물의 활동 인식장치와 반려인의 스마트 기기, 서버로 구성된다. 아두이노 기반 활동 인식 장치로부터 가속도와 자이로 데이터를 수집하고, 이로부터 반려동물의 걸음 수를 연산하였다. 수집된 데이터는 전처리 과정을 거쳐 CNN과 LSTM을 하이브리드한 딥러닝 모델을 통해 5가지 형태(앉기, 서기, 눕기, 걷기, 뛰기)로 활동을 인식함으로써 활동량을 측정한다. 마지막으로, 반려인의 스마트 기기에 일일 및 주간 브리핑 차트 등 활동 변화에 대한 모니터링을 제공한다. 성능 평가 결과, 반려동물의 구체화된 활동 인식 및 활동량 측정이 가능함을 확인하였다. 향후 데이터 축적을 통해 반려동물의 이상행동 탐지 및 헬스 케어 서비스의 확장을 기대할 수 있다.

I. Introduction

지난해 기준 인구주택총조사 결과에 따르면, 반려동물 양육 가구 수가 전체 가구 중 15%를 차지할 정도로 반려동물 양육가구 수가 증가하였다[1]. 이에 반려동물을 인간화하는 펫 휴머니제이션(Pet Humanization) 현상이 확산됨에 따라 반려동물의 건강관리에 관한 관심도 증가하였다. 이를 위해 반려동물의 음성, 활동, 의료 등의 다양한 데이터를 이용하여 감정을 인식하거나 질병검사 및 판독 서비스 등 IoT와 빅데이터, 인공지능 기술들을 결합한 다양한 제품 및 서비스가 제공되고 있다[2].

가장 많이 이용하는 대표적인 제품 및 서비스로는 자동급식/급수기, CCTV, 건강/운동량 추적기 등 있다[3]. CCTV나 건강/운동량 추적기와 같이 반려동물 모니터링을 위한 제품 및 서비스들이 주를 이루는데 반려동물의 일상적인 건강관리나 반려인이 집에 없는 경우 반려동물의 행동 관찰 등을 위해 사용된다.

그러나 대부분의 반려동물 모니터링 제품 및 서비스들은 반려인과 반려동물의 생활에 대한 고려가 필요하다 [4]. 집 내부에 설치가 필요한 경우, 반려인과 반려동물이 생활하기에 불편함이 없어야 함과 동시에 반려동물의 활동 반경을 고려해야 한다. 마찬가지로 반려동물 웨어러블 장치를 이용한 경우, 반려동물이 움직이기에 무겁거나 불편하지 않아야 한다. 이처럼 반려동물 모니터링 제품 및 서비스를 위해서는 다양한 요소들이 고려되어야 하며, 특히 반려동물과 반려인의 생활에 편리함과 간편함은 필수적이다.

이에 따라 본 논문에서는 최소한의 기기를 통해 반려동물의 활동 모니터링을 할 수 있는 시스템과 이를 위한 활동 인식 장치를 제안한다. 반려동물의 활동에 방해받지 않는 웨어러블 형태의 활동 인식 장치를 통해 반려동물의 활동 데이터(가속도, 자이로)를 수집한다. 수집된 데이터를 가지고 딥러닝 기반의 모델을 통해 5가지(앉기, 서기, 눕기, 걷기, 뛰기)로 활동을 인식하여 활동량을 구체화한다. 최종적으로, 측정된 활동 패턴에 대한 분석 결과를 반려인에게 제공함으로써 모니터링을 하고자 한다.

본 논문의 구성은 다음과 같다. 2장에서는 반려동물 모니터링 시스템과 활동 인식 장치에 관련된 연구를 설명한다. 3장에서는 제안한 딥러닝 기반 반려동물 모니터링 시스템에 대해 설명한다. 4장에서는 앞서 제안한 내용을 바탕으로 실험을 진행하며, 마지막으로 5장에서는 결론 및 향후 연구를 제시한다.

II. Related works

1. Pet monitoring system

반려동물 모니터링 시스템에 관한 연구는 집 내부에 반려동물의 활동을 파악하기 위한 별도의 장치를 설치하는 경우와 반려동물에게 웨어러블 형태의 장치를 착용하는 경우로 구분된다.

집 내부에 장치를 설치하는 경우에는 일반적으로 반려동물용품, 센서, 카메라 등의 장치를 이용한다. 이로부터 반려동물의 용품을 사용하는 패턴이나 자세, 활동들을 추정하고, 추정된 결과를 반려인의 스마트 기기를 통해 제공하는 모니터링 형태의 연구가 진행되었다. 자동 급식기, 급수기, 배변패드에 센서를 부착하여 반려동물이 밥 혹은 물을 마시거나 배변할 때의 활동을 기록하고, 반려인의 스마트 기기에 활동 내용을 도식화하여 제공하는 연구가 제안되었다[5]. 카메라를 사용해 인공지능 기반의 영상 처리 방법으로 반려동물의 자세나 활동들을 예측하여 이를 반려인에게 알려주는 연구도 제안되었다[6].

하지만, 별도의 용품에 센서를 부착하는 연구의 경우 반려동물이 반드시 용품을 사용해야 활동 패턴 추론이 가능하며, 용품을 사용하지 않는 활동의 모니터링은 불가능하다. 또한, 카메라를 사용하는 연구의 경우에는 반려동물의 모든 활동 반경을 촬영하기 어려워 반려동물이 사각지대로 이동하면 활동 및 자세 추정이 불가능하다. 이를 개선하기 위해 여러 개의 센서나 카메라를 설치해야 하며, 이 경우 의도하지 않은 사생활 노출의 위험이 있는 등의 한계점이 있다.

반려동물에게 웨어러블 장치를 착용할 경우, 반려동물의 활동 반경을 비교적 크게 구애받지 않기 때문에 이러한 한계점들을 개선할 수 있다. 이때, 반려동물의 원활한 활동을 위해 반려동물의 종이나 크기에 따라 적당한 크기와 무게를 갖는 장치가 필요하다. 또한, 목이나 배, 다리, 꼬리 등 다양한 착용 위치에 따른 반려동물 활동 모니터링연구가 진행되어 왔다[7, 8, 9, 10]. 그러나 반려동물의 활동에 방해가 되거나 데이터 노이즈가 발생할 수 있기 때문에 적절한 위치 선정이 중요하다. 이 문제점들을 최소화하기 위해 목에 착용하는 방식이 가장 적절하다[11].

그러나 웨어러블 장치의 위치나 방향, 조임 정도 등에 따라 착용 과정에서 수집되는 데이터가 일관되지 않아 모니터링의 성능이 저하될 수 있다. 이를 위해 적절한 데이터 전처리 방법과 딥러닝 기반의 분석 방법이 요구된다. 대표적인 딥러닝 기법은 합성곱 신경망 (CNN:Convolutional Neural Network, 이하 CNN)과 순환 신경망(RNN:Recurrent Neural Network, 이하 RNN)등이 있으며, 분류나 예측 문제에 많이 사용된다. CNN은 이미지나 텍스트 처리 등의 분야에 적용되고 있으며 합성 곱 연산을 통해 데이터의 특징들을 추출하고, RNN은 문장이나 시계열 등의 순차적인 데이터를 위해 설계된 방법으로 기존 RNN의 문제인 기울기 소실 문제를 개선하여 장단기 메모리(LSTM:Long-Short Term Memory, 이하 LSTM)가 사용되고 있다[12]. 최근에는 더 나아가 여러 딥러닝 기법들을 하이브리드하여 사용하는 방식이 많이 채택되고 있다. 특히, 인간의 행동인식 분야에서 CNN과 LSTM을 하이브리드한 방식이 많이 사용되고 있으며, 단일 모델의 사용보다 나은 성능을 나타내고 있다[13].

이에 따라 본 논문에서는 목에 착용하는 방식의 웨어러블 장치를 이용한 반려동물 모니터링 시스템을 제안하고자 하며, 이때 CNN과 LSTM을 하이브리드하여 반려동물의 활동 인식을 통해 성능을 향상시키고자 한다.

2. Pet activity recognition device

반려동물 활동 인식 장치에 관한 연구는 GPS, 가속도, 자이로 등의 다양한 센서들을 활용하여 진행되고 있다. GPS를 활용하여 반려인의 스마트 기기를 통해 실시간으로 반려동물의 위치를 모니터링하면서 반려인이 지정한 안전구역을 벗어났을 때 반려인에게 알리는 시스템 연구가 제안되었다[14]. 반려동물 활동 인식 장치에서 가장 많이 활용되는 센서는 가속도나 자이로 센서로, 반려동물의 건강/ 운동량을 추적하기 위해 활용되고 있다. 가속도나 자이로센서를 사용하여 반려동물의 활동 및 수면 패턴을 파악해 모니터링하는 연구들이 제안되었다[9, 15, 16, 17].

이외에도 반려동물의 활동을 인식하기 위해 Fitbark나 Petfit 등 상용화된 장치들이 많다[18]. Table 1은 상용화된 반려동물 활동 인식 장치의 비교표이다. 대다수의 제품들이 가속도와 자이로 센서를 병행하여 사용하지 않으며, 활동 인식 및 활동량 구체화 과정이 없어 활동 인식 측정정확도에 한계가 있었다. 그러나 가속도, 자이로 센서를 각각 측정한 단일 측정과 두 센서를 혼합한 다중 측정으로 나눠 활동 인식을 진행했을 때, 두 센서를 혼합한 경우 약 10%의 정확도가 향상됨에 따라 두 센서를 병행하는 것이 필요하다[19].

Table 1. Comparison of pet activity recognition device [20, 21]

따라서 본 논문에서는 기존 반려동물 활동 인식 장치의 한계를 개선하기 위해 가속도와 자이로센서를 병행하여 사용하고자 한다. 또한, 반려동물의 활동을 5가지(앉다, 서다, 눕다, 걷다, 뛰다)로 구분하여 활동 인식을 통해 활동량을 구체화하고자 한다.

III. The proposed system

본 논문에서 제안하는 웨어러블 형태의 활동 인식 장치를 이용한 딥러닝 기반 반려동물 모니터링 시스템의 구조는 Fig. 1과 같이 활동 인식 장치(Activity recognition device), 반려인의 스마트 기기(Smart device), 서버 (Server)로 구분된다. 활동 인식 장치는 반려동물의 활동에 영향을 적게 주는 위치인 목에 착용하며, 가속도와 자이로 센서를 통해 활동 데이터를 수집한다. 반려인의 스마트 기기는 활동 인식 장치와 서버의 데이터 전달과 반려동물 활동 모니터링 도구로 활용된다. 마지막으로, 서버는 반려동물의 활동 데이터를 수집 및 전처리하며, 딥러닝 기반의 활동 인식 모델을 통해 반려동물의 활동을 5가지(앉다, 서다, 눕다, 걷다, 뛰다)로 구분한다. 이를 바탕으로 활동량을 측정하며, 활동 패턴에 따른 분석 결과를 반려인의 스마트 기기를 통해 제공함으로써 모니터링을 한다.

Fig. 1. Overview of deep Learning-based pet monitoring system

1. Data collection

1.1 Activity recognition device configuration

활동 인식 장치는 Fig. 2와 같이 구성되었으며, Arduino nano 33 IoT 보드를 기반으로 제작되었다. USB C타입 충전 모듈인 TP4056과 980mah 리튬폴리머 배터리를 납땜하여 충전식 디바이스로 구성하였다. 내부장치의 보호를 위해 3D 프린터로 별도의 케이스를 제작하였으며, 다양한 강아지 종에 적용할 수 있도록 목줄 형태로 구성하였다. 장치의 크기는 5.5cm X 3.5cm이며, 무게는 23g으로 소형 반려동물 기준으로 목에 착용했을 때 무리 되지 않도록 하였다.

Fig. 2. Activity recognition device

보드에 내장되어 있는 관성 측정 센서 모듈인 LSM6DS3 은 3축 가속도, 3축 자이로를 내장하고 있다. 이를 통해 가속도와 자이로 센서 데이터를 수집하였으며, Sparkfun 에서 제공하는 라이브러리를 이용해 가속도와 자이로 센서를 이용한 걸음 수 데이터를 수집하였다[22].

1.2 Data collection method

데이터 수집은 Fig. 3과 같이 진행된다. 보드에 내장된 저전력 블루투스 (BLE : Bluetooth Low Energy) 모듈인 NINA-W102를 통해 스마트폰 애플리케이션과 연결하여가 속도 데이터, 자이로 데이터, 걸음 수 데이터, 활동 인식 장치의 MAC 주소를 수집하였다. 데이터 수집 주기는 디바이스의 배터리 지속시간과 데이터의 오차를 방지하기 위해 1초당 1회로 설정하였다. 위 과정을 통해 수집한 데이터는 수집 시간과 함께 서버에 전송한다. 서버는 서버 사이드 스크립트 언어인 PHP(Hypertext Preprocessor) 를 거쳐 반려인의 스마트 기기에서 받은 데이터를 SQL 명령어로 변환하여 데이터베이스에 저장한다. 데이터베이스의 경우 MariaDB를 사용하였으며 데이터 테이블의 구조는 Table 2와 같다.

Fig. 3. Process of data collection

Table 2. Data table structure

2. Data preprocessing

앞서 수집된 데이터를 바탕으로 데이터 전처리 모듈에서는 결측치 처리, 정규화, 시퀀스 데이터 생성 순의 과정이 진행된다.

먼저, 결측치 처리는 대체하거나 제거하는 방식이 보편적이다. 대체할 경우 시계열 데이터의 특성에 맞게 적절한 대체 값을 선택해야 하며, 제거하는 경우는 학습 모델에 활용하기에 데이터의 수가 충분하지 않을 수 있어 이를 고려해야 한다. 2초 이상의 결측치가 발생한 경우 필터링을 통해 데이터를 제거하였으며, 결측치는 평균값으로 설정하여 진행하였다.

다음으로 장치에서 발생할 수 있는 노이즈를 제거하기 위해 Z-점수 정규화 방법을 사용한다. Z-점수 정규화는 평균 (Mean)과 표준편차(Stddev)를 이용해 이상치를 제거하는데 특화된 방법으로 식 (1)과 같이 Z-점수를 도출한다. 이때, 도출된 Z-점수는 평균값인 0을 기준으로 –2 미만일 경우 –2, 2 이상일 경우 2로 이상치 값들을 조정하였다.

\(z-\operatorname{score}=\frac{x-\operatorname{Mean}(x)}{\operatorname{Stddev}(x)}\)       (1)

마지막으로 활동 인식을 위한 학습 데이터를 구성하기 위해 슬라이딩 윈도우기법을 적용하여 4초 길이의 시퀀스 데이터를 생성하였다.

3. Deep learning-based activity recognition

전처리 모듈과정을 거친 시퀀스 데이터들은 딥러닝 기반 활동 인식을 진행하기 위한 모델 입력값으로 사용된다. 반려동물의 활동은 일반적으로 사람보다 불규칙하고 변칙적인 패턴을 나타낸다. 본 논문에서는 반려동물 활동 데이터의 특징과 패턴인식을 위해 CNN과 LSTM의 하이브리드 모델인 CNN-LSTM 방법을 사용하였다.

제안된 딥러닝 기반 활동 인식 모델의 구조는 Fig. 4와 같다. 합성곱연산을 1차원으로 진행하는 Conv1D 레이어를 이용하여 전체 시퀀스 데이터에 대한 특징 맵을 만들고, 특징 맵을 다시 LSTM 레이어를 이용하여 시계 열적인 요소를 바탕으로 특징을 추출한다. 이때, 가속도에 대해서 Lambda 레이어를 통해 x, y, z축에 대한 특징을 (2) 식을 통해 추출한다. 추출된 전체 특징들은 Dense 레이어를 통해 각 활동별 수치들을 출력하고 이를 Add 레이어를 통해 전부 더하여 Softmax를 통해 활동별 확률을 도출한다.

\(\text { accfeature }=\sqrt{x^{2}+y^{2}+z^{2}}\)       (2)

Fig. 4. Deep learning-based behavior recognition model structure

4. Activity monitoring

딥러닝 기반 활동 학습 후, 인식된 활동과 측정된 걸음 수를 바탕으로 활동 모니터링을 진행한다. 활동 모니터링은 딥러닝 학습 기반의 활동 인식 모듈을 이용하여 크게 정적인 활동과 동적인 활동으로 구분한다. 정적인 활동은 앉다, 서다, 눕다를 기반으로 하며, 동적인 활동은 걷기, 뛰기, 그리고 걸음 수를 기반으로 한다. 이후 인식된 활동들을 측정기준 하루 전날과 1주일 전의 일간, 주간 통계 데이터를 활용하여 일정 임계 수치보다 떨어지거나, 올라갔을 때 반려인 스마트 기기를 통해 푸쉬 서비스를 제공한다. 통계 데이터는 Fig. 5와 같이 반려인 스마트 기기에 제공되는 UI를 통해 일간, 주간별로 각 활동에 대한 개수나 증감 추세를 그래프 형태로 확인할 수 있다.

Fig. 5. Daily and weekly briefing chart

IV. Experiment

1. Experiment environment

1.1 Server environment

본 논문에서 제안한 시스템 구성을 위하여 서버는 Nginx를 이용한 웹서버를 구축하였다. 데이터 수집을 위해 PHP 7.3과 Maria DB 10을 사용하였다.

또한, 활동 인식을 위한 모델을 구성하고 학습 및 예측을 위해 Python 3.9 환경에서 Tensorflow 2.4.1 과 keras 2.5.0 버전을 사용하였다. 사용된 서버의 하드웨어 스펙은 아래 Table 3과 같다.

Table 3. Hardware Specification of Server

1.2 Dataset

제작된 반려동물 활동 인식장치를 통해 수집된 데이터는 반려인 스마트 기기를 통해 서버의 데이터베이스에 저장된다. 이후 데이터 전처리 과정을 거친 후, 딥러닝 기반 활동 인식 모델의 입력값으로 사용된다. 수집된 전체 데이터의 결과는 Table 4와 같다. 학습을 위해 전체 데이터 중 80%는 학습 데이터(Training data)로, 20%는 테스트 데이터(Test data)로 구성하였다. 학습 데이터 중 20%는 학습 과정에서의 검증 데이터로 활용되었다.

Table 4. Result of collected data

2. Experiment results

앞서 수집된 데이터를 바탕으로 제안된 딥러닝 기반 활동 인식 모델에 대한 성능 평가를 진행하였다. 학습 수 (Epoch)는 100이며, Adam 최적화 함수를 이용해 학습률 0.001로 학습을 진행하였다.

모델의 활동별 인식 결과는 Fig. 6과 같이 정확도를 히트맵 형태의 혼동행렬(Confusion matrix)로 나타내었다. 또한, Table 5와 같이 활동 인식 모델에서 각 활동에 따른 정밀도(Precision), 재현도(Recall), f1-점수(F1-Score)와 정확도를 함께 도출하였다. 전체 정확도는 약 87%로, 대부분의 활동에서 인식 잘되고 있음을 확인하였다. 그러나 반려동물의 목에 활동 인식 장치를 착용하기 때문에 머리의 움직임에 민감하다. 따라서, 머리를 움직이면서 발생하는 활동인 앉기, 서기, 눕기, 걷기에 대해서는 약간의 오차가 발생함을 확인하였다. 향후 반려동물의 머리 움직임에 따라 데이터 수집이 더 진행된다면 정확도가 향상될 수 있을 것으로 생각된다.

Fig. 6. Confusion matrix of each activity

Table 5. Precision, Recall, F1-S Score for each activity

최종적으로, 활동 인식 모델을 기반으로 활동 모니터링을 진행하게 된다. 서버에서 학습을 마친 모델을 기반으로 반려인 스마트 기기로부터 서비스를 제공한다. 활동 인식 장치의 고유 주소인 MAC 주소를 기준으로 필터링하여 각 장치의 활동 모니터링 서비스를 제공한다. 활동 모니터링 서비스는 반려인 스마트 기기를 통해 인식된 5가지 활동의 활동량에 대해 일일 및 주간 브리핑 차트 등 Fig. 7과 같이 모니터링을 제공한다. 또한, 매일 인식되는 활동량에 대해 활동량이 부족하거나, 특정활동이 설정해 놓은 임계수치보다 떨어지거나 높아지면 반려인 스마트 기기를 통해 푸쉬 서비스를 제공한다.

Fig. 7. Activity monitoring service UI

V. Conclusions

본 논문에서는 활동 인식 장치를 이용하여 딥러닝 기반의 반려동물 모니터링 시스템을 제안하였다. 아두이노 기반으로 제작된 활동 인식장치는 반려동물의 목에 착용하는 형태로 가속도와 자이로 센서값을 수집하고, 이로부터 반려동물의 걸음 수를 연산하였다. 수집된 데이터는 전처리 과정을 통해 CNN-LSTM을 이용한 딥러닝 기반 활동 인식 모델의 입력값으로 사용하여 반려동물의 활동을 5가지(앉다, 서다, 눕다, 걷다, 뛰다)형태로 인식하였다. 인식된 결과에 따라 활동별 활동량 측정 과정을 통해 반려인 스마트 기기에 일일 및 주간 브리핑 차트 등 반려동물의 활동 변화에 대한 모니터링을 제공한다.

본 논문에서 제안된 딥러닝 기반 활동 인식 모델에 대해 성능평가를 진행하였으며, 활동 인식장치만을 활용해 반려동물의 구체화된 활동 인식 및 활동량 측정이 가능함을 확인하였다.

향후 폭넓은 데이터 축적을 통해 지속적인 연구를 진행한다면 현재 인식 가능한 활동보다 세분화된 활동 인식이 가능하다. 또한, 세분화된 활동 인식을 기반으로 반려동물의 이상행동 탐지 및 헬스케어 서비스의 확장까지 기대할 수 있다.