Journal of the Institute of Convergence Signal Processing (융합신호처리학회논문지)

The Korea Institute of Convergence Signal Processing (한국융합신호처리학회)
권호 표지

Implementation of a Classification System for Dog Behaviors using YOLI-based Object Detection and a Node.js Server

YOLO 기반 개체 검출과 Node.js 서버를 이용한 반려견 행동 분류 시스템 구현

  • Jo, Yong-Hwa (Department of Information & Communication Engineering, Kyungnam University) ;
  • Lee, Hyuek-Jae (Department of Information & Communication Engineering, Kyungnam University) ;
  • Kim, Young-Hun (Department of Naval Architecture & Ocean System Engineering, Kyungnam University)
  • 조용화 (경남대학교 정보통신공학과) ;
  • 이혁재 (경남대학교 정보통신공학과) ;
  • 김영훈 (경남대학교 조선해양시스템공학과)
  • Received : 2020.01.07
  • Accepted : 2020.03.28
  • Published : 2020.03.31
Download PDF
⟨ Previous Next ⟩

Abstract

This paper implements a method of extracting an object about a dog through real-time image analysis and classifying dog behaviors from the extracted images. The Darknet YOLO was used to detect dog objects, and the Teachable Machine provided by Google was used to classify behavior patterns from the extracted images. The trained Teachable Machine is saved in Google Drive and can be used by ml5.js implemented on a node.js server. By implementing an interactive web server using a socket.io module on the node.js server, the classified results are transmitted to the user's smart phone or PC in real time so that it can be checked anytime, anywhere.

본 논문은 실시간 영상 분석을 통해서 반려견에 대한 객체를 추출해 내고, 추출된 이미지로부터 반려견 행동을 분류하는 방법을 구현한다. 반려견 객체 탐지를 위해서 Darknet YOLO를 사용하였으며, 추출된 이미지로부터 행동 패턴 분류는 구글에서 제공하고 있는 Teachable Machine을 이용하였다. 학습된 Teachable Machine은 구글 드라이브에 저장되어 node.js 서버 상에서 ml5.js로 구현하여 사용할 수 있다. 분류된 행동 패턴 결과는 사용자의 스마트 폰 또는 PC로 실시간 전송되며, 언제 어디서든 확인 가능할 수 있게 node.js 서버에서 socket.io 모듈을 사용해서 상호반응 웹 서버를 구현하였다.

Keywords

Acknowledgement

이 연구 결과물은 2020년도 경남대학교 학술진흥연구비 지원에 의한 것임.

References

  1. Available: https://bit.ly/3gLuq4t, 2020.
  2. Available: https://bit.ly/3gJVWPC, NEWSRO 2019.
  3. Fitbark, "Fitbark," Available: https://www.fitbark.com.
  4. R. Brugarolas, R. T. Loftin, P. Yang, D. L. Roberts, B. Sherman, A. Bozkurt, "Behavior recognition based on machine learning algorithms for a wireless canine machine interface," in 2013 IEEE International Conference on Body Sensor Networks, Cambridge, MA, USA, 2013.
  5. J. Redmon, A. Farhadi, "Yolo v3: An incremental improvement," Available: https://arxiv.org/abs/1804.02767, 2018.
  6. J. Redmon, A. Farhadi, "Yolo9000 better, faster, stronger," in the IEEE Conference on Computer Vision and Pattern Recognition, 2017.
  7. Available: https://teachablemachine.withgoogle.com.
  8. Available: http://topdogblog1.blogspot.com/2012/04/doggie-language.html
  9. Available: https://github.com/AlexeyAB/darknet
  10. Available: https://www.kaggle.com/tongpython/cat-and-dog
  11. Available: https://github.com/AlexeyAB/Yolo_mark
  12. Available: https://medium.com/@manivannan_data/how-to-train-yolov3-to-detect-custom-objects-ccbcafeb13d2
  13. Available: https://nodejs.org/ko/download/