Anomaly Detection Method Based on Trajectory Classification in Surveillance Systems

감시 시스템에서 궤적 분류를 이용한 이상 탐지 방법

  • Jeonghun Seo ;
  • Jiin Hwang ;
  • Pal Abhishek ;
  • Haeun Lee ;
  • Daesik Ko ;
  • Seokil Song
  • 서정훈 (한국교통대학교 컴퓨터공학과) ;
  • 황지인 (한국교통대학교 컴퓨터공학과) ;
  • 팔 아비쉑 (한국교통대학교 컴퓨터공학과) ;
  • 이하은 (한국교통대학교 컴퓨터공학과) ;
  • 고대식 (목원대학교 전기전자공학과) ;
  • 송석일 (한국교통대학교 컴퓨터공학과)
  • Received : 2024.05.31
  • Accepted : 2024.06.29
  • Published : 2024.06.30

Abstract

Recent surveillance systems employ multiple sensors, such as cameras and radars, to enhance the accuracy of intrusion detection. However, object recognition through camera (RGB, Thermal) sensors may not always be accurate during nighttime, in adverse weather conditions, or when the intruder is camouflaged. In such situations, it is possible to detect intruders by utilizing the trajectories of objects extracted from camera or radar sensors. This paper proposes a method to detect intruders using only trajectory information in environments where object recognition is challenging. The proposed method involves training an LSTM-Attention based trajectory classification model using normal and abnormal (intrusion, loitering) trajectory data of animals and humans. This model is then used to identify abnormal human trajectories and perform intrusion detection. Finally, the validity of the proposed method is demonstrated through experiments using real data.

최근의 감시 시스템은 카메라, 레이더 등 다양한 센서를 중복 사용하여 침입 탐지의 정확도를 향상시키려는 노력을 기울이고 있다. 그러나 야간, 악천후, 침입자의 위장 등으로 인해 카메라(RGB, Thermal) 센서를 통한 객체 인식이 정확하지 않을 때도 있다. 이러한 상황에서는 카메라나 레이더 센서를 통해 추출된 객체의 궤적을 활용하여 침입자를 탐지할 수 있다. 본 논문에서는 객체 인식이 어려운 환경에서 궤적 정보만을 이용하여 침입자를 탐지하는 방법을 제안한다. 제안하는 방법은 동물, 사람의 정상 및 비정상(침입, 배회) 궤적 데이터를 이용하여 LSTM-Attention 기반 궤적 분류 모델을 학습하고, 이 모델을 이용해서 사람의 비정상 궤적을 찾아내서 침입 탐지를 수행한다. 마지막으로, 제안하는 방법의 타당성을 실 데이터를 이용한 실험을 통해 입증한다.

Keywords

Acknowledgement

방위사업청에서 지원한 23년 국방벤처지원사업(V230009) 의 연구결과로 작성된 논문입니다.

References

  1. L. Kratz and K. Nishino, "Anomaly detection in extremely crowded scenes using spatio-temporal motion pattern models," in Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), Miami, FL, 2009, pp. 1446-1453.
  2. H. Fu, S. Zhou, Z. Li, and D. Y. Yeung, "Robust Anomaly Detection in Videos Using Multilevel Representations," in Proc. of the 28th AAAI Conf. on Artificial Intelligence, Quebec, Canada, 2014, pp. 1717-1723.
  3. J. Nunez, Z. Li, S. Escalera, and K. Nasrollahi, "Identifying Loitering Behavior With Trajectory Analysis," in Proc. of the IEEE/CVF Winter Conf. on Applications of Computer Vision (WACV) Workshops, 2024, pp. 251-259. Available: https://openaccess.thecvf.com/content/WACV2024W/RWS/html/Nunez_Identifying_Loitering_Behavior_With_Trajectory_Analysis_WACVW_2024_paper.html
  4. M. Hasan, J. Choi, J. Neumann, A. K. Roy-Chowdhury, and L. S. Davis, "Learning Temporal 4Regularity in Video Sequences," in Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, 2016, pp. 733-742.
  5. . Wang, C. Ma, Y. Qiao, X. Lu, W. Hao, and S. Dong, "A hybrid deep learning model with 1DCNN-LSTM-Attention networks for short-term traffic flow prediction," Physica A: Statistical Mechanics and its Applications, vol. 583, p. 126293, 2021.
  6. AI-Hub, "AI-Hub Data," Available: https://www.aihub.or.kr/aihubdata/data/view.do?dataSetSn=171. [Accessed: Apr. 20, 2024].
  7. C.-Y. Wang, I.-H. Yeh, and H.-Y. M. Liao, "YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information," arXiv preprint arXiv:2402.13616, 2024.
  8. N. Aharon, R. Orfaig, and B.-Z. Bobrovsky, "BoT-SORT: Robust associations multi-pedestrian tracking," arXiv preprint arXiv:2206.14651, 2022.
  9. AI-Hub, "AI-Hub Data," Available: https://www.aihub.or.kr/aihubdata/data/view.do?dataSetSn=171. [Accessed: Apr. 20, 2024].
  10. Florida Wildlife Camera Trap Dataset, Available: https://www.crcv.ucf.edu/research/projects/florida-wildlife-camera-trap-dataset/. [Accessed: Apr. 20, 2024].