Journal of IKEEE (전기전자학회논문지)

Institute of Korean Electrical and Electronics Engineers (한국전기전자학회)
권호 표지
DOI QR코드

DOI QR Code

The Method of Abandoned Object Recognition based on Neural Networks

신경망 기반의 유기된 물체 인식 방법

  • Ryu, Dong-Gyun (Dept. of Electronics Engineering, Hanbat National University) ;
  • Lee, Jae-Heung (Dept. of Electronics Engineering, Hanbat National University)
  • Received : 2018.12.07
  • Accepted : 2018.12.18
  • Published : 2018.12.31
Download PDF
⟨ Previous Next ⟩

Abstract

This paper proposes a method of recognition abandoned objects using convolutional neural networks. The method first detects an area for an abandoned object in image and, if there is a detected area, applies convolutional neural networks to that area to recognize which object is represented. Experiments were conducted through an application system that detects illegal trash dumping. The experiments result showed the area of abandoned object was detected efficiently. The detected areas enter the input of convolutional neural networks and are classified into whether it is a trash or not. To do this, I trained convolutional neural networks with my own trash dataset and open database. As a training result, I achieved high accuracy for the test set not included in the training set.

본 논문에서는 합성곱 신경망을 이용한 유기된 물체 인식 방법을 제안한다. 유기된 물체 인식 방법은 영상 내에서 유기 물체에 대한 영역을 먼저 검출하며 검출된 영역이 있을 경우 해당 영역에 합성곱 신경망을 적용하여 어떤 물체를 나타내는지 인식하는 과정을 거친다. 실험은 쓰레기 무단투기를 검출하는 응용 시스템을 통해 진행되었다. 실험 결과, 유기 물체에 대한 영역을 효율적으로 검출하는 것을 볼 수 있었다. 검출된 영역은 합성곱 신경망으로 들어가 쓰레기인지 아닌지 분류되는 과정을 거쳤다. 이를 위해 자체적으로 수집한 쓰레기 데이터와 오픈 데이터베이스로 합성곱 신경망을 학습시켰다. 학습 결과, 학습에 포함되지 않은 테스트셋에 대해 약 97%의 정확도를 달성하였다.

Keywords

JGGJB@_2018_v22n4_1131_f0001.png 이미지

Fig. 1. The diagram for proposed method. 그림 1. 제안하는 방법에 대한 구성도

JGGJB@_2018_v22n4_1131_f0002.png 이미지

Fig. 2. The example of box area decision. 그림 2. 추정된 박스 영역의 예시

JGGJB@_2018_v22n4_1131_f0003.png 이미지

Fig. 3. The result of image subtraction using background estimation. 그림 3. 배경 추정을 통한 차 영상 획득 결과

JGGJB@_2018_v22n4_1131_f0004.png 이미지

Fig. 4. The result of preprocessing for difference image. 그림 4. 차 영상에 대한 전처리 결과

JGGJB@_2018_v22n4_1131_f0005.png 이미지

Fig. 5. The result of object area decision. 그림 5. 물체 영역 추정 결과

JGGJB@_2018_v22n4_1131_f0006.png 이미지

Fig. 6. The result of fixed area detection. 그림 6. 멈춰있는 영역 검출 결과

JGGJB@_2018_v22n4_1131_f0007.png 이미지

Fig. 7. The result of redetection of short-time occluded box. 그림 7. 짧은 시간 폐색된 박스의 재검출 결과

JGGJB@_2018_v22n4_1131_f0008.png 이미지

Fig. 8. The result of background decision. 그림 8. 배경 여부 판단 결과

JGGJB@_2018_v22n4_1131_f0009.png 이미지

Fig. 9. The result of abandoned object recognition 1. 그림 9. 유기 물체 인식 결과 1

JGGJB@_2018_v22n4_1131_f0010.png 이미지

Fig. 10. The result of abandoned object recognition 2. 그림10.유기 물체 인식 결과 2

JGGJB@_2018_v22n4_1131_f0011.png 이미지

Fig. 11. The result of data augmentation. 그림11.데이터증대 결과

Table 1. The algorithm of Background estimation. 표 1. 배경 추정 알고리즘

JGGJB@_2018_v22n4_1131_t0001.png 이미지

Table 2. The algorithm of updating box list. 표 2. 박스 리스트 갱신 알고리즘

JGGJB@_2018_v22n4_1131_t0002.png 이미지

Table 3. The algorithm of background decision. 표 3. 배경 여부 판단 알고리즘

JGGJB@_2018_v22n4_1131_t0003.png 이미지

Table 4. Data number per label. 표 4. 라벨별 데이터 개수

JGGJB@_2018_v22n4_1131_t0004.png 이미지

Table 5. Augmentation pipeline. 표 5. 데이터증대 파이프라인

JGGJB@_2018_v22n4_1131_t0005.png 이미지

Table 6. The result of training. 표 6. 학습 결과

JGGJB@_2018_v22n4_1131_t0006.png 이미지

References

  1. T. G. Song and Y. H. Joo, "Recognition and Recovery for Abandoned Objects," in KIEE Summer Conference, pp.1392-1393, 2016.
  2. N. Ghuge and P. Dhulekar, "Abandoned Object Detection," International Journal for Modern Trends in Science and Technology, vol.3, pp.215-218, 2017.
  3. J. H. Goo, S. H. Oh and S. K. Jung, "Abandoned Object Detection using Online Robust PCA," in Korea Computer Congress, pp.1319-1321, 2014.
  4. J. H. Im, S. W. Lee, S. S. Jang, J. H. Lim, T. K. Kim and J. K. Paik, "Multi-Frame Reference-Based Background Modeling for Abandoned Object Detection," in IEEK Summer Conference, pp.343-344, 2010.
  5. H. S. Park, J. H. Park, H. J. Choi and J. K. Paik, "Stolen and Abandoned Object Detection Method Based on Dual Background Image," in IEEK Summer Conference, pp.604-606, 2015.
  6. J. S. Ha, J. C. Shin, H. S. Park and J. K. Paik, "Abandoned Object Detection Using Pixel-wise Finite State Machine and Deep Convolutional Neural Network," in IEEK Summer Conference, pp.691-693, 2018.
  7. D. Shyam, A. Kot and C. Athalye, "Abandoned Object Detection Using Pixel-Based Finite State Machine and Single Shot Multibox Detector," in IEEE International Conference on Multimedia and Expo, pp.1-6, 2018. DOI:10.1109/ICME.2018.8486464
  8. W. Liu, D. Anguelov, D. Erhan, C. Szegedy, and S. Reed, "Ssd: Single shot multibox detector," in European Conference on Computer Vision, pp.21-37, 2016.
  9. A. Dabholkar, B. Muthiyan, S. Srinivasan, S. Ravi, H. Jeon and J. Gao, "Smart Illegal Dumping Detection," in IEEE Third International Conference on Big Data Computing Service and Applications, 2017.
  10. H. Begur, M. Dhawade, N. Gaur, P. Dureja, H. Jeon and J. Gao, "An edge-based smart mobile service system for illegal dumping detectionand monitoring in san jose," SCI. IEEE, 2017.
  11. J. Richefeu, A. Manzanera, "robust and computationally efficient motion detection algorithm based on sigma-delta background estimation," in IEEE ICVGIP, 2004
  12. S. Suzuki and K. Abe, "Topological structural analysis of digitized binary images by border following," Computer Vision, Graphics, and Image Processing, vol.30, no.1, pp.32-46, 1985. https://doi.org/10.1016/0734-189X(85)90016-7
  13. W. Zhou, A. Bovik, H. Sheikh and E. Simoncelli, "Image Qualifty Assessment: From Error Visibility to Structural Similarity," IEEE Transactions on Image Processing, vol.13, no.4, pp.600-612, 2004. DOI:10.1109/TIP.2003.819861