Journal of Korea Society of Industrial Information Systems (한국산업정보학회논문지)

Korea Society of Industrial Information Systems (한국산업정보학회)
권호 표지
DOI QR코드

DOI QR Code

Video-based Inventory Management and Theft Prevention for Unmanned Stores

재고 관리 및 도난 방지를 위한 영상분석 기반 무인 매장 관리 시스템

  • 이수진 (덕성여자대학교 소프트웨어전공) ;
  • 문지영 (덕성여자대학교 소프트웨어전공) ;
  • 박해인 (덕성여자대학교 소프트웨어전공) ;
  • 강지헌 (덕성여자대학교 소프트웨어전공)
  • Received : 2023.10.27
  • Accepted : 2024.01.18
  • Published : 2024.02.29
Download PDF
⟨ Previous Next ⟩

Abstract

This paper presents an unmanned store management system that can provide inventory management and theft prevention for displayed products using a small camera that can monitor the shelves of sold products in small and medium-sized stores. This system is a service solution that integrates object recognition, real-time communication, security management, access management, and mobile authentication. The proposed system uses a custom YOLOv5-x model to recognize objects on the display, measure quantities in real time, and support real-time data communication with servers through Raspberry Pie. In addition, the number of objects in the database and the object recognition results are compared to detect suspected theft situations and provide burial images at the time of theft. The proposed unmanned store solution is expected to improve the efficiency of small and medium-sized unmanned store operations and contribute to responding to theft.

본 논문에서는 중소형 매장에서 판매 상품 진열대를 모니터링할 수 있는 소형 카메라를 이용해 진열 상품에 대한 재고 관리 및 도난 방지 기능을 제공할 수 있는 무인 매장 관리 시스템을 제시한다. 이 시스템은 객체 인식, 실시간 통신, 보안 관리, 출입 관리, 그리고 모바일 인증을 종합적으로 통합한 서비스 솔루션이다. 제안 시스템은 소형 카메라를 통해 실시간으로 촬영되고 있는 영상을 커스텀 YOLOv5-x 모델을 활용하여 진열대의 물체를 인식하고 수량을 실시간 측정하며, 라즈베리파이를 통해 서버와의 실시간 데이터 통신을 지원한다. 또한, 데이터베이스 내 객체 수량과 객체 인식 결과를 비교하여 도난 의심 상황을 탐지하고 도난 발생 시점의 매장 영상을 제공한다. 제안된 무인 매장 솔루션은 중소형 무인 매장 운영의 효율성을 향상시키고 도난을 대응하는데 기여할 수 있을 것으로 기대된다.

Keywords

Acknowledgement

본 연구는 2023년도 덕성여자대학교 교내연구비 지원에 의해 이루어졌음.

References

  1. Alamgir, R. M., Shuvro, A. A., Al Mushabbir, M., Raiyan, M. A., Rani, N. J., Rahman, Md. M., Kabir, Md. H., Ahmed, S. (2022). Performance analysis of YOLO-based architectures for vehicle detection from traffic images in Bangladesh. 2022 25th International Conference on Computer and Information Technology (ICCIT). https://doi.org/10.1109/iccit57492.2022.10055758.
  2. Ashraf Abu Shareha, Asimakis K. Komninos, Sudarshan Karki, Diomidis D. (2019). A Survey on Applications of Computer Vision in Retail.
  3. Choi, Soo-a., Yun, Jae-young. (2021). A Comparative Study on Korean User Experience of Unmanned Convenience Store Types, Master's thesis. Journal of Korea Design Forum, 70, pp. 179-192.
  4. Jashim U. Ahmed, Asma Ahmed, Amreen Talukdar, Raihan Sharif, and Zulkarin Jahangir. (2022). Innovation strategy in retail: The unstaffed digital supermarkets at LIFVS. Journal of Information Technology Teaching Cases, vol 13, no. 2, https://doi.org/10.1177/20438869221109844.
  5. Loh Li Har, Umi Kartini Rashid, Lee Te Chuan, Seah Choon Sen, Loh Yin Xia. (2022). Revolution of Retail Industry: From Perspective of Retail 1.0 to 4.0. Procedia Computer Science. vol. 200. pp. 1645-1625. https://doi.org/10.1016/j.procs.2022.01.362.
  6. Lee, Hyo-Sang., Kim, Jun-Hyoung., Oh, Am-Suk. (2021). Design of Drive Thru for Unmanned Order System. The Korea Institute of Information and Commucation Engineering, pp. 240-242.
  7. Lee, Myung-ho. (2019). Design and Implementation of Hybrid Apps Design based on Spring MVC. Journal of the Korea Convergence Society, vol. 10, no. 3, pp. 395-400.
  8. Oh, Jae-Seong., Cho, Yun-Hui., Cho, Yun-Hyeok., Kim, Young-Kuk., Cho, Eun-Seong. (2021). Convenience Store Product Object Detection System Using Deep Learning. The Journal of the Korean Institute of Information Scientists and Engineers, pp. 1527-1529.
  9. Park, Tae-hwan., Yoon, Hyun-seok., Shin, Pu-ruen., Cho, Jin-sung. (2018). Design and Implementation of Unattended Store based on IoT Device Security Platform and RFID Technology. The Journal of the Korean Institute of Information Scientists and Engineers, pp. 1852-1854.
  10. Redmon, J., Divvala, S., Girshick, R., (and) Farhadi, A. (2016). You only look once: Unified, real-time object detection. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 779-788
  11. Saleh, S., Khwandah, S. A., Mumtaz, A., Heller, A., Hardt, W. (2019). Traffic Signs Recognition and Distance Estimation using a Monocular Camera. 2021 International Conference on Innovation and Intelligence for Informatics, Computing, and Technologies (3ICT), pp. 407-418
  12. Viswanatha, V., Chandana, R. K., Ramachandra, A. C. (2022). Real Time Object Detection System with YOLO and CNN Models: A Review. Journal of Xi'an University of Architecture & Technology, pp. 144-151.