Extraction of Worker Behavior at Manufacturing Site using Mask R-CNN and Dense-Net

Mask R-CNN과 Dense-Net을 이용한 제조 현장에서의 작업자 행동 추출

This paper reports a technique that automatically extracts object shapes through Dense-Net, and subsequently, detects the objects using Mask R-CNN in a manufacturing site, in which workers and objects are mixed. It is based on the customized factory dataset by targeting workers, machines, tools, control boxes, and products as the objects. Mask R-CNN supports multi-object recognition as a well-known object recognition method, while Dense-Net effectively extracts a feature from multiple and overlapping objects. After immediate implementation using the two technologies, the object is naturally extracted from a still image of the manufacturing site to describe image. Afterwards, the result is planned to be used to detect workers' abnormal behavior by adding a label on the objects.

본 논문은 작업자와 객체들이 서로 혼재되어 있는 제조 현장에서 Mask R-CNN을 이용해 객체들을 탐지한 후 이를 Dense-Net을 통해 객체 형상을 자동으로 추출하는 기술을 담고 있다. 이는 맞춤형 공장 데이터 세트를 기반으로 하며, 대상이 되는 객체는 작업자, 기계, 도구, 컨트롤 박스 및 제품들이다. Mask R-CNN은 이미 잘 알려진 객체 인식 방식으로서 다중 객체 인식을 지원하며, Dense-Net은 중첩된 객체들로 부터 개별 객체를 추출하는 데 탁월한 효과를 보여준다. 이러한 두 가지 기술을 이용한 기초구현 결과 제조 현장 모습에서 객체들을 정상적으로 추출해 이미지를 설명할 수 있으며, 향후 객체에 대한 레이블링과 객체 간의 상호 관계를 추가해 작업자의 이상 행동을 감지하는 용도로 활용할 계획이다.