A Study on the Application of Object Detection Method in Construction Site through Real Case Analysis

사례분석을 통한 객체검출 기술의 건설현장 적용 방안에 관한 연구

Abstract

Purpose: The purpose of this study is to develop a deep learning-based personal protective equipment detection model for disaster prevention at construction sites, and to apply it to actual construction sites and to analyze the results. Method: In the method of conducting this study, the dataset on the real environment was constructed and the developed personal protective equipment(PPE) detection model was applied. The PPE detection model mainly consists of worker detection and PPE classification model.The worker detection model uses a deep learning-based algorithm to build a dataset obtained from the actual field to learn and detect workers, and the PPE classification model applies the PPE detection algorithm learned from the worker detection area extracted from the work detection model. For verification of the proposed model, experimental results were derived from data obtained from three construction sites. Results: The application of the PPE recognition model to construction site brings up the problems related to mis-recognition and non-recognition. Conclusions: The analysis outcomes were produced to apply the object recognition technology to a construction site, and the need for follow-up research was suggested through representative cases of worker recognition and non-recognition, and mis-recognition of personal protective equipment.

연구목적: 본 연구의 목적은 건설현장의 재해 예방을 위해 딥러닝기반의 개인보호구 검출 모델을 개발하고, 실제 건설현장에 적용하여 분석하는 것이다. 연구방법: 본 연구의 수행 방법은 실제 환경의 데이터를 구축하고, 개발된 개인보호구 검출 모델을 적용하였다. 개인보호구 검출 모델은 크게 근로자 검출 및 개인보호구 착용 분류 모델로 구성되어 있다. 근로자 검출 모델은 딥러닝 기반의 알고리즘을 실제 현장에서 획득한 데이터셋을 구축하여 학습 및 근로자를 검출하였고, 개인보호구 착용 분류 모델은 앞단에서 추출된 근로자 검출영역에서 학습된 개인보호구 검출 알고리즘을 적용하였다. 구축된 모델의 검증을 위해 건설현장 3곳에서 획득된 데이터를 통해 실험결과를 도출하였다. 연구결과: 데이터베이스 12,000장을 구축하여 정상검출 9,460장(78.8%), 오검출 1,468(12.2%), 미검출 1,072장(8.9%)으로 나타났으며 주요 원인은 영상에서의 객체 크기, 객체간 중첩(Occulusion), 객체 잘림, 그림자에 의한 오검출로 분류되었다. 결론: 개인보호구 검출모델은 현장 상황마다 다른 검출률을 확인할 수 있었고, 본 연구의 결과가 차후 현장적용을 위한 연구에 활용될 수 있을 것으로 여겨진다.

서론

연구의 배경 및 목적

최근 2020년 산업별 재해통계자료를 살펴보면 중대재해로 사망한 사망자는 건설업 567명(사고사망 만인율51.9%), 제조업 469명(사고사망 만인율22.8%)으로 건설업은 사고사망자가 가장 많은 산업에 해당한다. 정부는 중대재해로 인한 사망사고를 줄이기 위한 노력으로 2017년 ‘산업재해 없는 안전한 사회’, 2020년 ‘사망사고 절반으로 줄이기’, 2021년 ‘3대 필수 보호구’, 2022년 ‘중대재해처벌법’ 등의 캠페인과 법령을 강화하여 산업재해를 줄이기 위한 조치를 취하고 있다(Ministry of Employment and Labor, 2016-2020).

또한, 국내 건설현장의 시공, 재료, 설계 기술의 발전과 더불어 건설현장의 규모도 고층화, 대형화되고 있다. 이에 건설현장 안전관리에 관한 관심도 증가하고 있으며 이를 해결하기 위해 IT분야의 사물인터넷(IoT), 정보통신기술(ICT), 영상 AI 등의 신기술을 적용하고 있다. 특히 2020년 3월 20일 국토교통부에서 발표한 건설기술 진흥법 하위법령 개정안 내용을 살펴보면 스마트 안전장비 도입을 위해 건설현장 내 첨단 기술 활용 시 발주자가 비용을 부담하는 근거를 확립하였고, 관리비 항목에 ‘스마트 안전’이 추가되어 더욱 활발한 스마트 기술도입이 예상된다((Ministry of Employment and Labor, 2020).

위와 같은 정부의 노력으로 현재 건설현장에서는 드론을 활용하여 근로자가 접근하기 어렵고 재해 발생 위험이 있는 지역의 안전 점검을 시행한다. 또한, 지능형 CCTV를 활용하여 위험지역 및 화재 등의 위험 발생 시 알람을 주는 시스템과 사물인터넷과 센싱을 결합하여 근로자의 상태 및 건설장비 사고 예방 시스템 등을 통해서 건설현장 재해 감소를 위해 노력하고 있다(Shin, 2021). 스마트 안전관리에 관련된 연구도 활발히 진행되고 있으며 연구는 데이터 기반 건설현장 내 스마트 기술 활용을 위한 연구(Hong et al., 2017), 시지각적 요소를 갖춘 건축물 위험징후 측정 모니터링 시스템 설치 가이드라인 개발연구(Kim et al., 2020), 스마트 기술 도입 우선순위 도출에 관한 연구(Seo et al., 2020), 빅데이터 분석을 활용한 초기 정보 기반 화재현장 위험도 예측 모델 개발 연구(Kim et al., 2021), 사물인터넷 기술을 활용해 건설 공사 단계에서 발생 되는 건설 근로자 사고 예방을 위한 연구(Min., 2021) 등이 진행되었다.

컴퓨터 비전(Computer Vision)은 인간의 눈을 통해 시각적인 정보를 습득하고 판단하는 과정을 모방하여 컴퓨터 영상장비를 통해 습득한 정보를 판단하는 한 분야이다. 컴퓨터 비전 기술은 자동차 산업에 많이 사용되는 한 기술로 사물 검출을 통해 도로 표면(포트홀, 크랙), 버스 주행 도로 등을 자동으로 판단하여 운전자가 안전한 운행을 도와주는 기술로 사용된다(Kim et al., 2021). 최근 건설업에도 컴퓨터 비전 기술은 사람과 중장비를 검출하고 사람은 근로자와 신호수를 구분하여 중장비로 인한 사고를 줄이기 위한 목적으로 컴퓨터 비전을 활용하고 있다(Jeong et al., 2021). 또한, 스마트 안전관리 중 컴퓨터 비전 기술을 활용한 연구는 건설장비 검출, 근로자 검출, 개인보호구 검출 등과 같은 영상 정보를 활용한 연구가 진행되고 있다. 스마트 기술을 활용한 실시간 안전장비 착용 감지 등 객체검출 기술에 관련된 연구(Lee et al., 2019), 스마트 건설현장에서 개인 보호장비 검출의 개선 방법(Park et al., 2020), 컴퓨터 비전 기술을 이용한 안전모 검출(Song et al., 2021) 등과 같은 단위 기술에 관한 연구는 진행되고 있지만, 실제 건설현장의 특성(객체 간 중첩, 객체 잘림, 객체 크기)을 반영한 연구는 다소 미흡한 실정이다.

따라서 본 연구는 스마트 안전관리 기술 중 컴퓨터 비전 기술을 건설현장에 적용하여 건설현장 근로자를 대상으로 안전모, 안전대와 같은 개인보호구 착용 상태를 자동으로 검출할 수 있는 모델을 개발하고, 건설현장에 적용 후 도출된 결과를 토대로 미검출, 오검출에 대한 요인을 파악하여 건설현장 적용을 위한 최적화 방안을 제안하고자 한다.

연구의 방법 및 범위

건설업의 재해를 예방하고 피해를 최소화하기 위해 스마트 건설기술로 빅데이터, 웨어러블 디바이스, 컴퓨터 비전, 웨어러블 디바이스, 스마트 센싱, AI 등이 제시되고 있다. 이에 본 연구는 인터넷에서 무료로 제공되고 있는 객체검출 알고리즘, 알고리즘 학습용 이미지 데이터, 국내 건설현장에서 수집한 이미지 데이터를 활용하여 컴퓨터 비전 기술 기반으로 개인보호구 검출 모델을 개발하고자 한다. 또한, 최종 목표는 건설현장 적용사례분석으로 현장별 특징과 요인을 분석고자 한다.

본 연구에서의 검출 대상은 추락 및 낙하물에 의한 사고가 발생할 수 있는 건설현장 최상단 슬래브, 가설 비계, 고소 작업대에 있는 건설현장 근로자와 근로자가 착용한 안전모, 안전대로 한정하였다. 건설현장은 층고가 높고 외부 대형 건설기계 사용이 빈번한 PC 구조 현장, 거푸집·서포트·기타 자재 등이 많은 일반 콘크리트구조 현장, 버림 콘크리트 타설 이후 기초철근배근 공사가 진행 중인 일반 콘크리트구조의 현장으로 선정하였다.

이론적 고찰

건설현장 재해 분석

국내 건설업 재해 현황을 살펴보면 Fig. 1과 같이 2016년부터 2020년까지 최근 5년간 재해자 수와 사망자 수는 다소 증가하거나 유지되는 추세를 보인다. 건설현장 사망 재해 원인은 추락, 낙하물, 부딪힘, 화재, 깔림, 뒤집힘, 무너짐, 기타 등이 존재하지만 이 중 추락과 낙하물에 의한 재해가 50% 이상을 차지하고 있다. 또한, 산업재해를 분석한 한 연구에 따르면 건설 근로자가 개인보호구를 사용했을 때 부상률이 87% 이상 적은 것으로 나타났고 개인보호구를 사용하는 것은 건설 근로자가 위험으로부터 보호받는 마지막 수단으로 개인보호구 착용을 위한 연구에 대한 필요성을 제기하였다(Gil, 2017).

Fig. 1. Fatal disaster statistics in the construction industry from 2016 to 2020

건설현장에서의 스마트 건설기술 적용

2020년 1월 20일 국도교통부 보도자료에 따르면 스마트 건설기술은 인구감소·고령화로 인한 생산성 저하와 재해감소를 위해 채택된 기술이며 중점분야와 핵심기술은 Table 1과 같이 분류하였다(Ministry of Employment and Labor, 2020).

Table 1. Focused areas and core technologies of smart construction

본 연구에서 제안하고자 하는 기술은 Table 1에서의 ‘스마트 안전 통합 관제기술’ 중 ‘건설현장 근로자 안전확보 기술 개발’에 해당하며 컴퓨터 비전 기술을 활용하여 기존의 수동적인 건설산업의 안정성을 능동적으로 대응할 수 있는 기반을 제공하는 것이 목적이다. 컴퓨터 비전과 같은 건설산업의 디지털 수준을 높이게 된다면 건설산업의 안정성을 높이는 기대를 할 수 있다(Im et al., 2020).

안전관리에서의 스마트 건설기술 적용

건설현장 안전관리에서 사용되고 있는 스마트 건설기술 활용 사례를 확인해 보면 스마트 건설기술 통합 시스템, 드론, 인공지능 CCTV, 웨어러블 디바이스, 스마트 센싱, 건설 로봇 등 다양한 기술이 Fig. 2와 같이 적용되고 있다.

Fig. 2. Primary smart technologies in construction industry

스마트 안전 통합 관제 시스템은 사고 빅데이터, 안전사고 시나리오 생성, 안전사고 관련 데이터 분석 기술 등에 사용되고 있다. 드론과 지능형 CCTV는 각각 사각지대 및 안전관리자가 접근하기 어려운 지역과 재해 발생이 높은 위험지역, 화재 발생 가능 지역 등을 집중적으로 모니터링을 하기 위해 사용된다. 사물인터넷 기반 플랫폼은 근로자의 위치정보 및 심박 수 모니터링을 위해 활용하는 웨어러블 디바이스, 건설장비와 근로자에 센서를 부착하여 건설장비와 근로자의 위치가 일정 거리 내 접근 시 알림을 주는 스마트 센싱, 고위험 작업을 기계화하여 근로자 재해 발생 예방을 위한 건설 로봇 등을 활용하여 플랫폼을 구축하고 있다.

객체검출 기술 적용 방안

객체검출 기술 적용 방안은 컴퓨터 비전 모델 학습과 평가를 위한 데이터셋 구성, 영상에서의 근로자 영역을 검출하기 위한 근로자 검출 모델 개발, 개인보호구 착용 여부를 분류하는 개인보호구 착용 분류 모델 개발 단계로 구성하였다.

데이터셋 구성

데이터셋 구성은 알고리즘 모델의 학습 및 평가를 위해 개인보호구 이미지 수집과 학습을 위한 데이터 구축하는 방안에 대해서 기술한다. 데이터 수집은 Pictor-v3에서 제공하는 이미지 데이터와 건설현장에서 촬영한 이미지 데이터를 분류하여 데이터셋을 구성하였다.

Table 2는 구성된 데이터셋을 나타낸다. 크라우드 소싱을 통한 1,330장의 이미지 데이터, 웹마이닝을 통한 784장의 공개된 이미지 데이터, 실제 토목 현장에서 수집한 2,810장의 이미지 데이터와 건축 현장에서 촬영한 10,300장의 이미지 데이터로 총15,224장의 데이터를 구축하였다.

Table 2. Overview of the collected image data

데이터 학습을 위해서는 수집된 이미지 데이터를 검출할 수 있게 하는 라벨링 작업이 필요하다. 라벨링은 LabelImg-master 프로그램으로 수행하였으며 이미지를 안전모 착용, 안전대 착용, 안전모·안전대 착용의 카테고리로 구분하여 이미지내의 좌표 정보를 경계 박스(Bounding Box)로 생성한 뒤 Fig. 3과 같이 저장하였다.

Fig. 3. Image labeling

근로자 검출 모델

본 단계의 목적은 건설현장을 촬영한 영상에 나타난 사람을 검출하는 모델을 적용하는 것이다. 객체검출 방법은 크게 1-stage detector와 2-stage detector로 나뉜다. 1-stage detector 방법은 후보 영역(Region Proposal)과 분류(Classification) 과정이 동시에 이루어지고 2-stage detector 방법은 후보 영역과 분류가 순차적으로 진행되어 검출 정확도는 우수하지만 학습된 클래스(Class)를 분류하기 위해서는 2,000개의 합성곱 신경망을 통과하는 이미지가 필요하다. 따라서 실시간으로 후보영역과 분류 과정이 동시에 이루어지고 상대적으로 빠른 속도를 위해 1-stage detector 방법인 YOLO(You Only Look Once) 계열의 YOLO-V3 모델은 사용하였다. YOLO-V3의 구조는 Fig. 4와 같고 53개의 합성곱 계층과 GPU를 사용하여 빠르게 객체검출이 가능하다. YOLO-V3 모델은 Joseph Redmon¹⁾이 개발한 것을 사용하였고 근로자 검출을 위해 Table 3 과 같이 설정하였다.

Fig. 4. YOLO-V3

Table 3. YOLO-V3 setting in python programming

개인보호구 착용 분류 모델

본 단계는 영상에서 검출한 근로자의 개인보호구 착용 여부를 분류한다. 개인보호구 착용 여부를 분류하기 위해서는 검출된 근로자의 개인보호구 착용 여부에 따른 클래스 설정과 학습이 필요하다. 개인보호구 분류기로 사용될 알고리즘은 기 학습되지 않은 YOLO-V3 알고리즘을 사용하였다. 분류기로 사용할 YOLO-V3 알고리즘의 학습 과정은 검출기를 통해 얻은 근로자의 경계박스 위치정보 내의 정보만 판단하도록 설계되었다. 경계박스의 입력 크기는 최대 150×150픽셀[Pixel]로 설정하였고 모델 학습을 위한 클래스 설정은 다음 Table 4와 같다.

Table 4. YOLO-V3 Class Setting

YOLO-V3 모델 학습 방법은 파이선(Python) 프로그래밍 언어로 코드를 구성하여 깃허브에서 오픈소스로 제공하는 텐서플로우(Tenserflow)를 활용하였고 학습률은(Learning rate) 0.0001, 학습 횟수는 총 5,000번을 진행하였다.

현장적용사례 결과 및 분석

현장적용 사례 개요

딥러닝 검출기가 적용된 본 연구의 결과물을 활용하여 건설현장에 적용하기 위한 구축한 환경은 다음 Table 5와 같다.

Table 5. Outline of the system building

건설현장은 총 3개소에 적용하였으며 Table 6과 같이 ‘A’ 현장은 PC 구조공사, ‘B’ 현장은 거푸집 공사, ‘C’ 현장은 기초 공사가 진행 중이었다. A 현장의 크기 및 특징은 연면적 7,903m² 건축물 높이 66m로 지하 1층~지상 9층 총 10개 층의 PC 구조 건설현장으로 근로자의 작업 공간은 넓고 높은 곳이며 대형 장비인 크레인, 고소 작업대 등을 사용한다. B 현장의 크기 및 특징은 연면적 621.91m², 건축물 높이 14.40m로 지상 4층 총 4개 층의 철근콘크리트구조 건설현장으로 거푸집, 철근, 서포트, 기타 자재 등을 사용한다. C 현장의 크기 및 특징은 연면적 71,311.31m², 건축물 높이 28.06m로 지하 1층~지상 4층 총 5개 층의 철근콘크리트 구조 및 경량철골구조로 B 현장과 구조는 유사하지만, 공정에 따라 주변 구조물에 많은 차이가 있었다.

Table 6. Three types of construction sites

개인보호구 검출 모델을 건설현장 적용을 해본 결과는 Table 7과 같고 현장별 적용사례 결과를 분석하기 위해 총 36,000개의 프레임 중 무작위로 약 3,100개의 프레임을 선정하였고 정상검출²⁾, 오검출³⁾, 미검출⁴⁾의 횟수와 비율을 정리했다. A 현장의 경우 정상검출 77.6%, 오검출 15.7%, 미검출 6.7%로 오검출과 미검출이 다른 현장에 비해 다소 높은 결과가 나타났다. B 현장의 경우 정상검출 79.0%, 오검출 14.4%, 미검출 6.6%로 다른 정상검출, 오검출, 미검출에 대한 비율이 중간값의 결과가 나타났다. C 현장의 경우 정상검출 79.9%, 오검출 6.6%, 미검출 5.9%로 다른 현장에 비해 정상검출이 가장 높은 결과를 보였고 오검출과 미검출은 가장 낮은 결과가 나타났다.

Table 7. Outcomes resulted from the application into three construction sites

현장적용 사례분석

각 현장별 개인보호구 검출 모델의 오검출과 미검출을 다음 Table 8과 같이 분석하였다. 근로자 오검출과 미검출의 경우 근로자 검출 모델 알고리즘의 오류로 근로자 오검출 요인은 건설자재, 건설기계, 가설시설, 기타 물체를 근로자로 검출하였고 근로자 미검출 요인은 건설자재, 구조물, 자재 운반, 신체 중첩 시 근로자로 검출하지 못하였다. 다음은 개인보호구 분류기 알고리즘의 오류 원인은 거리, 작업 자세, 자재 운반, 신체 중첩 시 개인보호구 착용 여부에 대한 분류 오류가 있었다.

Table 8. Analysis of results according to a construction type

현장별로 살펴보면 ‘A’ 현장에 나타난 근로자 오검출 요인은 건설자재, 건설기계, 가설시설, 기타 물체 순으로 근로자로 오검출하였고 근로자 미검출의 경우 건설자재, 구조물, 자재 운반 순으로 근로자의 신체일 부분이 가려져 검출하지 못하였고 개인보호구 오검출의 주요 요인으로는 거리, 자재 운반, 신체 중첩 순으로 작업 자세에 의해 개인보호구가 가려져 오검출을 보여주었다. A 현장은 대형 장비, 대형 구조물의 사용 여부로 인하여 오검출과 미검출이 발생한 것으로 사료된다.

‘B’ 현장에 나타난 근로자 오검출은 건설자재, 가설시설, 기타 물체 순으로 근로자로 오검출하였고 근로자 미검출의 경우 주요 요인으로 건설자재, 구조물, 자재 운반, 신체 중첩 순으로 미검출이 되었고 다음 개인보호구 오검출의 요인으로는 거리, 작업 자세, 자재 운반, 신체 중첩 순으로 개인보호구 오검출을 보여줬다. B 현장은 거푸집 조립, 자재 가공 등 작업으로 현장에 장애물이 많았으며 이로 인하여 근로자 오검출, 근로자 미검출의 요인중 건설자재로 인한 요인의 특징이 발생한 것으로 사료된다.

‘C’ 현장에 나타난 근로자 오검출의 요인은 건설자재, 건설기계 순으로 근로자로 오검출하였으며 근로자 미검출은 건설자재, 구조물, 신체 중첩 순으로 근로자를 검출하지 못하였고 개인보호구 오검출의 요인으로는 거리, 작업 자세, 자재 운반, 신체 중첩 순으로 인하여 개인보호구 오검출을 보여줬다. C 현장은 기초철근 배근 공사 작업 현장으로 안전대를 착용하지 않은 근로자가 다수 존재하여 다른 현장보다는 비교적 오검출과 미검출의 특징이 나타나지 않는 것으로 사료된다.

다음 Table 9는 개인보호구 검출 모델의 적용 결과에서 나타난 오검출 및 미검출에 대한 대표적인 사례 사진이다.

Table 9. Representative cases of misrecognition and non-recognition

결론

본 연구는 국내 건설현장의 재해 예방을 위해 학습데이터 15,224장을 구축하여 건설기술인 컴퓨터 비전을 활용한 개인보호구 검출 모델을 개발하여 건설현장에 적용하였고 개발한 개인보호구 검출 모델을 국내 건설현장에 적용하여 발생된 36,000프레임 개수를 통해 현장적용 사례를 분석하였다. 개인보호구 검출 모델을 건설현장에 적용한 결과 근로자 오검출, 근로자 미검출, 개인보호구 오검출의 요인이 분석되었고 현장별 특징이 나타났다. ‘A’ 현장의 특징으로는 PC 구조로 층고가 높고 다양한 건설기계 사용과 인양 자재가 많아 건설기계에 가려진 근로자 오검출이 발생하였고, PC 구조물 및 가설건물에 가려진 내부 근로자에 대한 근로자 미검출 및 개인보호구 오검출이 발생하였다. ‘B’ 현장의 특징으로는 기둥 형틀 거푸집 조립 작업 중인 현장으로 거푸집 공사에 의한 수직 자재를 근로자로 오검출하였으며, 현장 바닥에 적재한 자재를 오검출하여 기둥, 서포트, 거푸집 등에 가려져 미검출이 발생하였다. ‘C’ 현장의 특징으로는 건설기계 사용 및 가설 비계 등의 사용이 없는 기초철근 배근 작업으로 근로자 오검출 미검출 및 개인보호구 오검출이 상대적으로 적게 발생하였다.

본 연구는 컴퓨터 비전 기술의 건설현장 내 적용 가능성, 효율성에 대한 기초자료로 사용될 것이며, 국내 스마트 안전관리에 사용되어 건설현장의 재해 예방과 피해 최소화에 기여할 것으로 보인다. 또한, 개인보호구 검출 모델을 건설현장에 적용함에 있어서 검출 대상에 대한 오검출, 미검출을 줄이기 위한 연구와 사용성, 효율성 측면에서의 추가적인 연구가 필요할 것으로 사료된다.