Deep Learning-based Object Detection of Panels Door Open in Underground Utility Tunnel

딥러닝 기반 지하공동구 제어반 문열림 인식

Abstract

Purpose: Underground utility tunnel is facility that is jointly house infrastructure such as electricity, water and gas in city, causing condensation problems due to lack of airflow. This paper aims to prevent electricity leakage fires caused by condensation by detecting whether the control panel door in the underground utility tunnel is open using a deep learning model. Method: YOLO, a deep learning object recognition model, is trained to recognize the opening and closing of the control panel door using video data taken by a robot patrolling the underground utility tunnel. To improve the recognition rate, image augmentation is used. Result: Among the image enhancement techniques, we compared the performance of the YOLO model trained using mosaic with that of the YOLO model without mosaic, and found that the mosaic technique performed better. The mAP for all classes were 0.994, which is high evaluation result. Conclusion: It was able to detect the control panel even when there were lights off or other objects in the underground cavity. This allows you to effectively manage the underground utility tunnel and prevent disasters.

연구목적: 지하공동구는 도시 지하에 전기, 수도, 가스 등의 인프라를 공동 수용하는 시설로 공기 흐름이 부족하여 계절에 상관없이 결로가 자주 발생한다. 결로는 전기 설비의 누전 화재를 일으키는 원인이 되므로 지하공동구 내의 조명 등 각종 시설물 관리를 위해 필요한 제어반은 결로에 노출되지 않도록 문이 닫힌 상태로 관리되어야 한다. 본 논문에서는 딥러닝 객체인식 기술을 활용하여 수km 거리에 반복 배치된 공동구 제어반의 문 열림 여부를 이동 카메라 조건과 조명이 꺼진 조건에서도 인식하고자 한다. 연구방법: 지하공동구를 순찰하는 로봇이 촬영한 영상데이터를 이용하여 딥러닝 객체인식 모델인 YOLO를 모자이크 이미지 증강기법으로 학습시켜 제어반 문 열림과 문 닫힘을 인식한다. 연구결과: 모자이크 이미지 증강기법으로 학습시킨 모델과 사용하지 않은 모델의 성능을 비교한 결과, 모자이크 학습 모델이 더 우수한 성능(모든 클래스에 대한 mAP가 0.994 이상임)을 보이는 것을 확인하였다. 결론: 지하공동구의 조명이 꺼진 상태에서도, 공동구 내부 시설물이 복잡한 환경에서도 제어반의 문열림 여부를 우수한 성능으로 인식하여 지하공동구 재난안전관리에 도움이 될 것으로 기대된다.

서론

연구배경 및 목적

지하공동구는 전력, 통신, 가스, 상수 등 도심지의 기반시설을 한곳으로 모아 효과적으로 유지 관리하기 위한 지하구조물이다. 지하공동구가 훼손될 경우 공간적 특성상 상당한 피해를 야기할 수 있어 안전관리가 중요하다(Lee, 2020). KT 서울 아현지사 화재(2018), 구리시 지하공동구 화재(2006) 등과 같은 사례들은 지하시설물의 재난 위험성을 보여준다.

지하공동구는 일사가 없고 공기의 유동이 원활하지 못하고, 우수, 지하수 등의 침투에 의해 습도가 높아지는 현상이 빈번하게 발생하여 결로가 발생하기 쉬운 조건을 형성한다(Yoon et al., 2014). Fig. 1은 지하공동구의 습도가 높아 결로가 제어반에 생긴 사진이다. 지하공동구 내 시설 중 제어반은 가스, 통신, 전력 등 다양한 시설물을 관리하고 있어, 이를 감시하고 관리하는 것이 중요하다. Fig. 2는 제어반의 내부 사진이다. 제어반 내부는 많은 전기 장치가 연결되어 있어 결로에 취약하여 누전에 의한 화재 예방을 위해 제어반의 문을 항상 닫아 놓아야 한다. 평소 제어반은 인력에 의해 관리되고 있으며 하루에 한 번순찰을 통해 제어반을 점검한다. 그러나 인력을 통한 관리 방식은 인력의 한계와 공간적 제약으로 인해 제한적인 정보 수집과 지연된 대응을 일으킬 수 있다.

Fig. 1. Condensation in underground utility tunnel

Fig. 2. Inside the light control panel

재난 안전 분야 딥러닝 기반 객체인식 기술

재난 안전 분야에서 객체 인식 기술은 다양한 용도로 사용되고 있다. 기존의 객체 인식 기술을 이용한 재난 안전 분야에 대한 연구는 대부분 CCTV 영상에서 객체 인식 기술을 적용하고 있다. YOLO를 활용한 공사 현장 작업자의 보호장구 착용여부 및 위험지역 진입여부 검출(Kim et al., 2021), 지하공동구의 CCTV 영상에서 소화기를 탐지하는 모델 개발(Park et al., 2022) 등이 있다. 객체 인식 기술은 CNN 알고리즘이 많이 활용되며 R-CNN, Fast R-CNN, YOLO(You Only Look Once)등 다양한 모델들로 발전해 왔다(Nam et al., 2021). 그중 YOLO는 처리 속도가 빠른 장점을 가지고 있으며 실시간 객체 감지에 적합하다(Jo et al., 2020).

지하공동구에서도 위험을 예방하기 위해 다양한 ICT 기술이 안전관리에 적용되고 있다. 최근 지하공동구에 AI 기술을 이용한 모노레일 형태의 로봇이 도입되었다(Lee et al., 2021). 로봇은 지하공동구의 일정 구간을 순찰하며 영상, 열화상, 온도, 습도, 산소 농도, 이산화질소 농도, 일산화탄소 농도, 이산화탄소 농도 등을 관측하고, 이러한 정보를 실시간으로 관제센터에 제공한다. Fig. 3의 왼쪽 사진은 공동구를 순찰하는 로봇이고 오른쪽 사진은 관제센터의 화면을 나타낸 것이다. 지하공동구 로봇은 수km에 달하는 공동구 전체를 주기적으로 순찰하며 영상을 촬영하기에 객체를 인식하기 적합한 감시수단이다. 하지만 공동구 내부는 대부분 조명이 꺼진 상태로 유지되기 때문에 움직이는 로봇이 촬영하는 영상에서 객체 인식 기술을 적용하여 영상이 흔들리고 어두운 환경에서도 객체 인식률을 높일 수 있는 방안이 필요하다. 본 논문에서는 지하공동구에서의 재난 안전을 위해 딥러닝 기반의 객체 인식 기술을 활용하여 움직이는 로봇의 영상에서 제어반의 문 열림 여부를 감지하는 방법을 제안하고자 한다.

Fig. 3. Underground Monorail Robot

딥러닝 기반 지하공동구 제어반 인식

학습 환경

지하공간에서는 일반적인 영상데이터에 비해 조도가 낮고 먼지 등에 의해 영상 품질이 떨어진다(Kim et al., 2020). 기존 연구 중 지하공동구의 CCTV 영상에서 소화기를 탐지하는 모델(Park et al., 2022)은 지하공동구의 불이 켜진 상태에서만 소화기를 감지한다. 본 논문에서는 움직이는 로봇 특성상 영상이 흔들리고, 지하공동구의 불이 꺼진 상태일 때도 제어반을 인식한다. 이러한 저조도 환경에서도 제어반 문 열림을 탐지하기 위해 공동구의 불이 켜진 상태와 꺼진 상태의 데이터를 수집하여 CNN 기반 객체 탐지 알고리즘인 YOLO 모델 중 YOLOv5을 이용해 실험을 진행하였다. YOLOv5는 One-stage Detector 방식을 사용하는 알고리즘으로 처리 속도가 빠르며 인식률이 좋다. YOLOv5는 backbone, neck, head로 구성된다. backbone은 이미지의 특징을 추출하는 단계로, 입력된 이미지에서 중요한 특징들을 감지하고 추출한다. neck은 backbone에서 추출된 특징들을 융합하는 역할을 수행한다. 이후 head는 neck에서 얻은 특징을 기반으로 최종 출력을 생성하는 역할을 한다. PC는 CPU 13th Gen Intel(R) Core(TM) i9-13900KF, GPU는 NVIDIA GeForce RTX 4080, Memory는 64G의 사양을 사용하여 실험하였다.

제어반 데이터 수집 및 라벨링

YOLO를 학습시키기 위해 데이터 수집 및 전처리를 진행한다. 지하공동구에 설치된 로봇의 순찰 영상에서 이미지를 추출해 학습 데이터를 구축하였다. 로봇의 순찰 영상에는 두 가지의 종류가 있는데 지하공동구의 불이 꺼진 상태와 불이 켜진 상태가 있다. 지하공동구의 불이 꺼진 상태에서는 비상등과 로봇의 조명에 의해 시야를 확보할 수 있다. 두 가지 지하공동구 상태에서 제어반의 문 닫힘, 문 열림에 대한 영상을 찍어 총 4가지 케이스의 영상을 확보하였다(Fig. 4). 문 열림 상태의 영상을 찍을 때는 데이터의 다양성을 확보하기 위해 제어반 문의 열린 각도를 다양하게 하여 데이터를 수집하였다. 이렇게 확보한 영상들을 프레임 단위로 짤라 이미지를 수집하였다. 수집한 이미지를 제어반 문 열림, 문 닫힘 두 가지 클래스로 나누어서 데이터를 구축했다. 제어반 문 열림 이미지 900여장, 문 닫힘 이미지 2200여장을 수집하여 총 3100여장의 이미지 데이터를 수집하였다. YOLO 학습을 위해 수집한 이미지에서 클래스 정보와 객체 좌표를 입력하는 라벨링 작업을 진행했다.

Fig. 4. Contextual control panel image

이미지 증강 기법을 이용한 제어반 학습

본 논문에서는 순찰 로봇의 영상에서 실시간으로 제어반 문 열림 여부를 검출해야한다. 따라서 처리 속도가 빠르며 인식률도 좋은 One-stage Detectot 방식을 사용하는 YOLO 모델중 YOLOv5로 학습을 진행하였다. 학습데이터는 3159장의 이미지 중 2344개의 이미지를 학습데이터로 사용하고 679개 이미지를 검증데이터, 시험데이터는 136개로 학습을 진행했다.

이미지 증강 기법은 모델의 성능을 향상시키기 위하여 원본 이미지를 변형해서 학습시키는 방법이다. 원본 이미지를 좌우반전, 이미지 확대 및 축소, 색상-채도-명도(Hue-Saturation_Value, HSV)변경, 모자이크를 이용해 학습한다. 모자이크는 하나의 이미지에 다른 이미지 3장을 결합하여 네 장을 하나로 만들어 학습시키는 방법이다(Fig. 5). 네 장의 영상을 병합하는 과정에서 이미지의 크기가 줄어들면서 객체의 크기도 함께 작아지고 이에 따라 작은 객체의 탐지율이 증가한다.

Fig. 5. Transformation of training images

본 논문에서는 모자이크를 사용하고, 사용하지 않았을 때로 나누어 학습을 진행하였다. 모자이크를 사용하여 학습 시 모델을 Table 1과 같이 설정했다. 모자이크를 사용하지 않았을 때는 모자이크의 하이퍼파라미터를 0으로 설정하여 학습하였다.

Table 1. Hyperparameters in YOLOv5

영상인식 알고리즘의 성능 평가 방법은 mAP(mean Average Precision)를 사용한다. mAP는 모든 클래스의 AP(Average Precision)를 평균한 값이다. AP는 알고리즘을 평가하기 위해 정밀도와 재현율의 그래프인 PR(precision-recall) 곡선에서 아래 면적을 구한 값이고 mAP@0.5는 IoU가 0.5 이상일 때 정답이라고 정의하고 평균값을 낸 것을 의미한다. 정밀도(Precision)와 재현율(Recall)은 TP(True Positive), FN(False Negative), FP(False Positive), TN(True Negative)와 같이 총 4가지의 예측 결과를 이용해 식(1)으로 계산된다. 즉 정밀도(Precision)는 모델이 True라고 분류한 것 중에서 실제 True인 것의 비율이고 재현율(Recall)은 실제 True라고 분류한 것 중에서 모델이 True라고 예측한 것의 비율이다.

\(\begin{aligned}\begin{array}{l}\text { Precision }=\frac{T P}{T P+F P} \\ \text { Recall }=\frac{T P}{T P+F N}\end{array}\end{aligned}\)       (1)

모자이크를 사용한 학습 결과를 그래프로 나타내어 학습의 성능과 진행 상황을 알 수 있다. Fig. 6은 각 Epoch별 학습 결과인 정밀도, 재현율, mAP를 그래프로 나타내 보았다. Epoch이 늘어날수록 정밀도, 재현율, mAP 모두 증가하였고 Epoch이 150일 때 mAP가 최댓값인 0.995로 높은 성능을 보인다. 이에 따라 학습이 잘 진행된 것을 알 수 있다.

Fig. 6. Training Precision, Recall and mAP

제이반 인식 테스트 결과

본 논문에서는 제어반 문 열림 예측 모델의 성능을 평가하기 위해 136개의 테스트 데이터를 활용하였다. 이 중 82개의 데이터는 제어반 문이 열려 있는 상태이고, 나머지 54개의 데이터는 문이 닫혀 있는 상태를 나타낸다. Table 2는 모자이크를 이용해 학습한 모델의 평가와 이용하지 않았을 때의 모델의 평가를 표로 나타낸 것이다. 모자이크를 사용하여 학습을 진행했을때 제어반 열림에 대한 mAP가 0.009 증가하였으며, 전체 클래스에 대한 mAP가 0.003 증가하여 향상된 탐지성능을 보였다.

Table 2. Test results

Fig. 7은 제어반과 사람이 같이 있는 사진에 모자이크를 사용하여 학습시킨 모델과 모자이크를 사용하지 않고 학습시킨 모델을 비교한 것이다. 모자이크를 사용하지 않았을 때 멀리 있는 사람을 제어반으로 오탐지하였지만 모자이크를 사용하여 학습을 시켰을때는 오탐지 하지 않았다. 이로 인해 모자이크를 사용한 경우 오탐율이 저감하는 것을 확인하였다.

Fig. 7. Comparison of mosaic use​​​​​​​

Tabel 3은 모자이크를 사용하여 학습시킨 모델을 통해 상황에 따라 제어반을 인식한 모습과 성능을 나타낸다. 좌측 상단의 경우는 지하공동구의 불이 켜진 상태에서 제어반이 열린 상황을 테스트 한 결과이다. 우측 상단의 경우 지하공동구의 불이 켜진 상태에서 제어반이 닫힌 상황이다. 이 경우 mAP가 0.993이 나왔다. 좌측 하단의 경우 지하공동구의 불이 꺼진 상태에서 제어반이 열린 상황이다. 저조도 환경이지만 mAP가 0.995로 높은 성능을 보인다. 마지막으로 우측 하단의 경우는 지하 공동구의 불이 꺼진 상태에서 제어반이 닫힌 상황이다. 4가지 상황 모두 mAP가 0.993 이상으로 지하공동구의 불이 켜져 있을 때와 꺼져있을 때 상관없이 높은 성능으로 검출한다. 제어반이 열린 것을 검출했을 때 오른쪽 상단에 경고 표시를 한다.

Table 3. Contextual test results

결론

지하공동구의 특성상 습도가 높아 결로 현상이 발생하여 제어반의 문이 열려 있으면 외부환경에 의한 누전피해가 발생할 수 있다. 본 논문에서는 이를 방지하기 위해 객체 인식 알고리즘인 YOLOv5를 적용하여 지하공동구를 순찰하는 로봇의 영상에서 제어반의 상태를 탐지했다. 학습을 위해 4가지 상황의 로봇의 영상에서 직접 데이터를 수집하였으며, 모자이크 기법을 사용해 모델의 성능을 향상시켰다. 지하공동구의 저조도 환경의 영상에서 모든 객체의 mAP 지표가 0.993 이상의 높은 성능으로 감지하였다. 이를 통해 지하공동구를 효과적으로 관리하여 재난을 예방할 수 있을 것으로 기대된다. 향후 지하공동구 데이터를 추가 확보하여 제어반뿐만 아니라 다양한 객체를 탐지함으로써 지하공동구의 안정성을 향상시킬 계획이다.