지하공동구의 CCTV 영상 기반 AI 연기 감지 모델 개발

Development of AI Detection Model based on CCTV Image for Underground Utility Tunnel

Abstract

연구목적: 본 논문은 지하공동구의 초기 화재 감지를 위해 CCTV를 활용한 AI 연기 객체 감지 모델을 개발하는데 목적이 있다. 연구방법:비정형성이 높은 연기 객체의 감지 성능을 제고하기 위해 화재 감지에 특화된 딥러닝 객체 감지 모델을 지하공동구 연기 감지에 특화되도록 학습시켰고, 학습데이터셋의 정제 및 학습 중 Gradient explosion 완화 등 감지 성능 개선을 위한 방법들을 적용해 모델 결과를 비교하였다. 연구결과: 결과는 제안된 방법을 통해 모델 성능을 향상시켰고 mAP 등의 지표를 평가를 통해 개발 모델이 우수한 성능을 보유하고 있음을 보여준다. 최종 모델은 지하공동구 환경의 연기에 대해 미탐이 낮은 반면 오탐이 다수 발견되는 성능을 보였다. 결론: 본 논문의 모델은 지하공동구 관리시스템과 연계를 통해 보완함으로써 지하공동구의 연기 객체 감지에 활용할 수 있을 것으로 판단된다.

Purpose: The purpose of this paper is to develope smoke detection using AI model for detecting the initial fire in underground utility tunnels using CCTV Method: To improve detection performance of smoke which is high irregular, a deep learning model for fire detection was trained to optimize smoke detection. Also, several approaches such as dataset cleansing and gradient exploding release were applied to enhance model, and compared with results of those. Result: Results show the proposed approaches can improve the model performance, and the final model has good prediction capability according to several indexes such as mAP. However, the final model has low false negative but high false positive capacities. Conclusion: The present model can apply to smoke detection in underground utility tunnel, fixing the defect by linking between the model and the utility tunnel control system.

서론

범죄예방 목적으로 공공 부분에 첫 도입된 CCTV 관제시스템은 2000년대 중반 이후부터 지하공동구에도 관리 목적으로 도입되었고 2020년 기준으로 136개 지하공동구 시설(면적 기준 1,070,000m²)에 설치·운영되고 있다. 지하공동구는 지하에 매설된 콘크리트 암거로 전력선·통신선·배수관 등이 밀집한 시설물로 CCTV 및 현장 관제인력에 의해 상시 관리된다(Fig. 1). 행정안전부의 CCTV관제센터 운영규정에 따르면 관제 인력 1명당 50개 CCTV를 담당하여야 하지만 지하공동구 관리 인력 부족으로 수도권의 경우 1인당 130대~180대 CCTV를 감당하고 있으며, 끊임없이 작동하는 CCTV 영상을 인력이 지속적으로 감시하는 것은 실제적으로 불가능하다. 특히, 지하공동구는 시설 관리의 효율성과 편의성을 위해 상주인력을 최소화하는 한편 여러 기반 시설이 집중된 상태로 재해·재난 상황 시 큰 피해로 이어질 수 있다. 2018년 고양시 주유소 화재와 KT 아현 지하통신구 화재는 관제 인력의 관리 한계로 인한 대표적인 대형사고이며, 규칙 기반 영상 분석 또는 함께 아날로그 센서 기반인 현재 관제시스템은 잦은 오작동으로 인해 제 기능을 못하는 것으로 알려져 있다(Ryu et al., 2020). 이러한 이유로 최근 CCTV 영상을 활용하여 딥러닝 객체 인식 기술을 적용한 여러 연구들이 출현하고 있으나 모델 경량화에 초점을 맞춰 개발되어 정확도가 낮거나 미탐률이 높으며, 지하공동구 환경 특성상 빛 반사 등 유사 화재 및 연기를 오탐하는 등의 어려움이 존재한다.

Fig. 1. Underground utility tunnel and its safety management using CCTV

본 논문은 지하공동구의 초기 화재 상황 감지를 위해 딥러닝 기반의 연기 감지 모델을 개발하였다. 연기는 비정형성과 투명성을 모두 가지고 있어 감지 성능을 높이기 쉽지 않다. 이를 극복하기 위해 일반 연기 이미지뿐만 아니라 지하공동구와 유사한 상황(터널 및 실내 화재)에서의 연기 이미지 데이터셋을 함께 구축하고, 화재 감지 목적으로 개발된 깊은 CNN 모델(Kim et al., 2020)에 학습시켰다. 또한 개발 초기의 낮은 연기 감지 성능을 개선하기 위해 몇몇 방법을 제시하고, 이를 통해 모델의 성능을 향상시켰다. 또한 제안된 모델을 지하공동구와 유사한 환경에서의 연기 검출에 적용하여 지하공동구의 화재 상황에 조기 대응하는데 기여할 수 있을지 검토하였다.

관련 연구 고찰

연기 감지 딥러닝 모델 개발사례 조사

딥러닝 객체 인식 모델 조사

객체 인식에 Convolutional Neural Network(CNN)을 활용한 R-CNN은 선택적 탐색 알고리즘을 활용해 후보 영역을 생성하고, CNN을 활용해 해당 영역에서의 객체 위치를 찾아내는 방법으로 PASCAL VOC 2010 데이터셋 기준으로 약 53.7% mAP(Mean average precision)을 보였다(Girshick et al., 2014). R-CNN은 객체 감지를 위해 여러 학습단계로 분리하는 것이 필요해 훈련하는데 많은 시간이 소요된다. 이를 개선하기 위해 Faster-R-CNN은 Feature map을 추출하는 CNN의 마지막 층 정보를 이용해 후보영역 생성함으로써 훈련 시간을 1/10 수준으로 감소시키면서 mAP 또한 향상시켰다(Ren et al., 2016). YOLO는 후보영역의 생성없이 이미지를 격자망으로 구분해 구역을 분류해 객체 인식을 수행함으로써 딥러닝 구조를 간소화시키면서 Faster R-CNN에 비해 훈련 및 검출 속도를 크게 향상시켜 실시간 적용성을 높였으나(Redmon et al., 2016) 인식 정확도는 다소 떨어지는 것으로 알려져 있으며, 특히 작은 물체 인식에 어려움이 있다(Lee et al., 2018).

연기 감지 모델 분석

연기는 공기 순환 및 확산과 함께 발생하므로 형태가 일정하지 않고 발화점에 따라 색이 다르다. 연기의 이와 같은 특성을 이용해 연기 감지를 위한 연구가 진행되었다. Yang et al.(2008)은 Support Vector Machine(SVM) 기반의 연기 검출 알고리즘을 제안하고, 연기 윤곽이 일정하지 않아 이미지 상 밀도가 뷸균등한 점을 SVM 기법과 결합하여 연기를 분류하고자 하였다. Yuan(2008)은 연기의 움직임 파악을 위해 누적 영상을 기반으로 고속 누적 움직임 방향 알고리즘을 적용하여 연기의 방향 및 픽셀의 이동을 구함으로써 연기 검출을 시도하였다. 두 모델은 기계학습 및 규칙기반 연기 감지를 시도하였으나, 인식률이 낮고 연기 주변 환경에 상당히 의존적으로 성능이 달라지는 것으로 판단된다.

한편 앞서 설명한 YOLO모델은 연기 감지에도 활용되었다. Saponara et al.(2021)은 YOLO v2를 활용해 화재 및 연기 검출 모델을 개발하고 임베디드 시스템인 Jetson Nano에 적용해 실시간 적용성을 검증하였다. CCTV 영상을 현장에서 받아와 임베디드 시스템에 배포 및 연산을 수행하여 객체 감지 속도가 저하되는 문제가 있었으나, 불꽃에 대해서는 유의미한 결과를 제시하였다. Ryu et al.(2020)은 화재와 함께 연기 검출에 YOLO모델을 적용하였으며, 성능 개선을 위해 영상 차분기법도 함께 도입하여 연기와 연무를 구분하여 감지를 시도하였다. Khan et al.(2021)은 세그먼테이션 기법(Segmentation method)을 활용한 연기 인식 검출을 위한 딥러닝 모델을 EfficientNet 모델 기반으로 제시하였으며, DeepLab v3와 의미론적 세그먼테이션(Semantic segmentation) 구조를 활용해 연기 객체의 정확한 위치 정보를 추정하고자 하였다. 개발한 모델이 연기 종류를 구분(Smoke, non-smoke, smoke with fog, Non-smoke with fog)하고 이에 대한 오차 행렬(Confusion matrix) 기준으로 높은 정확도를 가지는 것으로 나타났으나, 모두 밝은 환경에서의 연기 객체 감지 성능이 평가되어 있어 지하공동구 환경에서의 감지 성능은 알 수 없다. 또한 세그먼테이션 기법은 다각형으로 이뤄진 학습 데이터 구축이 필요해 YOLO 모델에 비해 학습 데이터 준비에 더 많은 노력이 요구된다. 이에 본 논문은 유사 지하공동구 환경의 화재 감지에서 우수한 성능을 보였던 깊은 CNN 모델을(Kim et al., 2020)을 활용하여 연기 감지 모델을 개발하고, 모델의 감지 성능을 분석 평가하고자 한다.

AI 연기 객체 감지 모델 개발 및 성능 평가

AI 연기 객체 감지 모델 개발

모델 학습을 위한 연기 데이터셋 구축

연기를 포함한 이미지 데이터셋 구축을 위해 Youtube에 화재 및 연기에 대한 검색어를 한국어, 영어, 중국어, 일본어 등으로 입력하여 관련 영상을 추출하였다. 또한 같은 방법으로 구글 이미지 검색 결과를 수집하였다. 지하공동구와 유사한 환경인 터널 및 실내에서의 연기만으로 데이터셋을 구축하고자 하였으나 데이터셋 구축에 한계가 있어 일반 환경에서의 연기로 수집 대상을 확대하였다(Fig. 2). 다만, 수집 영상에서 소화기 및 물대포 등으로 화재를 진압하는 영상은 연기에 대한 오탐을 야기할 수 있어 제외하였다. 관련 영상 4,152 개를 수집하고 각 영상을 학습을 위해 전처리하였다. 연기 영상으로부터 초당 5장 이내로 이미지를 추출하고, 본 연구에서 사용한 딥러닝 모델의 이미지 크기 416x416으로 재조정(Resizing)하였다. 이미지 검색결과로부터 얻은 이미지 또한 같은 크기로 조정하였다. 각 이미지에 포함된 연기의 위치 및 크기 정보는 중심좌표법 대신 TLBR(Top-Left, Below-Right) 방법으로 생성하여 오차손실 영향을 최소화 하도록 하였다. 전처리 과정을 통해 구축된 전체 연기 데이터는 40,000개이다(Table 1).

Fig. 2. Image examples of smoke to train a deep learning model

Table 1. Amount of smoke image dataset

연기는 비정형성과 투명성이 있어 자동차 등의 일반 사물에 비해 학습 데이터셋 구축이 까다로우며 일관된 규칙에 의해 라벨링(Labeling)을 통해 학습데이터를 생성하는 것이 중요하다. 연기는 이미지 내에서 최소 크기 30x30 픽셀 이상이여야 하며, 경계 박스(bounding box)가 겹쳐서 생성될 수 있도록 하였다. 또한 이미지 내 연기가 나눠져 보이면 각각을 구분하여 라벨링하도록 하였으며 연기가 물체를 둘러싸고 있다면 물체까지 포함하도록 하였다. 본 연구에서 사용된 라벨링 규칙은 Fig. 3를 참고할 수 있다.

Fig. 3. Smoke labeling rules(blue line: bounding box)

연기 감지 딥러닝 모델

연기와 마찬가지로 화재 또한 일반 객체에 비해 심한 비정형성을 가지고 있다. 이러한 점을 고려해 지하공동구 유사 환경에서 정확성 및 속도 측면에서 우수한 성능을 나타냈던Kim et al.(2020)의 화재 감지 모델을 사용하여 연기를 감지에 활용하였다. 해당 모델은 모델의 압축 및 경량화와 어두운 환경에서 객체 감지에 유리하도록 Fig. 4와 같이 기본 합성곱 기반의 LeNet에 GoogleNet의 Inception block with bottleneck과 ResNet의 Skip connection을 추가된 형태로 구성되어 있다. 객체 감지 모델의 최종 결과는 다량의 경계박스 형태로 제공되며, 이는 영역이 중복되어 객체 인식 결과의 시각화에 적합하지 않고 예측 신뢰도가 낮은 것도 함께 포함되어 있어 제거하는 것이 필요하다. 이를 위해 딥러닝 레이어 끝단에 k-평균 클러스터링 방법을 적용한 Filter block을 추가하였다. 딥러닝 모델의 구조(architecture)에 대한 자세한 내용은 Kim et al.(2020)를 참고할 수 있다.

Fig. 4. Deep learning model core architecture for irregular object detection(Kim et al., 2020)

연기 감지모델 성능 개선: 과적합 가능성 방지, 데이터셋 정제, Gradient explosion 문제 해결

연기 감지 모델에 대한 학습을 진행하였으나, 훈련량 대비 오탐 및 미탐 등 감지 성능이 낮음을 확인하였다. 모델 성능 저하 원인을 과적합(Overfitting), 불량 데이터셋 포함, Gradient exploding로 판단하고 이를 해결하기 위한 방법을 구현하였다.

본 연구에서 사용되는 딥러닝 모델은 깊은 CNN 모델을 조합하여 학습 데이터에 대한 성능은 우수하나 모델이 복잡해 학습에 사용된 데이터셋에 과적합 되었을 가능성이 있고, 연기가 포함된 지하공동구 이미지셋 확보가 없어 현장 적용 시 검출 오류 가능성이 있다. 이러한 문제를 해결하기 위해 가중치 규제(Regularization)와 드롭아웃(Drop-out) 기법을 적용하였다(Lee, 2017). 또한 영상으로부터 추출된 이미지를 사용함에 따라 특정 연기 형상 및 색이 중심이된 연기 데이터셋이 다수 포함되어 있었다. 이들 이미지는 비정형성이 높은 연기를 특정 형상 및 색으로 편중되도록 모델의 학습을 교란하는 것으로 판단하고 시각적으로 차이 구분이 어려운 이미지를 삭제하였다.

한편 딥러닝 모델의 학습은 가중치(Weight) 및 편향(Bias)에 대한 역전파(Back propagation) 알고리즘에 의해 이뤄진다. 손실함수에 대한 가중치 및 편향에 대한 편미분값을 레이어 역방향으로 순차적으로 전파하여 가중치 및 편향 값을 수정(학습)하기 때문에 초기 레이어에 근접할수록 편미분값이 0에 근접하거나 비정상적으로 커질 수 있다(Gradient exploding). 역전파 수행 중 활성화 함수 값을 계산하여 이를 출력값과 비교한 결과, 출력값의 변동이 폭발적으로 증감됨을 확인하였다. 이를 극복하기 위해 역전파 중 편미분값이 임계값을 넘지 못하게 Gradient clipping과 He 초기화 기법을 적용하였다(Lee, 2017). 여기서 전자는 Gradient의 L2 Norm 값이 임계값을 넘게 되면 Gradient 값을 입계값과 L2 Norm 비율만큼 축소 적용하며, 후자는 적용시 레이어가 깊어지더라도 활성화 함수 값이 고르게 만들어 주는 역할을 한다. 두 기법을 적용해 학습 중 가중치의 완만한 변화를 유도하였다.

상기에 제안된 방법들을 적용한 모델들의 Epoch에 대한 정확도 및 손실함수 변화를 Fig. 5에 나타내었다. 과적합 문제 해결을 위한 기법 적용 효과로 약간의 정확도 증가 및 손실함수 감소가 확인되었다. 다만, 훈련 및 검증 데이터에 국한하여 결과를 평가한 것이므로 극적인 성능 개선 효과는 확인하기 어렵다. 반면 연기 이미지의 편중을 해결하여 학습을 진행한 경우 확연한 정확도 증가와 손실함수 감소를 확인할 수 있었다. 학습 데이터가 특정 연기 유형에 편중 되어 낮은 성능이 발생한 것임을 확인할 수 있다. 한편 Gradient explosion 해결 기법까지 적용한 경우 정확도는 타 모델에 비해 빠르게 상승하였으며 최대 0.92까지 상승하였고 손실함수는 0.036 수준까지 감소된 것을 확인할 수 있었다.

Fig. 5. Comparisons with deep learing models: Accuracy curve(left) and Loss curve(right)

연기 감지모델 성능 평가

최종 학습된 모델의 전반적인 연기 검출 성능 확인을 위해 PR 선도를 확인하고, 연기를 포함한 테스트 영상에 대해 연기 감지 성능을 확인하였다(Fig. 6). PR 선도 아래 면적이 0.82로 전반적으로 연기 객체에 대한 인식률이 높으면서도 정밀도도 높은 것으로 판단할 수 있다. 신뢰도(confidence) 0.5에 대한 mAP는 0.822였으며, 신뢰도 구간 0.5~0.95에 대한 mAP는 0.501 수준으로 양호한 성능을 보였다. 개발 중 성능 확인용으로 활용되었던4개 영상에 대해서도 초기 모델 대비 오탐이나 미탐없이 연기 객체 인식이 잘 이뤄지는 것을 확인할 수 있었다.

Fig. 6. Final model performance investigation: PR curve (left) and smoke video application (right)

추가로 개발된 모델 성능을 정량적으로 평가하기 위해 테스트 데이터셋 5000개에 대한 연기 검출 결과로부터 오차행렬를 Table 2와 같이 산정하고, Table 3에 나타낸4개 지표를 활용해 모델 성능을 판단하였다. 테스트 데이터셋에 대해 개발 모델은 정밀도(P)가 0.8776으로 높아 오탐률이 낮은 것으로 평가되며, 검출률(R)도 0.9로 미탐률이 낮을 것으로 판단된다.

Table 2. Confusion matrix of smoke detection model

Table 3. Object detection model Performance indexes and those of the current model

* TP: True Positive, TN: True Negative, FP: False Positive, FN: False Negative

최종적으로 지하공동구와 유사한 상황인 터널 내 차량 화재 및 화재 실험 영상을 활용해 연기 객체 감지 성능을 정성적으로 확인하였다(Fig. 7). 여기서 검출 기준 임계값(Threshold)은 0.3이다. 모델 개발 중 사용했던 테스트 영상 및 오차행렬 결과와 마찬가지로 연기 객체의 미탐은 거의 발생되지 않았으나, 오탐이 다수 발견되었다. 터널 화재 사고 영상(Fig. 7, Video 1)의 경우 영상의 오프닝 디자인(블러 처리 등), 콘크리트 벽체 등에 빛 반사로 인해 오탐이 다수 발생하였다. 터널 내 화재 실험 영상(Fig. 7, Video 2)의 경우 조명에 의한 빛 번짐 상황, 카메라 이동으로 인한 초점 상실 등에서 발생하였으며, 연기로 판단하기 모호한 대상을 검출하는 경우도 존재하였다.

Fig. 7. Application of the developed smoke detection model to pseudo underground utility tunnel environment

추가로 실제 지하공동구의 연기 발생 상황에 대해 연기 객체 감지 성능을 정성적으로 평가하였다. Fig. 8의 Video 1은 청주시 OO 지하공동구에서 연기 발생상황을 연출한 영상이다. 현재 운영 중인 지하공동구이므로 화재에 의한 실제 연기 연출은 불가하므로, 스모그머신을 이용해 연기 발생 상황을 연출하고 이때의 연기 검출 여부를 확인하였다. 연출을 위해 설치한 CCTV로부터 각각5m, 10m 떨어진 지점에서 두 차례 연기를 발생시켜 영상을 획득하였고, 해당 영상에 개발모델을 적용하여 지하공동구 내에서도 연기가 잘 검출해내고 있음을 확인하였다. 다만 조도가 높은 편이라 연기 객체 감지에 유리한 환경이라는 점과 연기가 존재하지 않는 콘크리트 벽체 및 통로에 나타난 사람 그림자를 연기로 인식하는 결과(Frame 4)가 종종 관찰되는 한계가 존재하였다. Fig. 8의 Video 2는 버려진 암거에서 수행된 화재 실험 영상에 개발모델을 적용한 결과이다. 실제 지하공동구와 같이 시설물이 배치되지는 않았으나 암거 구조물이고 낮은 조도 환경으로 Fig. 8의 Video 1에 비해 불리한 조건이다. 분석 영상은 콘크리트 벽에 비친 불꽃의 빛 반사를 연기로 오탐하는 결과를 종종 보여주었으나(Frame 1) 전반적으로 연기 발생을 잘 감지해내고 있고, 화재 전소 후 연기 확산까지도 감지해내고 있음을 확인 할 수 있다.

Fig. 8. Application of the developed smoke detection model to underground utility tunnel environment

적용결과로부터 개발모델의 지하공동구 및 유사 환경에서의 연기 오탐 문제는 학습 데이터셋의 확보 등 추가적인 보완이 필요할 것으로 판단되나, 지하공동구 내 CCTV는 고정식 카메라이고, 현장 상황을 고려한 검출 임계값 조정, 재난 상황 인식시 조명 점등 등 보조적인 분석 수단이 존재하므로, 이들과 결합을 통해 개발모델의 예측 성능을 개선할 수 있다고 판단된다.

결론

본 논문에서는 지하공동구 환경에서의 연기 감지 모델을 개발하고 이에 대한 성능을 평가하여, 지하공동구의 초기 재난·재해 상황을 방지하기 위한 활용 가능성을 분석하였다. 일반 객체와 달리 심한 비정형성과 투명성까지 갖는 연기 객체의 특성을 고려해 이에 특화된 깊은 딥러닝 모델을 사용하여 감지 모델을 개발하였고 감지 성능 개선을 위한 방법들을 제안 및 그 결과를 비교함으로써 조도가 낮은 환경에서의 다양한 형상 및 색 특성을 갖는 연기 객체의 검출 가능성을 개선할 수 있음을 보였다. 최종 개발된 모델은 테스트셋에 대해 정밀도 및 검출률이 각각0.88, 0.90 수준이며, mAP 지표도 0.822로 높은 성능을 보여주었다. 일반 환경과 유사 및 실제 지하공동구 환경에서의 연기 발생 영상에 대해 연기 감지 모델을 적용하여 정성적으로 평가한 결과, 전반적으로 미탐률이 낮았고 일반 환경에서의 연기 오탐률이 낮았던 반면 어두운 환경에서는 영상 상태, 유사 연기 객체에 의한 오탐도 다소 확인되었다. 이러한 결과는 오탐 감소를 위해 학습 데이터셋의 확보 등 추가적인 보완이 필요할 것으로 보이나, 지하공동구 기존 관제시스템과의 유기적인 연계를 통해 활용성을 확보할 수 있을 것으로 판단된다.