Deep Learning Based Rescue Requesters Detection Algorithm for Physical Security in Disaster Sites

재난 현장 물리적 보안을 위한 딥러닝 기반 요구조자 탐지 알고리즘

Abstract

If the inside of a building collapses due to a disaster such as fire, collapse, or natural disaster, the physical security inside the building is likely to become ineffective. Here, physical security is needed to minimize the human casualties and physical damages in the collapsed building. Therefore, this paper proposes an algorithm to minimize the damage in a disaster situation by fusing existing research that detects obstacles and collapsed areas in the building and a deep learning-based object detection algorithm that minimizes human casualties. The existing research uses a single camera to determine whether the corridor environment in which the robot is currently located has collapsed and detects obstacles that interfere with the search and rescue operation. Here, objects inside the collapsed building have irregular shapes due to the debris or collapse of the building, and they are classified and detected as obstacles. We also propose a method to detect rescue requesters-the most important resource in the disaster situation-and minimize human casualties. To this end, we collected open-source disaster images and image data of disaster situations and calculated the accuracy of detecting rescue requesters in disaster situations through various deep learning-based object detection algorithms. In this study, as a result of analyzing the algorithms that detect rescue requesters in disaster situations, we have found that the YOLOv4 algorithm has an accuracy of 0.94, proving that it is most suitable for use in actual disaster situations. This paper will be helpful for performing efficient search and rescue in disaster situations and achieving a high level of physical security, even in collapsed buildings.

화재, 붕괴, 자연재해 등의 재난 발생으로 건물 내부가 붕괴하는 경우, 기존의 건물 내부의 물리적 보안이 무력해질 확률이 높다. 이때, 붕괴 건물 내의 인명피해와 물적 피해를 최소화하기 위한 물리적 보안이 필요하다. 따라서 본 논문은 기존 연구되었던 장애물을 탐지하고 건물 내 붕괴된 지역을 탐지하는 연구와 인명피해를 최소화하기 위한 딥러닝 기반 객체 탐지 알고리즘을 융합하여 재난 상황의 피해를 최소화하기 위한 알고리즘을 제안한다. 기존 연구에서 단일 카메라만을 활용하여 현재 로봇이 있는 복도 환경의 붕괴 여부를 판단하고 구조 및 수색 작업에 방해가 되는 장애물을 탐지했다. 이때, 붕괴 건물 내 물체는 건물의 잔해나 붕괴로 인해 비정형의 형태를 가지며 이를 장애물로 분류하여 탐지하였다. 또한, 재난 상황에서 자원 중 가장 중요한 요구조자를 탐지하고 인적 피해를 최소화하기 위한 방법을 제안하고 있다. 이를 위해, 본 연구는 공개된 재난 영상과 재난 상황의 이미지 데이터를 수집하여 다양한 딥러닝 기반 객체 탐지 알고리즘을 통해 재난 상황에서 요구조자를 탐지하는 정확도를 구했다. 본 연구에서 재난 상황에 요구조자를 탐지하는 알고리즘을 분석한 결과 YOLOv4 알고리즘의 정확도가 0.94로 실제 재난 상황에서 활용하기 가장 적합하다는 것을 증명하였다. 본 논문을 통해 재난 상황의 효율적인 수색과 구조에 도움을 주며 붕괴된 건물 내에서도 높은 수준의 물리적 보안을 이룰 수 있을 것이다.

1. 서론

최신 과학 기술은 발전하고 있지만, 매년 폭발, 화재, 가스누출, 시설 노후화, 무리한 구조변경, 시공 및 관리부실 등의 이유로 건물에서 재난 사고가 발생하여 인적, 물적 피해를 미치고 있다. 행정안전부의 사고 발생 현황 데이터에 따르면 2020년에는 4,557건의 붕괴사고가 발생하였고 이로 인해 27명의 사망자와 245명의 부상자가 발생하였다[1]. 2020년 발생한 건물 내 화재 재난 사고는 이천 한익스프레스 물류센터 화재사고, 용인 SLC 물류센터 화재사고, 청량리 전통시장 화재사고, 울산 삼환아르누보 고층 아파트 화재사고, 군포 아파트 화재사고 등 다중밀집시설 대형화재사고가 총 7건이 발생하였다[2]. 이처럼 건물 내 화재, 붕괴, 가스 폭발 등의 다양한 재난 사고가 매년 끊임없이 발생하고 있다. 건물 내에서 발생하는 재난 사고는 신속하게 재난 상황을 파악하여 피해를 최소화 해야 한다.

National Fire Protection Association (NFPA) 기준에 따르면 화재 발생 후 8분이 지나면 화염은 최초 발화지역을 넘어서 인접한 방으로 확산되며 20분 이상이 지나면 재산 피해액도 2배 이상 증가하게 된다[3]. 또한, 미국 연방 재난 관리청에 따르면 사람의 생존 조건은 공기 없이는 3분, 낮은 온도에서는 3시간, 물 없이는 3일, 음식 없이는 3주이다[4]. 따라서, 재난현장에서 매몰된 요구조자를 구출하기 위해 주어진 시간은 3일 안팎이다. 하지만 재난 상황은 시시각각 변화하기 때문에 요구조자를 최대한 빨리 찾아 구출하는 것이 중요하다. 이처럼 재난 상황을 대비하고 건물 내 시설, 설비, 직원 등 조직의 물리적 자산을 보호해야 한다. 물리적 보안(physical security)은 건물 내부에 있는 사람, 사물 등의 물리적 자산을 보안하는 그것[5]으로 예기치 못한 범죄나 사고, 사건 등에서 피해를 받지 않고 최소화하기 위한 보안이다. 이때, 재난 상황이 발생한 건물 내부는 기존의 물리적 보안을 사용할 수 없다. 기존의 물리적 보안은 건물 내 동작 감지 센서, CCTV 등을 사용하는데 건물이 붕괴하거나 화재가 발생한 경우 기존에 설치된 센서들을 사용할 수 없다. 따라서, 재난 상황에서 건물 내 매몰되거나 고립된 요구조자들과 주요 기물을 최대한 지키는 방법이 필요하다. 본 연구는 건물 내 재난 상황에서 활용 가능한 물리 보안 시스템을 제안하고 이를 통해 재난 건물의 피해를 최소화할 수 있는 방법을 제안한다. 기존에 건물 내 재난 상황이 발생하면, 카메라를 부착한 로봇을 조종하여 단순히 상황을 영상으로 파악하였다. 하지만 단순 영상을 통해 사람이 직접 다시 재난 상황을 파악하는 것은 비효율적이다. 본 연구에서는 장애물과 요구조자를 영상 정보에서 찾아서 표시하고 제시하여 더욱 효율적인 수색 작업이 가능해진다.

본 논문은 2장 재난 상황에서 로봇 등을 활용하여 수색하기 위한 연구, 물리 보안을 통해 재난 상황을 대비하고 재난 상황에서 활용되는 것과 관련된 연구들을 소개한다. 또한, 본 연구에서 효율적인 수색을 위해 활용된 객체탐지 알고리즘에 관해 서술한다. 3장에서 재난 건물에서 물리적 피해를 최소화할 수 있는 인공지능 알고리즘 및 물리 보안 시스템을 설명한다. 4장에서는 인공지능 알고리즘의 비교 실험을 설계하여 공개된 재난현장 데이터를 통해 실험한 뒤 이에 따른 결과를 나타내며 마지막 5장에서 본 논문의 의의와 추후 연구 방향을 서술한다.

2. 관련 연구

재난현장에서 실종자를 수색하고 현장을 파악하기 위한 연구[6]가 진행되고 있다. 특히, 곤충형 모방형 드론이나 초소형 드론을 이용하여 재난 건물 내부를 탐사한다. 도심지에서 발생한 재난 상황의 매몰자를 탐지하기 위해 매몰자의 휴대기기에서 송출하는 Wi-Fi를 탐지하는 드론을 개발하는 연구[7]가 있다. 재난 건물에서 소방 드론을 활용한 것이 일반 소방관들이 탐색하는 것에 비해 탐색 업무에서 어느 정도 효율적인가를 분석하는 연구[8]가 있다. 해당 연구는 드론 1대를 활용하는 것이 소방인력 100명의 임무를 수행하고 고층 건물을 수색 탐색하는 경우 일반 소방대원이 수색하는 것보다 16배 빠르다고 판단했다. 다른 연구[9]에서는 재난을 예방하고 대비, 대응하기 위한 재난 방재에서 활용 가능한 드론을 개발하였다. 해당 연구는 다양한 종류의 드론을 비교 분석하여 원격으로 재난 상황에서 활용 가능한 드론을 정의했다. 재난현장에서 드론을 활용할 뿐 아니라 로봇을 활용하여 실제 재난 상황에 대응했다[10]. 노트르담 대성당에서 화재가 발생했을 때, 원격 제어 로봇을 활용하여 성당 내부 화재를 진압하였다. 재난현장에서 활용하기 위한 로봇 연구에는 협소 공간에 투입되어 생존자를 탐색하기 위한 뱀형 로봇을 개발하고 로봇에 여러 센서를 부착하여 생존자를 탐색하기 위한 연구[11]가 있다. 실제 재난현장에서 재난 대응을 위한 로봇의 국내·외 동향을 조사하고 실제 적용 사례를 분석하는 연구[12]가 있다. 해당 연구에 따르면 현재까지는 재난현장에서 활용하는 로봇 관련 기술 개발은 아직 초기 수준에 불과하다.

기존의 물리적 보안 연구[13]는 재난 상황과 별개로 건물 내 설치된 CCTV 등을 활용하여 물리적 보안 시스템을 개선하고 사건, 사고를 예방한다. 또한, 고정된 CCTV가 아닌 드론을 활용하여 물리적 보안을 이루는 연구[14]가 있다. 이 연구는 물리적 보안에서 드론을 도입하기 위한 기술적, 제도적 한계에 대해 논하며 이를 극복하기 위한 방법을 제시한다. 이처럼 실제 물리적인 공간을 보호하기 위한 물리적 보안은 재난 상황에서는 피해를 최소화하기 위해 사용되어야 한다. 이때, 재난 상황의 피해를 최소화하기 위해 물리적 재난 공간을 최대한 정확하게 파악하고 분석하는 것이 중요하다. 재난 상황을 정확하게 분석하여 사람, 주요 기물 등 물질적인 것을 지키기 위한 재난 상황의 물리적 보안을 제안한다. 또한, 본 연구에서는 재난 상황에 사용 가능한 카메라를 부착한 보급형 로봇을 통해 효율적인 수색 및 대응을 제안한다. 본 연구에서는 보급형 로봇을 활용하여 재난현장에 여러 대 투입되어 다양한 지역을 수색할 수 있는 방법을 제안한다. 이때, 보급형 로봇에는 카메라가 부착되어 장애물, 붕괴 지역 등을 탐색하여 소방대원의 안전과 효율적인 수색에 도움을 주고 요구조자를 탐지하여 빠른 구조에 도움을 줄 수 있다.

재난 상황에 요구조자와 장애물 등을 탐지하기 위해 본 연구에서 기존의 객체탐지 연구를 분석하였다. 영상 데이터를 통해 객체를 탐지하는 다양한 연구[15-20]가 있다. YOLOv4[15]를 이용한 객체탐지 연구는 YOLOv3에서 최신의 기법들을 네트워크에 적용하여 정확도를 높이고 빠른 실행속도를 냈다. 이때, YOLOv4 네트워크는 Backbone에는 CSPDarknet53으로 이루어지고, Backbone과 Head 사이를 연결하는 Neck 부분에는 SPP, PAN을 사용하였으며 Head에는 YOLOv3로 이루어졌다. 다른 객체탐지 연구 Feature Pyramid Network(FPN)[16] 은 영상 내 다양한 크기의 객체를 찾기 위해 저수준과 고수준의 특징 공간에서 객체를 예측한다. EfficientDet[17]은 BIFPN을 backbone으로 사용하고 복합 스케일링을 사용하여 큰 입력 이미지 데이터에도 효과적인 모델 스케일링을 할 수 있어 모델 학습에 효율성과 정확도를 높였다. 다른 연구 Single Shot MultiBox Detector (SSD)[18] 은 각 특징 맵을 서로 다른 비율의 스케일에서 각각의 bounding box을 예측하고 box의 좌표와 크기를 융합하여 최종 bounding box을 구하게 된다. 전체 큰 이미지에서 여러 bounding box을 예측하는 것이 아닌 각각의 스케일에서 예측하여 더욱 빠른 속도와 정확도를 가진다. SSD보다 이전에 나온 객체탐지 알고리즘 Faster R-CNN[19]은 Fast R-CNN 구조에 Region Proposal Network를 추가하여 유의미한 특징에 대해서만 객체를 예측한다. 본 연구는 인공지능 기반 장애물 탐지와 통로 내 진입 가능성 판별과 관련된 기존 연구[21]와 요구조자를 탐지하기 위한 신규 연구를 융합하여 재난현장의 효율적인 수색과 구조를 돕는다.

3. 제안하는 시스템 및 알고리즘

본 연구에서는 재난현장에 구조자를 탐지하고 재난현장을 파악하여 효율적인 구조와 수색을 돕는 제안하는 전체 시스템의 구성도는 그림 1와 같다. 보급형 로봇에 설치된 영상 장치를 통해 재난 상황에 대한 데이터를 수집한다. 이때, 데이터들은 클라우드 서버에 전송되어 장애물을 탐지하고 해당 통로가 진입이 가능한지 불가능한지 여부를 판단한다. 또한, 재난 현장에 있는 요구조자를 탐지하여 본부에 알림으로써 빠르게 구조할 수 있게 돕는다. 본 연구는 재난현장에 다수의 보급형 로봇을 분산 배치하여 다양한 공간을 수색할 수 있다. 재난 상황에 로봇을 이용하여 현장을 파악하고 신속한 구조 및 피해를 최소화하기 위한 상황 분석을 한다. 기존 재난 시스템은 사람이 직접 로봇을 조종하여 재난 상황을 수색하여 붕괴 위치, 장애물로 가로막힌 부분을 명확히 파악하기는 힘들다. 또한, 현재 소방로봇의 가격은 최소 5천만 원에서 최대 몇십억이 넘기 때문에 재난현장에 다수를 배치하기 힘들다. 하지만 본 연구에서 제안하는 시스템은 수집된 데이터를 처리하는 알고리즘을 제안하여 장애물로 막힌 부분이나 거대한 장애물을 파악할 수 있으며 진입 가능 불가능 여부를 확인할 수 있다. 그리고 요구조자를 탐지하여 재난현장에 가장 필요한 인명구조에 도움을 준다. 또한, 500만 원 이하의 저가의 보급형 로봇을 활용하여 재난 지역에 다수의 로봇을 배치할 수 있다. 우리는 이전 연구[21]에서 재난 상황에서 활용 가능한 다양한 연구를 진행했다. 그림 2와 같은 보급형 로봇[22]에 카메라를 설치하여 실제 환경에서 운영하면서 건물 내 장애물을 탐지하는 연구를 진행했다.

(그림 1) 재난현장 효율적인 수색을 위한 전체 시스템 구성도

(Figure 1) Complete system configuration diagram for efficient search of disaster sites

(그림 2) 실험에 사용된 보급형 로봇

(Figure 2) The low-cost robot used in the experiment

재난 상황에서는 다양한 물체가 정상적이지 않은 형태를 지니고 있다. 이에 따라 모든 물체를 학습시키는 것은 불가능하고 우리는 학습되지 않은 물체를 장애물이라 정의하여 장애물을 탐지 가능한 알고리즘을 설계하였다. 이때, 기존 연구의 알고리즘의 흐름도는 그림 3과 같다. 기존 연구의 알고리즘은 영상 데이터를 이용하여 바닥 면의 Segmentation을 구한다. 이때, 구조대원과 로봇이 필수로 지나게 되는 복도 바닥 면의 segmentation을 구했다. segmentation된 모양은 사다리꼴 형태를 가지는데 사다리꼴 모양이 나오는 경우 그림 4의 a와 같이 정상적으로 붕괴되지 않은 바닥 면으로 판단했다. 하지만 그림 4의 b와 같이 segmentation의 모양이 절반 이상 나타나지 않거나 아예 사라진 경우를 붕괴 혹은 잔해로 인해 진입 불가능한 복도로 판단했다.

(그림 3) 이전 연구 알고리즘 흐름도

(Figure 3) Flowchart of previous research algorithms

(그림 4) 정상, 비정상 바닥 면 세분화 결과: a는 정상 바닥 면 세분화 결과, b는 비정상 바닥 면 세분화 결과

(Figure 4) Normal, abnormal floor segmentation result: (a) is the normal floor segmentation result, (b) is the abnormal floor segmentation result

진입 가능한 복도의 경우 패턴 분석을 통해 장애물이 존재하는지 판단했으며 장애물이 존재하는 경우 장애물의 크기와 현재 로봇으로부터의 위치를 추정하였다. 이때, 기존 연구 알고리즘의 성능은 표 1과 같다. 하지만 기존 연구의 경우 요구조자를 찾는 것보다 재난 상황을 탐색하고 분석하여 재난 상황이 나타난 재난 지도를 만드는 것을 목적으로 하였다. 본 연구는 기존 연구에서 재난 지도를 생성하는 과정에서 요구조자를 파악하여 재난 상황의 물리적 보안 중 가장 중요한 요구조자를 탐지한다. 기존 연구와 본 연구를 융합한 알고리즘은 그림 5와 같다.

(표 1) 기존 연구 알고리즘 성능

(Table 1) Performance of existing research algorithms

(그림 5) 기존 연구와 신규 연구를 융합한 알고리즘 구성도

(Figure 5) An algorithmic diagram that combines previous and new research

로봇을 이용하여 수집된 영상 데이터에서 건물 바닥 면을 탐지한다. 이를 통해 해당 통로에 진입 가능 여부를 판단하고 진입할 수 있다면 장애물을 탐지한다. 탐지된 장애물에 대한 사람인지 장애물인지 객체 인식을 하게 되는데, 이때 사람일 때 바로 본부에 보고되어 신속하게 요구조자를 구조할 수 있게 한다.

4. 실험 및 결과

본 연구에서는 요구조자를 탐지하는 딥러닝 기반 객체 인식 알고리즘을 비교 분석하기 위해 구글 검색을 통해 그림 6과 같은 데이터를 수집했다. 이미지 데이터뿐 아니라 실제 화재 현장의 구출을 소방대원 액션캠을 통해 촬영된 영상[23]도 실험에 사용하였다. 해당 영상은 전주완산소방서에서 소방의 날을 맞이해서 제작한 것으로 2018년 10월 7일 시내의 S모텔 화재사건 때, 화재 현장에서 실제 요구조자를 구출하는 장면이 담겨있다. 이를 통해 총 1,508장의 재난현장 이미지 데이터를 수집하여 객체탐지 알고리즘의 성능을 비교 분석하였다. 다양한 종류의 객체탐지 알고리즘 중 Efficientdet, FPN, Retina net, SSD, Faster R-CNN, Yolov4 알고리즘을 비교하였으며 해당 모델들을 COCO 데이터 세트[24]를 통해 학습되었다.

(그림 6) 수집한 재난현장 데이터 예시

(Figure 6) Examples of disaster site data collected

재난현장에서 사람 탐지를 위해 딥러닝 모델을 비교한 결과는 표 2과 같다. 이때, F1-Score 값은 Precision과 Recall의 조화평균 값으로 분류 클래스 간의 불균형이 심할 때 사용한다. 현재 수집되어 실험에 사용된 데이터 세트도 사람이 없는 재난 이미지는 997장이며 사람이 있는 재난 이미지는 511장으로 클래스 간의 불균형이 존재한다. 본 연구에서는 재난현장에서 사람을 탐지하는 다양한 딥러닝 모델 중 YOLOv4의 F1-Score가 91%로 가장 좋은 성능을 가진다. 재난현장에서 사람을 탐지한 YOLOv4 모델의 결과는 그림 7과 같다. YOLOv4와 기존 연구를 제안하는 알고리즘을 융합한 알고리즘은 재난 상황에서 요구조자를 탐지 가능하며 장애물과 붕괴된 곳을 판단하여 효율적이고 빠른 수색에 도움을 준다. 이는 재난 상황의 물리 보안인 피해 최소화에 큰 영향을 줄 수 있다.

(표 2) 재난 상황의 요구조자 탐지를 위한 알고리즘 비교

(Table 2) Comparison of algorithms for detection of rescue requesterss in disaster situations

(그림 7) 재난현장 내 사람 탐지 결과

(Figure 7) The results of the detection of people at the disaster site

5. 결론

본 연구는 재난 상황의 물리적 자원을 최대한 보호하기 위해 재난현장의 실내를 탐색하고 요구조자를 찾는 알고리즘을 제안한다. 기존 연구는 실내의 장애물을 탐지하고 재난 건물의 진입 가능 및 불가능한 장소를 판단하여 효율적인 수색이 가능하다. 기존 연구는 재난현장 내 장애물과 진입 가능여부를 판단하여 소방대원의 수색과 구조작업을 도울 수 있다. 하지만 재난현장에서 가장 중요한 물리적 자원인 요구조자를 탐지하기 위해 다양한 딥러닝 알고리즘을 비교 분석하였다. 재난현장 영상 및 이미지 데이터를 수집하여 딥러닝 알고리즘에서 사람를 탐지했으며 이때, YOLOv4의 성능이 가장 좋았다. 본 연구를 통해 재난 상황에서 신속하고 효율적인 수색과 구조작업을 가능하게 한다. 우리는 추후 다른 센서 값과의 연동을 통해 더욱 정밀한 재난 상황 분석을 연구할 예정이다.