Development of a Deep-Learning Model with Maritime Environment Simulation for Detection of Distress Ships from Drone Images

드론 영상 기반 조난 선박 탐지를 위한 해양 환경 시뮬레이션을 활용한 딥러닝 모델 개발

Abstract

In the context of maritime emergencies, the utilization of drones has rapidly increased, with a particular focus on their application in search and rescue operations. Deep learning models utilizing drone images for the rapid detection of distressed vessels and other maritime drift objects are gaining attention. However, effective training of such models necessitates a substantial amount of diverse training data that considers various weather conditions and vessel states. The lack of such data can lead to a degradation in the performance of trained models. This study aims to enhance the performance of deep learning models for distress ship detection by developing a maritime environment simulator to augment the dataset. The simulator allows for the configuration of various weather conditions, vessel states such as sinking or capsizing, and specifications and characteristics of drones and sensors. Training the deep learning model with the dataset generated through simulation resulted in improved detection performance, including accuracy and recall, when compared to models trained solely on actual drone image datasets. In particular, the accuracy of distress ship detection in adverse weather conditions, such as rain or fog, increased by approximately 2-5%, with a significant reduction in the rate of undetected instances. These results demonstrate the practical and effective contribution of the developed simulator in simulating diverse scenarios for model training. Furthermore, the distress ship detection deep learning model based on this approach is expected to be efficiently applied in maritime search and rescue operations.

해양 조난 사고에서 드론 활용이 빠르게 증가하고 있는 가운데, 특히 드론을 활용한 수색 구조 작업이 주목받고 있다. 조난 선박 및 기타 해양 표류체를 빠르게 탐지하기 위해 드론 영상을 활용한 딥러닝 모델들이 확장되고 있다. 그러나 이러한 모델을 효과적으로 학습시키기 위해서는 다양한 기상 조건과 선박 상태를 고려한 대량의 학습 데이터가 필요하다. 이에 대한 데이터 부족 문제는 학습된 모델의 성능 저하로 이어질 수 있다. 이에 본 연구는 해양 환경 시뮬레이터를 개발하고 데이터셋을 보강하여 조난 선박 탐지를 위한 딥러닝 모델의 성능 개선을 목표로 한다. 이 시뮬레이터는 눈, 비, 안개와 같은 다양한 기상 조건과 선박 상태, 그리고 드론과 센서의 규격과 특성을 설정할 수 있다. 시뮬레이션을 통해 얻은 데이터셋을 활용하여 딥러닝 모델을 학습시켰다. 이로써, 실제 드론 영상 데이터셋만을 사용한 모델과 비교했을 때 정확도와 재현율 등의 탐지 성능이 향상되었다. 특히, 비나 안개와 같은 악기상에서의 조난 선박 탐지 정확도(Average Precision, AP)는 약 2-5% 정도 향상되었으며 미탐지 비율이 현저히 낮아졌다. 이러한 결과는 개발된 시뮬레이터가 현실적이고 효과적으로 다양한 상황을 시뮬레이션하여 모델 학습에 기여함을 보여준다. 또한, 이에 기반한 조난 선박 탐지 딥러닝 모델은 해양 수색 및 구조 작업에서 효율적으로 활용될 것으로 기대된다.

1. 서론

해양에서의 물동량이 증가함에 따라 인명피해를 초래하는 조난사고 또한 전 세계적으로 증가하고 있다. 한국의 통계자료에 따르면 2016년 2,307건이었던 해양사고는 2020년에 3,156건으로 증가했다. 해양에서의 조난사고와 이로 인한 사상자 수 또한 증가하여 심각한 문제로 대두되고 있다. 해양 경찰에서는 조난사고가 발생하면 Automatic Identification System (AIS)나 어선 위치 발신장치인 Vessel Positioning and Alert System for Safety (V-PASS)를 통해 선박의 위치를 파악한다. 그러나 해양경찰은 장치들의 신호가 끊어진 12시간 이후 수색 활동을 시작한다. 이는 선박의 위치를 파악할 수 없는 상황에서 수색과 구조 작업이 이루어지는 것을 의미한다. 해양에서 발생하는 조난사고는 육지와 다르게 해류 등의 환경적인 요인으로 인해 수색 범위가 넓고, 날씨와 같은 다양한 변수로 골든타임이 짧다. 이러한 상황에서는 신속하게 선박을 탐지하고 인명을 구조하는 것이 중요하다.

현재 해양에서 신속한 수색구조를 위해 위성, 유인기 및 드론을 활용하고 있다. 위성을 사용하면 날씨에 대한 제약조건이 적어 눈, 비, 안개와 같은 상황에서도 수색이 가능하다. 또한 위성은 넓은 범위를 커버할 수 있어 현재 수색과 모니터링에 적극적으로 활용되고 있다(Chang et al., 2019). 하지만 위성은 실시간으로 원하는 위치를 확인하는 데에 한계가 있어, 사고 발생 시 조난 선박을 신속하게 탐지하는 데 어려움이 있다. 게다가 대다수의 위성 영상은 해상도가 낮아 소형 선박을 탐지하는 데에 제약이 있다(Li et al., 2021). 한국의 통계자료에 따르면 선박의 유형별 사고 발생 건수를 분석한 결과, 어선이 전체 사고의 65%를 차지한다. 따라서 위성을 통하여 수색 시 소형 어선과 같은 경우 탐지에 한계가 있다. 반면 유인기로 수색 시 위성보다는 좁은 범위를 커버하지만 실시간으로 수색이 가능하다는 장점이 있다. 또한 조난 선박에 탑승한 사람이나 인근에 표류하는 사람에 대한 상태를 실시간으로 모니터링이 가능하며 응급상황이 있을 경우 의료서비스가 가능하다. 그러나 해양에서 수색구조의 상황에서 유인기를 통해 수색을 진행할 경우 2차 인명피해 발생 위험이 있다. 2022년 4월 8일 대만 해역에서 조난신고 이후 실종된 예인선 ‘교토 1호’ (322t)의 수색작업 지원에 나섰지만, 헬리콥터 추락사고로 해양 경찰 3명이 목숨을 잃는 사고가 있었다.

반면 드론의 수색 가능 범위는 위성과 유인기보다 좁지만, 저고도에서 운용이 가능하며 이에 따라 고해상도의 센서데이터를 확보할 수 있다는 장점을 갖고 있어 수색구조에 적합하다(Li et al., 2022). 드론은 낮은 고도에서 운용하면서 소형 어선과 같이 작은 객체까지 탐지가 가능하다. 또한 드론에 적외선센서를 탑재할 경우 안개와 같은 환경에서도 조난 선박에 대한 탐지가 가능하다. 이에 따라, 작은 크기의 객체 탐지, 낮은 운영 비용, 높은 공간 해상도, 유연한 항공 기동성을 갖춘 드론이 수색구조에 많이 이용되고 있다(Poudel et al., 2023). 해양에서 발생하는 선박 침몰 등의 안전사고에 대한 신속한 구조작업은 드론을 통해 이루어질 수 있으며, 실종자 수색에도 넓게 활용될 수 있다(Lee and Lee, 2016).

해양에서 조난사고 발생 시 국제항공 및 해상수색 구조편람 International Aeronautical and Maritime Search and Rescue (IAMSAR)에 따라 수색 작업이 진행된다. IAMSAR에서는 함정, 위성 그리고 항공기에 대한 운용방안에 대하여 다루고 있으나, 드론에 대한 체계적인 운용방안이 마련되어 있지 않은 상태이다. 이에 따라 드론을 활용한 수색 작업은 인력을 투입하여 드론을 수동으로 조종하고 육안으로 모니터링하는 방식으로 이루어지고 있다. 그러나 이러한 방식은 인력의 수동 조종으로 인해 조난 선박을 수색하는 과정에서 누락이 발생할 수 있는 위험성을 내포하고 있다. 또한 동시에 다수의 드론을 통한 수색 활동을 진행할 경우 모니터링하는데 한계가 있다. 자동으로 선박을 탐지하는 알고리즘의 도입은 이러한 누락 위험을 최소화하는 데에 중요한 역할을 한다. 이런 상황에서 딥러닝 알고리즘은 드론이 촬영한 영상을 실시간으로 처리하여 선박을 자동으로 탐지하고 위치를 추적함으로써, 수동적인 인력에 의한 드론 조종 및 육안 모니터링의 의존성을 줄여줄 수 있다. 이를 통해 조난 선박을 신속하게 감지하고 효과적으로 대응할 수 있다.

이에 따라 드론을 이용하여 선박을 탐지하는 연구가 활발히 진행되고 있다. 드론 영상을 이용하여 선박 탐지 모니터링 모델을 만들기 위하여 Convolutional Neural Network (CNN) 기반 새로운 딥러닝 모델을 구성하였고 검증한 결과, 99%의 정확도를 달성하였다(Woźniak et al., 2022). 이러한 선박 탐지 모델은 드론 영상의 특성을 고려하여 You Only Look Once version5 (YOLOv5)의 아키텍처 중 Backbone을 수정하여 새로운 객체탐지 모델로 제작되었고, 이로써 탐지 정확도가 개선되었다(Li et al., 2022). 많은 연구를 통해 해양에서 드론을 이용하여 선박을 탐지하는 것의 효율성이 입증되었다(Li et al., 2022; Cheng et al., 2023; Chen et al., 2020; Raza et al., 2022; Wang et al., 2021; Trong et al., 2021).

하지만 기존의 드론과 딥러닝 알고리즘을 결합한 선박 탐지 연구는 대부분 모니터링에 초점을 맞추고 있어, 조난 상황 시 침몰이나 전복된 선박을 찾는 데 한계가 있다. 조난 선박 탐지에 딥러닝을 적용하기 위해서는 대량의 데이터를 필요로 한다. 그러나 대량의 선박 이미지 데이터를 수집하는 것은 현실적으로 어려운 과제이다. 항구나 부두와 같은 선박이 모이는 장소에서의 사진 촬영은 주로 보안 문제로 제한되며, 군사 시설이나 국가적으로 중요한 보안 시설 등에서는 비행 자체가 금지된 지역이 대다수이다(Liu et al., 2020; You et al., 2021; Chen et al., 2020; Raza et al., 2022). 또한 조난 상황은 맑은 날씨보다는 악천후에서 발생하는 경우가 많으나, 이러한 악천후 상황을 담은 데이터를 구축하는 것은 어려운 점이 있다(Liu et al., 2020; Raza et al., 2022). 이러한 특수한 경우의 데이터를 대량으로 확보하는 것은 비용이 많이 들고 안전 측면에서도 제약이 있다. 또한 딥러닝 데이터셋을 위한 대량의 데이터를 직접 수집할 경우 수동으로 레이블링(labeling)을 해야 하므로 인력적 제약이 따른다.

이러한 한계는 시뮬레이터를 활용하면 해결이 가능하다. 시뮬레이터를 사용하면 선박 이미지에 대한 대량의 데이터를 생성하는 데 적합하며, 현실에서 구하기 어려운 다양한 상황의 데이터를 쉽게 획득할 수 있다(Liu et al., 2020). 또한 시뮬레이터 자체에서 자동으로 레이블링하는 등의 문제 해결이 가능하다(You et al., 2021). 따라서 시뮬레이터를 통해 구축된 데이터셋을 활용하여 딥러닝 기반의 객체 탐지 연구가 다양하게 진행되고 있다. Poudel et al. (2023)은 시뮬레이션 엔진을 사용하여 해양에서의 조난 상황을 모델링하고 실제 드론과 유사한 고도와 각도를 조절하여 데이터셋을 구축하였다. 또한 대량의 데이터를 요구하는 자율주행 연구에서도 시뮬레이터가 이용되었다. Liu et al. (2020)은 자율주행 위한 대용량 및 다양한 콘텐츠를 포함하는 데이터셋을 구축하기 위하여 게임엔진을 사용하였고 다양한 지형과 날씨 조건을 반영한 이미지 데이터 300,000장을 생성하였다. 이 연구에서는 가상 데이터와 실제 데이터를 함께 학습시킨 결과, 실제 데이터만을 학습시킨 것보다 성능이 향상되었다.

You et al. (2021)은 딥러닝 학습 데이터셋 구축을 위해 3D 선박을 2D로 변환하고, 실제 이미지를 배경으로하여 합성된 선박 이미지를 생성하였다. 합성이미지에서 구축된 데이터셋으로 학습된 모델이 이미지 생성모델인 Cycle Generative Adversarial Network (Cycle GAN)으로부터 구축된 데이터셋으로 학습된 모델보다 우수한 성능을 보여주었다. Raza et al. (2022)은 시뮬레이션 엔진을 사용하여 다양한 선박과 다양한 기상 및 조명 조건으로 데이터셋을 수집하였다. YOLOv5를 학습시킨 결과, 실제 이미지와 시뮬레이션 이미지를 조합한 것이 모든 클래스의 탐지율이 2.9% 향상되었다. 이러한 연구들은 시뮬레이터를 개발하여 딥러닝 학습 데이터를 구축하는 데 있어서 효과적임을 증명하였다. 그러나 기존에 시뮬레이션의 딥러닝 학습 데이터셋은 실제 환경과의 이질성으로 인해 한계가 있었다. 예를 들어, 다양한 조명 조건으로 데이터를 수집하더라도 실제 낮과 밤의 조명 및 거리 차이 등이 반영되지 않을 수 있다. 또한 합성된 데이터셋의 경우 선박의 전방, 후방 및 측면에 대한 정보가 부족할 수 있다. 해양에서의 수색 구조의 경우 단순히 선박을 탐지하는 것을 넘어 침몰하거나 전복된 조난선박을 탐지하는 것이 중요하다. 이전 연구와 같이 날씨와 환경적인 요소에 다양성을 확보하는 것 만으로는 조난 선박을 탐지하는데 적합하지 않다. 그러므로 시뮬레이터 개발에 다양한 날씨 요소뿐만 아니라 선박 상태의 다양성을 고려해야한다.

이에 따라, 해양에서 발생하는 악천후와 같은 극심한 날씨 조건에서 신속하고 정확하게 조난 선박을 탐지하기 위해, 본 연구는 해양 환경 시뮬레이터를 개발하여 데이터셋을 보강하고 조난 선박 탐지를 위한 딥러닝 모델의 성능을 개선하는 것을 목표로 한다. 조난사고 발생시 드론을 활용하여 선박을 빠르게 탐지하고 신속한 구조 작업을 지원하는 데 필요한 딥러닝 모델을 선정한다. 딥러닝 모델 학습을 위해 해양에서 발생하는 실제 조난 상황과 유사한 데이터를 온라인에서 수집한다. 악천후와 조난선박과 같은 반영하기 어려운 데이터는 다양한 날씨 조건과 선박 상태를 고려한 시뮬레이터를 구축하여 학습 데이터셋을 확보한다. 시뮬레이션을 통해 얻은 현실적이고 다양한 데이터를 활용하여 딥러닝 모델을 학습시켜 악천후 상황에서의 선박 탐지 성능을 향상하였다.

2. 연구 방법

해양에서 발생하는 조난 상황에 대비하기 위해 드론을 활용하여 자동으로 조난 선박을 탐지하는 시스템을 개발하는 과정에서, 다양한 날씨 조건과 실제 재난 상황에 대한 적절한 학습 데이터셋을 필요로 한다. 이를 위해 실제 드론 촬영으로 얻은 선박 데이터셋을 위주로 수집하였으나, 조난 선박과 악천후에 대한 데이터는 수집하는데 한계가 있다. 이에 따라 Fig. 1과 같이 조난 사고가 발생할 수 있는 다양한 환경 요소를 반영하기 위해 시뮬레이터를 개발하였다. 시뮬레이터로 개발한 해양환경은 날씨 조건(눈, 비, 안개, 맑음 등)과 선박의 상태(표류, 전복, 침몰 등)를 다양하게 구현하였다. 또한 시뮬레이터에서 드론과 센서를 설정하여 드론으로 관측한 조난 상황에 대한 센서 데이터를 확보하였다. 이를 기반으로 딥러닝 모델에 적합한 학습 및 검증용 데이터셋으로 구축하였다. 그 후, 수색 구조에 적합한 딥러닝 기반 객체 탐지 모델인 YOLOv8을 선정하고, 구축된 데이터셋을 활용하여 해당 모델을 학습하고 검증하였다. 모델의 성능은 실제 조난 상황에서 발생할 수 있는 환경별로 탐지 정확도를 평가하였다.

Fig. 1. Deep learning-based process for detecting distress ships.

2.1. 시뮬레이터 개발

시뮬레이션 엔진으로 유니티(Unity)를 선정하여 해양에서의 조난 상황을 개발하였다. 유니티는 게임 및 시뮬레이션 개발에 널리 사용되며, 자체 내장된 물리엔진을 활용하여 현실적인 가상환경을 구현할 수 있다. 또한, 실시간으로 3D 렌더링(rendering)이 가능한 플랫폼이다(Noueihed et al., 2022). 유니티는 다양한 3D 오브젝트(object) 및 리소스(resource)를 활용할 수 있는 오픈마켓을 제공하며, 필요한 자원을 다운로드하여 사용할 수 있다. 따라서 본 연구는 유니티를 활용하여 해양에서 발생할 수 있는 조난상황을 구현하였다. 해양에서 발생하는 조난 상황 구현하기 위하여 환경적 요소와, 조난 선박 그리고 카메라로 나누어 구성하였다. 환경적 요소로는 바다 상태와 날씨 그리고 시간 조건을 포함한다. 그리고 조난 선박과 같은 경우 침몰이나 전복된 상태의 선박을 위주로 구현하였다. 드론의 시점을 기준으로 카메라를 세팅하였으며 이를 통하여 데이터를 구축하였다. 시뮬레이터에서 개발한 해양 환경은 Fig. 2와 같이 바다, 시간, 그리고 날씨로 구성된다. 바다는 오픈마켓에서 가져온 자원을 활용하여 설정되었으며, 바다의 색상과 파도의 텍스쳐를 조절하고 실제 바다의 움직임을 표현하기 위한 파도 높이 조절 스크립트를 작성하였다. 시간적인 측면에서는 태양을 조절하여 조도를 구현했다. 또한 각 시간대에는 맑음, 흐림, 구름, 비, 눈, 안개 등 다양한 날씨 상태를 구현하였다.

Fig. 2. Simulation environment configuration.

시뮬레이션에 적용할 선박은 Fig. 3과 같이 통계청에서 제공하는 통계자료를 참고하여 최근 5년간 선박 용도별 사고현황에서 사고가 많이 발생하는 어선 위주로 하였다.

Fig. 3. Accidents by ship type over 5 years.

유니티의 물리엔진을 활용하여 조난 상황을 현실적으로 구현하였다. Figs. 4(a–c)와 같이 선박을 표류, 침몰, 전복 등의 상황으로 구현하였다. 표류하는 선박은 부력을 적용하여 바다 위에서 자유롭게 움직일 수 있도록 설정하였다. 침몰이나 전복된 선박을 구현하기 위하여 선박의 중심점을 조절하여 선박의 상태를 변경하였다. 선박의 중심점을 변화시켜서 침몰 또는 전복된 상황을 시뮬레이션하여, 이러한 조난 상황을 현실적으로 재현하였다.

Fig. 4. Examples of ship status. (a) Drifted. (b) Sunken. (c) Capsized.

드론의 카메라를 통해 선박을 수색하는 시나리오를 고려하여 유니티에서 드론 카메라를 구현하였다. 이는 딥러닝 학습 데이터를 구축하기 위한 것으로, 메인 카메라를 드론의 카메라로 설정하고, 조난 선박을 탐지하는데 초점을 맞췄다. 드론은 악천후가 진행되는 상황에서 조난 선박을 탐지하는 것이 목적이므로 날씨요소(눈, 비, 안개)가 발생되는 상황에서 드론을 운용하였다. 유니티에서 구현한 카메라 설정은 고도와 각도를 조절하여 시뮬레이션상의 드론이 선박을 촬영하는 상황을 재현하였다. 한국의 법에 따르면 드론은 최대 150 m 이하에서 운용해야 하므로, 시뮬레이션에서도 150 m 이하에서 운용을 가정하였다. 또한 비행 고도가 100 m 이하일 때 선박이 더 자세히 탐지되지만, 그로 인해 커버되는 범위가 제한적일 수 있다는 단점이 있다. 따라서 시뮬레이션에서도 100 m에서 150 m 사이의 고도를 설정하여 드론이 운용되었다. 또한, 실제 드론의 카메라 각도를 조절할 때, 넓은 범위를 적절하게 커버할 수 있는 각도를 우선적으로 고려하였다. Figs. 5(a, b)와 같이 실제와 유사한 각도로 설정하여 드론 카메라가 넓은 시야를 확보하고 선박을 촬영할 수 있도록 시뮬레이션을 구성하였다.

Fig. 5. Samples of drone images. (a) Simulated drone images. (b) Real drone images.

시뮬레이션에서의 드론으로부터 수집된 데이터셋은 이미지와 텍스트 파일이며, 텍스트파일은 선박에 대한 바운딩 박스(bounding box)의 좌표와 클래스를 포함하고있다. 선박의 클래스는 2가지로 설정하였으며 선박과, 조난선박으로 나누어 구성하였다. 최종적으로 구축된 데이터셋은 Fig. 6과 같이 YOLOv8 모델에 학습시킬 수 있는 형식으로 데이터를 자동으로 추출할 수 있도록 스크립트를 제작하여 데이터셋 구축을 자동화하였다.

Fig. 6. Automatic labeling for constructing deep learning datasets.

2.2. 딥러닝 모델 선정

조난선 탐지를 위해 컴퓨터 비전 영상 인식 기술 중 객체 탐지 기술을 활용하였다. 객체 탐지 기술은 이미지 내에서 객체를 식별하고 해당 객체의 위치 좌표를 반환하는 기술로, 분류와 위치 파악을 동시에 수행한다. 다양한 객체 탐지 모델 중 YOLO는 실시간으로 객체를 탐지하고 다중 객체를 식별하는 데 적합하며, 이러한 특성으로 YOLO 모델을 선택하였다. 다양한 YOLO 버전 중에서는 최신 버전인 YOLOv8을 사용하였다. YOLOv8의 수색구조 적합 여부를 확인하기 위해 해양 경찰이 사용하는 카메라를 기준으로 추론 속도를 분석하였다. 해양 경찰이 사용하는 카메라는 1초당 25프레임을 추출하며, 1프레임이 추출되는 시간은 40 ms이다. YOLOv8은 한 개의 이미지를 처리하는 속도가 8.4 ms로, 이는 수색구조에 적합한 추론 속도를 갖고 있는 것으로 확인하였다.

2.3. 학습 및 평가

Fig. 7과 같이 시뮬레이터로부터 얻은 데이터를 기반으로 조난 선박의 탐지율에 미치는 영향을 비교하기 위해, 실제 드론에서 얻은 데이터셋 A와 이에 시뮬레이터에서 생성된 데이터를 추가한 데이터셋 B로 구분하여 학습을 진행하였다.

Fig. 7. Training and evaluation process to validate the effects of simulation.

두 가지 학습 데이터셋을 사용하여 YOLOv8 모델을 각각 학습시키고, 이를 검증하기 위해 실제 드론이 촬영한 다양한 날씨 조건에서의 표류 선박과 침몰, 전복 된 선박 영상 데이터를 활용하였다. 이러한 검증 데이터셋을 기반으로 표류 선박과 조난 선박의 탐지율을 분석하고, 날씨 조건에 따라 모델의 성능을 구분하여 평가하였다. 뿐만 아니라, 학습된 모델을 정량적으로 평가하기 위해 Recall, Precision, mean Average Precision (mAP)와 같은 성과지표를 활용하여 탐지율을 분석하였다. 이를 통해 시뮬레이터에서 구축된 조난상황에 대한 데이터셋이 실제 드론으로 촬영된 조난상황에서 선박 탐지에 미치는 영향을 체계적으로 분석하고 비교하였다.

3. 학습 및 검증데이터 구축

조난 선박을 탐지하는 모델을 제작하기 위하여 YOLOv8을 학습하고 검증하기 위한 데이터셋을 구축하였다. 학습데이터셋은 데이터셋 A와 데이터셋 B 나누어 구성하였다. 데이터셋 A는 총 3,298장의 이미지로 구성되어 있으며, 이는 현실 세계에서 직접 수집한 데이터이다. 반면에, 데이터셋 B는 데이터셋 A에 추가로 시뮬레이터에서 수집한 조난 선박과 악천후 관련 데이터를 합하여 총 6,199장의 이미지를 구축하였다. 검증데이터는 653장으로 조난 선박에 대하여 탐지율을 도출하기 위하여 실제 조난 상황에서 발생할 수 있는 환경과 유사한 데이터를 수집하였다. 이를 통해 모델이 실제 조난 상황에서의 조난 선박에 대한 탐지율을 분석하였다.

3.1. 학습데이터셋

3.1.1. 데이터셋 A

데이터셋 A는 Fig. 8과 같이 현실에서 수집된 드론에서 촬영된 데이터로 구성되었으며, 이는 드론 공개데이터셋, 직접 촬영한 드론영상, 웹 크롤링(Web crawling)을 통해 얻은 정보, 그리고 유튜브 영상으로부터 수집한 자료를 포함하고 있다. 드론 공개데이터셋으로 Aerial dataset of Floating Objects (AFO)를 사용하였으며 해양수색 및 구조 애플리케이션을 위해 구축된 드론 영상 기반의 데이터이다. 그러나 공개 데이터셋의 경우 사고가 많이 발생하는 어선과 같은 선종은 포함되어 있지 않았기 때문에, 직접 드론으로 촬영하여 데이터셋에 추가하였다. 또한, 침몰이나 전복된 조난 선박과 같은 경우 직접 취득하기 어려워서 크롤링하거나 유튜브 영상을 활용하여 데이터를 수집하였다.

Fig. 8. Collection sources for Dataset A.

데이터의 구축경로에 따라 드론 공개 데이터셋, 웹크롤링 및 유튜브 그리고 직접 드론으로 촬영하여 취득된 데이터로 나누었으며, 각각의 경로에 포함되어있는 조난선박의 유무에 따른 데이터의 수를 Table 1에 정리하였다.

Table 1. The number of data based on data collection sources and ship status

각각의 경로에서 취득된 데이터에는 총 3,298장이며 서핑보트, 보트, 세일링보트, 어선, 화물선, 여객선, 부선등 다양한 선종이 포함되어 있다. 이러한 선박들은 주로 표류된 상태인 경우가 많지만, 일부는 전복되거나 침몰된 상태의 선박도 포함되어 있다. 본 연구에서는 침몰이나 전복된 선박에 대하여 탐지율을 확인하는데 초점을 맞추었다. 따라서 선종의 분류를 단순화함으로써 알고리즘이 다양한 선종에 대하여 선박이라는 한가지의 클래스로 인식하고 그 중에서도 침몰이나 전복된 상태의 선박을 명확하게 탐지할 수 있도록 하였다. 데이터셋의 클래스는 ship과 shipwreck 두 가지로 나누었으며, 클래스에 따라 객체의 수를 Table 2에 정리하였다.

Table 2. The number of objects by class

데이터셋 A에서 Ship과 Shipwreck 객체수의 차이가 많다. 현실에서 조난선박에 대한 데이터를 구축하는 것은 한계가 있으며 드론으로 촬영한 조난 선박 데이터를 구축하는 것은 더욱 어렵다. 또한 눈, 비, 안개와 같이 악천후인 날씨에서 드론으로 선박을 조난 선박을 촬영한 데이터가 많지 않아 데이터셋 A에는 맑은 날씨에서 취득된 데이터만 사용하였다.

3.1.2. 데이터셋 B

데이터셋 B는 Fig. 9와 같이 데이터셋 A와 시뮬레이터로부터 눈, 비, 안개와 같이 악천후 속에서 조난 선박에 대한 데이터를 수집하여 구축한 데이터셋이다. 데이터셋 A와 같은 경우 조난선박에 대한 데이터가 부족할 뿐만 아니라 조난 상황에 대한 환경적인 요소 또한 부족하다. 따라서 시뮬레이터로 조난 환경을 구현하여 데이터를 취득하였다.

Fig. 9. Collection sources for Dataset B.

시뮬레이터로부터 눈, 비, 안개와 같은 악천후를 구현하였으며 각각의 악천후는 3개의 단계로 나누어 강도를 조절하였다. Table 3에서 눈, 비, 안개와 같은 악천후는 동일한 비율로 수집하였으나, 선박의 시각적 구분이 모호해져 선박과 조난 선박을 명확히 구분하기 어렵다. 이에 따라 맑은 날씨 조건에서 선박과 조난 선박에 대한 학습데이터를 추가로 수집하였다.

Table 3. The number of data divided by the weather

시뮬레이터로부터 구축한 각각의 날씨에 포함된 선박과 조난 선박에 따른 객체수를 Table 4에 정리하였다. 시뮬레이터에서 선박의 상태의 상태를 다양하게 변경하여 Shipwreck의 클래스에 대한 객체수를 충분히 확보하였으며 이에 따라 클래스 불균형을 완화시켰다.

Table 4. The number of objects by class

데이터셋 A에서 취득된 3,298장의 데이터와 시뮬레이터로부터 수집된 2,901장의 데이터를 취합하여 총 6,199장의 데이터셋을 구축하였다.

3.2. 검증데이터셋

해양에서의 조난 사고 발생 시, 드론을 활용하여 조난선박을 탐지하는데 초점을 맞췄다. 이를 위해 드론영상 자료를 중점으로 수집하여 검증 데이터셋을 구성하였다. 검증 데이터셋은 Fig. 10과 같이 조난 사고가 발생했을 때 예상되는 상황과 유사한 영상 자료를 중점으로 수집하였다. 이를 통해 선박의 상태에 따라 침몰이나 전복된 선박과 같은 상황을 반영한 영상 자료를 확보하였다. 조난상황시 발생할 수 있는 악천후와 같은 기상 조건에서 드론으로 선박을 촬영한 영상을 유튜브를 통해 수집하였다.

Fig. 10. Collection sources for validation data.

유튜브로부터 7개의 영상을 수집하였으며 영상을 1초마다 캡쳐하여 이미지로 변경하였다. 수집된 영상에서는 조난 선박과 날씨에 대한 내용을 동시에 포함하고 있는 영상을 수집하는데 한계가 있어 각각을 따로 수집하였다. 조난 선박과 악천후인 눈, 비, 안개에 따라 구분하여 데이터 수를 Table 5에 정리하였다.

Table 5. The number of validation data constructed from YouTube data

검증데이터셋을 클래스별로 구분하여 객체의 수를 정리하였다. 검증데이터셋 또한 시뮬레이션부터 구축된 데이터셋이 아니므로 Table 6와 같이 조난 선박에 대한 데이터의 수가 적다. 하지만 실제 조난사고와 같이 선박이 침몰하거나 전복되어 선박의 일부분에 대한 영상을 위주로 수집하였으므로 조난 선박을 탐지하기에 적합하다.

Table 6. The number of objects by class

4. 연구결과 및 토의

4.1. 실험 개요

드론영상으로 조난 선박을 탐지하기 위한 딥러닝 학습데이터셋을 2종류로 나누어 구축하였다. 현실에서 구축할 수 있는 드론으로 촬영된 선박 및 조난선박에 대한 데이터셋 A와, 데이터셋 A에 시뮬레이터로부터 구축된 데이터를 추가한 데이터셋 B를 이용하여 YOLOv8 모델에 각각 학습시켰다. 검증데이터셋을 이용하여 2가지 모델에 대한 검증을 진행하며 두 모델의 성능을 평가하였다. 표류선박과 조난선박에 대한 탐지율을 분석하고, 다양한 날씨 조건에 대한 탐지율을 분석하였다. 추가적으로, 모델의 성능을 평가하기 위해 Recall, Precision, mAP 등의 딥러닝 성과 지표를 사용하여 각 모델의 탐지성능을 정량화하였다. 이를 통해 어떤 모델이 정확하고 안정적으로 조난 선박을 탐지하는지 분석하였다.

4.2. 객체탐지모델 학습

딥러닝 학습을 위하여 구축된 데이터셋 A와 데이터셋 B를 이용하여 학습을 진행하였다. 학습에 사용된 하이퍼 파라미터로는 Optimizer는 Stochastic Gradient Descent(SGD), Learning rate는 0.01, Momentum은 0.937, Weight decay는 0.0005, Epoch는 100 그리고 Batch는 16으로 설정하여 학습하였다.

학습을 진행하며 box loss, class loss 그리고 differential loss를 확인하였다. 그림과 같이 손실이 줄고 있는 것을 볼 수 있다. 학습된 모델의 성능을 검증하기 위하여 시뮬레이션 데이터셋을 이용하였고, Precision, Recall, mAP50에 대한 성과지표를 기준으로 성능을 검증하였다. Fig. 11을 보면 학습이 진행될수록 데이터셋 A와 B 모두 모든 loss값이 감소하며 수렴됨으로 학습이 정상적으로 진행된 것을 확인하였다.

Fig. 11. Loss values as training progresses.

Fig. 12를 보면 학습 진행 결과 데이터셋 A와 B에 대하여 학습한 모델의 성능 지표가 지속적으로 향상하여 수렴한다. 이를 통해 모델이 학습과정에서 두 데이터셋의 특성과 패턴을 파악하고 예측하는 능력이 향상된 것을알수 있다.

Fig. 12. Performance metrics as learning progresses.

4.3. 다양한 조건에 따른 객체 탐지 성능 분석 결과

4.3.1. 선박 상태에 따른 분석

구축된 데이터셋 A와 데이터셋 B를 객체탐지모델 YOLOv8에 각각 학습을 진행하였으며, 검증데이터셋을 통하여 추론하였다. Fig. 13은 각각 학습된 모델이 검증데이터셋에 대하여 추론한 결과로서 각각 정탐지, 중복탐지, 오탐지 그리고 미탐지의 예시를 보여준다.

Fig. 13. Examplesofdetectionresultsforshipsanddistressed ships.

Table 7은 조난 선박을 기준으로 하여 추론한 결과를 정리하였다. 데이터셋 B으로 학습된 모델이 검증데이터에 존재하는 조난선박 336건에 대하여 탐지된 조난 선박의 수가 높았다. 중복탐지는 조난 선박에 대하여 선박과 조난 선박의 클래스가 동시에 추론된 것을 의미하며 데이터셋 B가 8건 더 많았다. 오탐지된 결과 또한 데이터셋 B가 더 많은 걸 확인할 수 있었다. 그러나 미탐지의 경우 데이터셋 B가 데이터셋 A와 비교하였을 때 현저히 적은 것으로 나타났다.

Table 7. Detection results based on distress ships

다음으로 Table 8과 Table 9를 통하여 Precision, Recall, mAP50에 대한 성과 지표를 확인한 결과이다. 데이터셋 A로 학습된 모델과 데이터셋 B로 학습된 모델을 비교한 결과, 데이터셋 B에서는 전반적으로 세 가지 성과 지표가 미미하게 향상된 것을 확인하였다. 특히, 조난 선박에 대한 Recall은 데이터셋 A에서 0.565였던 것에 비해 데이터셋 B에서 0.666으로 개선되었다. 이에 따라 조난선박 클래스의 F-score는 데이터셋 A에서 0.663으로 데이터셋 B에서 0.728로 향상되었다. 이는 데이터셋 B로 학습한 모델이 조난 선박에 대한 미탐지 비율이 낮음을 시사한다. 그러나 데이터셋 B로 학습된 모델은 해양에서 객체를 탐지하였지만, 해당 객체가 중복탐지와 오탐지가 많은 것으로 보여 선박과 조난선박을 명확하게 구분하기 어려운 것으로 나타났다. 따라서 데이터셋 B의 미탐지 비율은 낮지만, mAP가 상대적으로 높지 않은 이유는 오탐지와 중복탐지의 비율이 높기 때문이다. 해양에서의 수색 구조 특성을 고려하였을 때, 과소 추정보다는 과대 추정이 유용하다고 판단된다. 따라서 데이터셋 B에서의 미탐지 수가 적은 것으로 보아, 시뮬레이터를 통해 추가로 조난선박에 대한 데이터를 수집하고 학습시킨 것이 효과적이었다는 결론을 얻을 수 있다.

Table 8. The detection rate of distress ships for a model trained on Dataset A

Table 9. The detection rate of distress ships for a model trained on Dataset B

4.3.2. 기상조건과 객체크기에 따른 분석

Fig. 14는 데이터셋 A와 데이터셋 B에 따라 각각 학습 된 모델을 검증데이터셋을 통하여 악천후에서의 선박에 대한 추론 결과이다. 데이터셋 A와 데이터셋 B에 대한 탐지율에 대한 성능을 비교하기 위하여 동일한 이미지를 통하여 분석을 진행하였다. 안개, 비, 맑은 날에 대하여 분석한 결과 데이터셋 A보다 데이터셋 B에서 학습된 모델이 작은 선박에 대하여 탐지가 잘 된 것으로 나타났다. Fig. 15는 모델이 검증데이터셋에서 발생한 오탐지 유형이다. 해당 그림에서는 작은 돌섬, 윤슬, 부표 등과 같은 해양에서 조난 선박이 아닌 객체들이 모델에 의해 탐지되었다. 그러나 데이터셋 B의 경우 악천후의 조건에서 조난선박을 명확하게 구분하는 것이 어려운 것으로 나타났다. 이러한 오탐지 유형에 대한 비율은 데이터셋 A와 데이터셋 B를 비교하였을 때 데이터셋 B에서 높은 것으로 나타났다.

Fig. 14. Detection results based on weather.

Fig. 15. False positive examples.

데이터셋 B의 경우 선박이 아닌 객체에 대한 오탐지비율은 높지만, 수색 구조의 관점에서 조난 선박이 누락되는 것보다 조난 선박이 아닌 객체에 대한 과도한 탐지가 더욱 효과적일 수 있다. 따라서 정성적 평가를 통해 시뮬레이터로 구축된 데이터셋이 조난 선박을 탐지하는 데 효과적임을 확인할 수 있다. 다음으로 클래스 종류에 대하여 Table 10, 11과 같이 세 가지 성능지표 Precision, Recall, mAP50을 통해 모델을 검증하였다.

Table 10. Detection rate based on the weatherfor a model trained with Dataset A

Table 11. Detection rate based on weather for a model trained with Dataset B

모델을 분석한 결과 악천후인 눈, 비, 안개에 대해서 데이터셋 B로 학습된 모델에서 눈이 내리는 날씨 조건의 Recall을 제외한 나머지 성능지표 모두 데이터셋 A로 학습한 모델보다 높게 도출되었다. 눈의 경우 비, 안개와 비교하였을 때 두 가지 모델 모두에서 mAP 수치가 상대적으로 높았다. 탐지 성능은 날씨 조건 뿐만 아니라 영상에 나타난 객체 크기에도 큰 영향을 받는다. 이에 검증데이터에서 날씨 별 객체 크기의 분포를 살펴보았다. 객체크기는 바운딩 박스의 크기를 기준으로 분석하였다. Fig. 16에서 볼 수 있듯이 비와 안개 조건의 경우 객체 크기 3,000 pixel 이하에서 골고루 분포되어 있으나 눈 조건에서는 2,500 pixel과 3,000 pixel 사이에 밀집되어있다. 눈 조건의 경우 상대적으로 크기가 크면서 비슷한 형태의 선박들이 포함되어 있기 때문에 다른 기상 조건과 비교해서 탐지 성능이 높게 나타난 것으로 판단된다.

Fig. 16. Ship size distribution based on the weather condition of the test dataset.

객체 크기에 따른 영향을 추가로 살펴보기 위해서 객체 클래스별 크기 분포를 분석하였다. 학습데이터와 검증데이터 전체에 대해 클래스별 객체 크기의 빈도를 파악하여 Fig. 17에 표현했다. 선박 클래스의 경우 대부분 실제 드론 영상에서 수집되었으며, 객체 크기는 3,000 pixel 이하의 범위에 집중되어 있다. 이에 비해 조난 선박 클래스의 경우 대부분 시뮬레이션 데이터이며, 다양한 크기로 균형있게 분포되어 있다. 이와 같이 시뮬레이션을 통해 학습데이터의 객체 크기에 따른 불균형도 보완할 수 있었다.

Fig. 17. Distribution of object sizes of each class over the whole dataset.

다음으로 객체 크기에 따라 탐지 정확도에 미치는 영향을 분석하였다. 데이터셋 A와 B로 각각 학습한 모델을 검증데이터로 평가한 결과를 객체 크기에 따라 분석하였다. Fig. 18처럼 두 그래프는 비슷한 경향을 보인다. 예측대로 일정 크기 이하에서는 mAP가 급격히 떨어진다. 여기에서는 특히 2,000 pixel 이하인 경우 정확도가 현저히 낮아졌다. 기본적인 원인으로는 육안 식별처럼 객체가 작을 수록 탐지가 어렵기 때문이다. 이에 추가하여 검증 데이터와 비교할 때 학습 데이터에는 작은 크기의 객체가 차지하는 비율이 적었다. 이처럼 학습데이터와 검증데이터에 있어 객체 크기별 분포의 차이가 성능 저하의 원인이 된다. 이러한 차이도 시뮬레이션을 통해 학습데이터를 보강하여 해결할 수 있다.

Fig. 18. Accuracy of each trained model with datasets A and B according to the object sizes.

5. 결론

해양에서 발생하는 조난 상황 시 드론 영상을 활용하여 딥러닝 기반으로 침몰과 전복된 선박에 대한 탐지율을 향상시키는 연구를 수행하였다. 악천후에서 드론으로 촬영한 침몰이나 전복된 선박과 같이 실세계에서 구축하는데 한계가 있는 데이터에 대하여 시뮬레이터를 개발하여 수집하였다. 수집한 데이터를 실제 데이터셋A와 시뮬레이션으로 증강된 데이터셋 B로 구분하고, 각 데이터셋을 활용하여 YOLOv8 객체 탐지 모델을 학습하였다. 데이터셋 B로 학습한 모델에서 조난 선박에 대한 탐지 성능이 전반적으로 향상되었으며, 특히 Recall은 0.565에서 0.666으로 크게 개선되었다. 중복탐지와 오탐지가 다소 많았지만 이는 선박과 조난선박을 명확히 구분하기 어렵기 때문이었다. 해양에서의 수색 구조 특성을 고려할 때, 과소 추정보다는 오탐지가 다소 있더라도 과대 추정되는 모델이 적합하다고 판단된다. 또한 데이터셋 B로 학습한 모델은 비, 안개 등 비정형 기상 조건에서 성능이 향상되었으며, 작은 객체를 탐지에 있어서도 우수함을 확인하였다. 개발된 시뮬레이터는 다양한 기상조건, 선박상태, 객체크기에 따른 균형있는 학습 데이터를 생성하는데 효과적이고, 이를 통해 학습한 모델은 해양 수색 구조에 요구되는 조난 선박 탐지에 효율적으로 활용될 것으로 기대된다.