Ship Detection from SAR Images Using YOLO: Model Constructions and Accuracy Characteristics According to Polarization

YOLO를 이용한 SAR 영상의 선박 객체 탐지: 편파별 모델 구성과 정확도 특성 분석

Abstract

Ship detection at sea can be performed in various ways. In particular, satellites can provide wide-area surveillance, and Synthetic Aperture Radar (SAR) imagery can be utilized day and night and in all weather conditions. To propose an efficient ship detection method from SAR images, this study aimed to apply the You Only Look Once Version 5 (YOLOv5) model to Sentinel-1 images and to analyze the difference between individual vs. integrated models and the accuracy characteristics by polarization. YOLOv5s, which has fewer and lighter parameters, and YOLOv5x, which has more parameters but higher accuracy, were used for the performance tests (1) by dividing each polarization into HH, HV, VH, and VV, and (2) by using images from all polarizations. All four experiments showed very similar and high accuracy of 0.977 ≤ AP@0.5 ≤ 0.998. This result suggests that the polarization integration model using lightweight YOLO models can be the most effective in terms of real-time system deployment. 19,582 images were used in this experiment. However, if other SAR images,such as Capella and ICEYE, are included in addition to Sentinel-1 images, a more flexible and accurate model for ship detection can be built.

해상의 선박탐지는 다양한 방법으로 수행될 수 있는데, 위성은 광역적인 감시가 가능하고, 특히 합성개구레이더(Synthetic Aperture Radar, SAR) 영상은 주야간 및 전천후로 활용될 수 있다. 본 연구에서는 SAR 영상으로부터 효율적인 선박 탐지 방법을 제시하기 위하여, Sentinel-1 영상에 You Only Look Once Version 5 (YOLOv5) 모델을 적용하여 선박 탐지를 수행하고, 편파별 개별 모델과 통합 모델의 차이 및 편파별 정확도 특성을 분석하였다. 파라미터가 작고 가벼운 YOLOv5s와 파라미터가 많지만 정확도가 높은 YOLOv5x 두가지 모델에 대하여 각각 (1) HH, HV, VH, VV 각 편파별로 나누어 학습/검증 및 평가 그리고 (2) 모든 편파의 영상을 사용하여 학습/검증 및 평가를 실시한 결과, 네 가지 실험에서 모두 0.977 ≤ AP@0.5 ≤ 0.998의 비슷하면서 매우 높은 정확도를 나타냈다. 이러한 결과를 현업시스템의 관점에서 보면, 가벼운 YOLO 모델(YOLOv5s, YOLOv8s 등)로 4개 편파 통합 모델을 구축하는 것이 실시간 선박탐지에 효과적임을 시사하는 것이다. 이 실험에서 사용한 영상은 19,582장이었지만, Sentinel-1 이외에도 Capella, ICEYE 등 다른 SAR 영상을 추가적으로 활용한다면, 보다 더 유연하고 정확한 선박 탐지 모델이 구축될 수 있을 것이다.

1. 서론

선박 모니터링 시스템(Vessel Monitoring System,VSM)은 해상에서의 안전과 보안을 확보하고 안전사고 발생시 신속한 위치추적과 구호작업을 위해 세계 전 해역에서 운항하는 선박을 실시간으로 모니터링 할 수 있는 시스템이다. 국제해사기구(International Maritime Organization, IMO)에서는 선박의 위치 정보를 확보하기 위해 선박자동식별장치(Automatic Identification System, AIS) 탑재를 의무화하고 있다. AIS는 탑재되어 있는 위성항법시스템(Global Positioning System, GPS)으로 계산된 선박의 위치, 침로, 속력 등의 동적 정보와 선명, 호출부호, IMO 식별번호, 선종 등 정적 정보를 이용하여 선박의 위치를 인지한다. 하지만, 허가된 조업해역이 아닌 곳에서 활동하는 저인망어선(fishing trawler)과 같이 위치 노출을 꺼리는 선박들은 민감한 해역에서 AIS를 끄고 정해진 구역을 벗어나는 경우가 종종 발생하기 때문에, 이러한 선박들은 VMS를 통해 모니터링하기 힘들어진다(Kim et al., 2018).

AIS 수신 오류나 미작동 등과 같은 상황을 포함하여, AIS 기반의 선박 모니터링 시스템을 보조하기 위한 수단으로는 위성영상을 이용한 선박 탐지가 유용하게 활용될 수 있다. 위성은 광역적인 감시가 가능하고, 특히 합성개구레이더(Synthetic Aperture Radar, SAR) 영상은 레이더 전파를 사용하기 때문에 주야간 및 전천후로 사용 가능하다는 장점을 가지고 있다. 이로 인해 SAR 영상으로부터 선박을 탐지하는 연구들이 다수 수행됐는데, 과거에는 이동창(sliding window) 기반의 Constant False Alarm Rate (CFAR) 알고리즘이 주로 사용되었으나(Di Bisceglie and Galdi, 2005; Gao, 2010; Cui et al., 2011; Lee et al., 2018), 소요시간과 정확도에 있어서는 개선이 필요했다. 연산 및 탐지 시간 단축을 위해 이후 신경망(neural network)이나 기계학습(machine learning)을 이용한 선박 탐지가 수행되었고(Khesali et al., 2015; Zakhvatkina et al., 2017; Hwang et al., 2017), 대체로 정확도 80% 이상의 결과를 보여주었으나 보다 더 정확도를 향상시키기 위해 딥러닝(deep learning) 적용의 필요성이 제기되었다(Kang et al., 2017).

선박 탐지에 사용된 초기의 딥러닝 모델은 Region-based Convolutional Neural Networks(R-CNN) (Girshick et al., 2014) 및 Faster R-CNN이었으며(Li et al., 2017; Li et al., 2022), 속도와 정확도를 보장하는 것이 You Only Look Once (YOLO)시리즈이다.Chang et al. (2019)은 YOLOv2, Jiang et al. (2020)은 YOLOv3, 그리고 Yu and Shin (2023)은 YOLOv5을 사용하여 Faster R-CNN보다 정확도 높은 선박 탐지를 수행하였다. Xu et al. (2022)은 선박 탐지에 온보드(onboard) 시스템을 적용하기 위해 YOLOv5 기반의 실시간 탐지를 수행하였다. 이러한 선행연구들은 SAR Ship Detection Dataset (SSDD), Large-Scale SAR Ship Detection Dataset (LS-SSDD), High Resolution SAR Images Dataset (HRSID)과 같은 오픈 데이터셋을 사용하여 딥러닝 발전에 따른 선박 탐지 성능의 향상을 잘 보여주고 있으나, SAR의 편파(polarization)에 따른 영상의 구성이나 모델의 구축 및 정확도 특성에 대해서는 충분히 제시되지 않았다. 즉, Horizontal-Horizontal (HH), Horizontal-Vertical (HV),Vertical-Horizontal (VH),Vertical-Vertical (VV)의 4종류의 편파에 대하여, 단일한 모델로 구성하거나 별도의 모델로 구성했을 때의 차이, 그리고 편파에 따른 탐지 정확도의 차이 등에 대한 추가적인 분석이 필요하다.

이에 본 연구에서는 Sentinel-1 SAR 영상의 선박 데이터셋에 대해 YOLOv5 모델을 적용하여 선박 탐지를 수행하고, 편파별 모델 구성과 정확도 특성을 분석함으로써 향후 현업시스템 구축에 있어 레퍼런스를 제공하고자 한다.

2. 자료 및 방법

2.1. 사용 자료

선박 탐지 실험을 위해 사용한 데이터셋은 중국과학원 (Chinese Academy of Sciences, CAS)의 Institute of Remote Sensing and Digital Earth에서 구축하여 깃허브(https://github.com/CAESAR-Radi/SAR-Ship-Dataset)에 등재한 자료로서 Gaofen-3와Sentinel-1 SAR 영상으로 구성되는데, 본 연구에서는 이 중에 Sentinel-1의 HH, HV, VH, VV 편파의 Sentinel-1 영상을 사용하였다. 전파는 전기장과 자기장이 90도로 교차하면서 진행하는데, H 모드는 전파의 진행 방향에 대해 전기장이 수평일 때, V 모드는 수직일 때를 말한다. 레이더 전파를 H 모드로 송신하고 H 모드로 수신하면 HH 편파, H 모드로 송신하고 V 모드로 수신하면 HV 편파, V 모드로 송신하고 H 모드로 수신하면 VH 편파, V 모드로 송신하고 V 모드로 수신하면 VV 편파이다. 레이더 전파는 표면이 거친 물체에서 후방산란(backscattering)이 커지는 특성이 있는데, 선박은 해수에 비해 상대적으로 표면이 거칠기 때문에 방사보정과 지형보정을 거친 SAR 영상의 후방 산란계수(σ₀)가 주변의 해수에 비해 선박에서 크게 나타나며, 이러한 차이를 이용하여 선박 탐지가 수행된다(Fig. 1). 동일분극(HH, VV)이 교차분극(HV, VH)보다 σ₀가 큰 값을 가지고 해수와 선박의 σ₀ 차이가 뚜렷해서 일반적으로 선박 탐지에 용이하나, 선박이 건물, 항구, 섬과 같이 후방산란이 큰 물체 부근에 있을 때는 잘 구분되지 않을 수도 있다. 반면 교차분극(HV, VH)의 경우에는 건물, 항구, 섬 등의 후방산란계수가 더욱 미미하게 나타나서 부근의 선박이 오히려 동일분극(HH, VV)에서 보다 잘 탐지될 수 있다(Fig. 2).

Fig. 1. Images of σ₀ (calibrated backscattering coefficient) for HH, HV, VH, and VV polarizations for the same ship (Wang et al., 2019).

Fig. 2. Images of CAS dataset for the polarization: (a) HH, (b) HV, (c) VH, and (d) VV. Images (a) and (b) were obtained on the same date, and (c) and (d) were obtained on the same date.

학습에 사용된 선박 이미지는 Fig. 3과 같이 다양하게 구성되어 있다. 크게 3가지의 상태로 나뉘는데, 항구에 정박되어 있는 선박과 육지 근처에 위치한 선박, 해면(sea surface) 위의 선박 이미지로 나뉘며, 선박의 크기 또한 대형 선박과 중·소형 선박으로 이루어져 있어 다양한 상태와 크기의 선박을 모두 학습하였다.

Fig. 3. Various types of ship images: (a) ships docked in port, (b) ships near port or ground, and (c) ships on the sea surface.

CAS 선박 데이터셋 19,582장은 HH 9,486장, HV 8,820장, VH 635장, VV 641장으로 구성되어 있으며, 각 편파별로 8:1:1로 셔플링하여 Table 1과 같이 훈련/검증/평가 영상으로 구분하여 실험을 진행하였다. 모든 영상의 바운딩 박스(bounding box)의 위치와 크기 정보를 나타내는 Text File (txt) 포맷의 레이블을 가진다.

Table 1. Image data used in this study

2.2. 사용 모델

딥러닝 기반 객체탐지 모델은 R-CNN 및 Faster R-CNN과 같이 객체 영역 추출 후에 객체를 분류하는 2단계 알고리즘이 먼저 등장하였고, 이보다 효과적으로 직접 객체의 클래스 확률과 위치정보를 생성하는 YOLO와 같은 1단계 알고리즘이 제시되었다(Kim et al., 2020). 과거에는 2단계 객체탐지 알고리즘이 처리속도는 느리더라도 1단계 알고리즘보다 정확도가 높은 편이었으나, YOLO 시리즈의 지속적인 업데이트에 의해 속도와 정확도가 모두 개선되어, 현재 객체탐지는 대부분 YOLO 시리즈가 사용되고 있다. 2단계 알고리즘인 Faster R-CNN은 처리속도가 5 fps 정도이지만, 1단계 알고리즘인 YOLOv5의 경우 140 fps 정도의 속도를 나타내기 때문에 SAR 영상으로부터 실시간 선박 객체탐지도 가능하다(Xu et al., 2022).YOLOv5는 2020년 6월에 출시된 PyTorch 기반의 모델로서, 구성의 복잡도에 따라 YOLOv5n, YOLOv5s, YOLOv5m, YOLOv5l, YOLOv5x 등의 하위 버전으로 나뉜다(Jocher, 2020). 본 연구에서는 단순한 모델 YOLOv5s와 복잡한 모델 YOLOv5x를 사용하여 탐지 성능을 비교 평가하였다.

YOLOv5 모델은 특징맵(feature map)을 추출하는 백본(backbone), 특징맵을 가공하는 넥(neck), 그리고 특징맵으로부터 바운딩 박스를 만드는 헤드(head) 섹션으로 구성된다(Fig. 4). 백본 섹션은 Convolution – Batch Normalization – Sigmoid Weighted Linear Unit (CBS)과 Spatial Pyramid Pooling (SPP) 모듈을 통해 특징맵을 추출하는데, CBS의 복잡도와 파라미터 수에 따라 YOLOv5 모델이 n, s, m, l, x로 나뉘게 되고, SPP에 의해 다양한 크기의 피라미드 영역에서 특징을 추출하여 요약한다. 넥섹션에서는 백본에서 추출된 다양한 크기의 특징맵에 Cross Stage Partial – Path Aggregation Network (CSP–PAN)을 적용하여 작은 스케일과 큰 스케일의 특징맵을 결합함으로써 탐지 성능을 향상시킨다. 헤드 섹션은 특징맵으로부터 객체의 위치를 특정하기 위하여 3가지 스케일(8, 16, 32 픽셀)의 앵커 박스(anchor box)에서 시작하여 반복수행을 통해 바운딩 박스를 생성하는데, 하나의 객체에 대해 복수의 바운딩 박스가 생성되면 Non-max Suppression (NMS) 알고리즘에 의해 가장 신뢰도(confidence)가 높은 바운딩 박스를 후보로 설정하여 그 이외의 박스는 제거하고, 또한 후보 바운딩 박스와 Intersection over Union (IoU)이 50% 이상인 박스를 제거함으로써 중복 없이 유일한 바운딩 박스를 결과로 산출한다.

Fig. 4. Architecture of YOLOv5.

2.3. 모델 설정

본 연구에서는 Microsoft Common Objects in Context (MS COCO) 데이터셋으로 사전훈련된(pre-trained) 가중치를 초기치로 사용하는 전이학습(transfer learning)을 수행하여 효율적인 탐지가 가능하도록 하였다. 에퍽(epoch) 1회는 전량의 훈련 자료를 투입하여 가중치를 조정한 후 검증을 수행하는 것으로, 최대 에퍽 수는 300으로 설정하였다. 배치(batch)는 몇 장의 영상을 묶음으로 투입하여 가중치 조정을 수행할 것인지를 말하며, 이 실험에서는 배치 수를 64로 설정하였다. 모든 반복수행을 마치고 나면, 매 에퍽을 통틀어 가장 성능이 좋았던 하나의 모델이 선정되고, 그 모델로 시험평가를 수행한다.

2.4. 성능지표

선박 탐지 모델의 학습과 평가에 대한 성능지표로는 정밀도(precision), 재현율(recall), Average Precision (AP)을 사용하였다. 객체 탐지에서는 예측 바운딩박스와 레이블 바운딩박스의 교집합 대 합집합 비율(IoU)이 일정 임계치 이상이면(예를 들어, 0.5) 정답으로 간주하며, 이를 기준으로 혼동행렬(confusion matrix)을 생성할 수 있다. 혼동행렬로부터 정밀도와 재현율을 계산할 수 있는데, 긍정 예측이 맞았을 때 True Positive (TP), 긍정 예측이 틀렸을 때 False Positive (FP), 부정 예측이 맞았을 때 True Negative (TN), 부정 예측이 틀렸을 때 False Negative (FN)라고 할 때, 정밀도는 모델이 True라고 예측한 것 중에 실제로True인것의비율(TP/(TP+FP))이고,재현율은실제로 True인 것 중에 모델이 True라고 예측한 것의 비율(TP/(TP+FN))이다. 정밀도-재현율 곡선(precision-recall curve)을 보면 정밀도와 재현율은 트레이드오프(trade-off) 관계에 있는데, 모델의 정밀도를 높이려면 모델이 확신 있는 경우에만 객체를 검출하도록 설정해야 하므로 검출되는 객체 수가 줄어들어 재현율이 낮아지는 반면, 재현율을 높이려면 모델이 가능한 모든 객체를 검출하도록 설정해야 하므로 정밀도가 낮아질 수 있다. 모델 임계치를 조절하여 생성된 precision-recall 곡선의 아래쪽 영역(Area Under Curve, AUC)으로부터 Average Precision (AP)을 구할 수 있는데, 본 연구와 같은 단일 클래스의 경우에는 AP를 사용하며 다중 클래스의 경우에는 전체 클래스의 AP를 평균하여 mAP로 나타낸다. AP@0.5는 IoU ≥ 0.5를 정답으로 간주할 때의 AP이며, 객체탐지 정확도의 평가 지표로 가장 널리 사용되며, 한국지능정보사회진흥원(National Information Society Agency, NIA)의 인공지능 학습영상 품질 적합성 관리를 위한 기준이기도 하다(Table 2). AP@0.5는 0에서 1 사이의 값을 가지는데, 1에 가까울수록 탐지 성능이 좋은 모델이라고 할 수 있다.

Table 2. Configure validity metrics for image data (AI Hub, 2023).

3. 결과 및 토의

본 연구에서는 파라미터가 작고 가벼운 YOLOv5s와 파라미터가 많지만 정확도가 높은 YOLOv5x 두가지 모델을 사용하였다. 각 모델은 다시 (1) HH, HV, VH, VV 각 편파별로 나누어 학습/검증 및 평가를 수행하는 실험과 (2) 모든 편파의 영상을 사용하여 학습/검증 및 평가를 실시하는 실험으로 나누어 진행하였다. 두 실험 모두 4가지 각 편파마다 데이터셋을 8:1:1로 셔플링 함으로써 훈련/검증/평가 데이터셋이 편파별로 고르게 분포하도록 하였다.

Table 3은 YOLOv5s를 사용하여 각 편파별 4개 개별 모델을 만들어 학습과 평가를 수행한 결과이고, Table 4는 모든 편파의 영상을 합쳐서 하나의 통합 모델을 만들어 학습과 평가를 수행한 결과이다. 편파별로 비교해 보았을 때, 전반적인 성능을 나타내는 지표인 AP@0.5가 모든 편파에서 비슷하게 나타났으며 모두 0.980 이상의 높은 정확도를 보여주었다. Table 3을 통해 볼 때, 각 편파에 맞추어 특징을 학습함으로써 높은 정확도를 보인 것으로 확인되었는데, Table 4에서는 모든 편파의 영상이 다같이 들어있는 경우에도 역시 동일한 수준의 높은 정확도를 보였다(AP@0.5 ≥ 0.979). 이러한 결과는 4가지 편파를 합쳐서 단일한 YOLOv5s 모델을 수립하는 것이 4개의 개별 모델을 만드는 것보다 현업활용에 있어서 보다 더 간편하고 효율적임을 의미한다. Fig. 5는 개별 모델과 통합 모델에 대한 선박 탐지 결과의 예시인데, 바운딩 박스와 신뢰도가 두 실험에서 거의 유사한 것으로 확인되었다.

Table 3. Test performance of the four YOLOv5s models constructed for each polarization

Table 4. Test performance of one single YOLOv5s model constructed using all polarization images

Fig. 5. YOLOv5s prediction images with bounding boxes: (a) ground truth, (b) four models (created by each polarization), (c) all models (created with all polarizations).

Table 5는 YOLOv5x의 편파별 개별 모델에 대한 평가 결과이고, Table 6은 모든 편파의 통합 모델에 대한 평가 결과이다. YOLOv5s와 마찬가지로 AP@0.5가 모든 편파에서 비슷하게 나타나, 개별 모델 0.977 이상, 통합 모델 0.981 이상의 높은 정확도를 보여주었다. 개별 모델과 통합 모델 모두 YOLOv5s와 YOLOv5x의 성능이 거의 비슷하게 나왔기 때문에, 현업활용에 있어서는 보다 가벼운 모델인 YOLOv5s가 더 선호될 수 있다. Fig. 6은 YOLOv5x의 개별 모델과 통합 모델에 대한 선박 탐지 결과의 예시인데, 역시 바운딩 박스와 신뢰도가 앞선 실험과 유사한 것으로 확인되었다.

Table 5. Test performance of the four YOLOv5x models constructed for each polarization

Table 6. Test performance of one single YOLOv5x model constructed using all polarization images

Fig. 6. YOLOv5x prediction images with bounding boxes: (a) ground truth, (b) four models (created by each polarization), andj (c) all models (created with all polarizations).

YOLOv5s와 YOLOv5x의 통합 모델로 항구에 정박되어 있거나 항구 근처에 위치하거나, 해면에 위치한 다양한 상태와 크기의 선박을 탐지한 결과, 대체로 0.80 이상의 높은 정확도로 선박을 탐지해냈다(Fig. 7).

Fig. 7. Comparison of predictions of ground truth and YOLOv5 All models: detection results were compared in various ship images, All model means created with all polarization. (a) Large ship docked in port. (b) Small ship docked in port. (c) Ship near the ground. (d) Various sizes of ships on the sea surface.

항구 건물과 선박이 상호 오인되거나 후류 영역이 선박에 포함되는 오탐지가 일부 발생하였는데(Fig. 8), 표면 거칠기가 크기 때문에 후방산란계수가 커 선박과 비슷하게 보여지기 때문이다. 육지나 항구 근처의 경우 건물 등으로 인한 다양한 높낮이를 가져 표면이 거칠고, 선박이 이동하면서 뒤쪽에 생기는 후류(wake)의 경우는 파도 같은 형태로 주변의 바다에 비해 표면 거칠기가 크다. 따라서 향후 선박의 오탐지 및 미탐지의 경우에 대한 개선이 필요할 것이다.

Fig. 8. Examples of false alarms and missed ships. The plum rectangles indicate the ground truth, and the red rectangles indicate the model prediction. (a) Buildings and ships near a port. (b) Confusion of a ship and its wake.

4. 결론

본 연구에서는 SAR 영상으로부터 효율적인 선박 탐지 방법을 제시하기 위하여, Sentinel-1 영상에 YOLOv5 모델을 적용하여 선박 탐지를 수행하고, 편파별 개별 모델과 통합 모델의 차이 및 편파별 정확도 특성을 분석하였다. 파라미터가 작고 가벼운 YOLOv5s와 파라미터가 많지만 정확도가 높은 YOLOv5x 두가지 모델에 대하여 각각 (1) HH, HV, VH, VV 각 편파별로 나누어 학습/검증 및 평가, 그리고 (2) 모든 편파의 영상을 사용하여 학습/검증 및 평가를 실시한 결과, 네 가지 실험에서 모두 0.977 ≤ AP@0.5 ≤ 0.998의 비슷하면서 매우 높은 정확도를 나타냈다. 이처럼 편파별 모델과 통합 모델의 비교분석 및 성능평가는 선행연구에서 명확히 제시되지 않은 본연구만의 성과라고 할 수 있다. 이러한 결과를 현업시스템의 관점에서 보면, 가벼운 YOLO 모델(YOLOv5s, YOLOv8s 등)로 4개 편파 통합 모델을 구축하는 것이 실시간 선박탐지에 효과적임을 시사하는 것이다. 이 실험에서 사용한 영상은 19,582장이었지만, Sentinel-1 이외에도 Capella, ICEYE 등 다른 초소형 위성의 고해상도 SAR 영상을 추가적으로 사용한다면 보다 유연하고 정확한 선박 탐지 모델이 구축될 수 있을 것이며, 이를 AIS 등과 연계하여 불법선박 탐지에 활용할 수 있을 것이다. SAR 영상에 육지의 건물과 선박이 같이 존재할 때 이를 보다 더 잘 분별하기 위한 알고리즘이나, 영상 내에서 선박과 후류를 구분할 수 있는 알고리즘의 개선도 향후과제로 필요할 것이다.