Improved Ship and Wake Detection Using Sentinel-2A Satellite Data

Sentinel-2A 위성자료를 활용한 선박 및 후류 탐지 개선

Abstract

It is necessary to quickly detect and respond to ship accidents that occur continuously due to the influence of the recently increased maritime traffic. For this purpose, ship detection research is being actively conducted based on satellite images that can be monitored in real time over a wide area. However, there is a possibility that the wake may be falsely detected as a ship because the wake removal is not performed in previous studies that performed ship detection using spectral characteristics. Therefore, in this study, ship detection was performed using SDI (Ship Detection Index) based on the Sentinel-2A satellite image, and the wake was removed by utilizing the difference in the spectral characteristics of the ship and the wake. Probability of detection (POD) and false alarm rate (FAR) indices were used to verify the accuracy of the ship detection algorithm in this study. As a result of the verification, POD was similar and FAR was improved by 6.4% compared to the result of applying only SDI.

최근 증가된 해상 교통량의 영향으로 지속적으로 발생하는 선박사고에 대한 신속한 탐지 및 대처가 필요하다. 이를 위해, 광역 범위로 실시간 모니터링이 가능한 위성영상을 기반으로 선박탐지 연구가 활발히 수행되고 있다. 그러나, 분광특성을 활용하여 선박탐지를 수행한 선행연구에서는 후류(Wake) 제거를 수행하지 않아 후류가 선박으로 오탐지될 가능성이 존재한다. 이에 본 연구에서는 Ship Detection Index (SDI)를 이용하여 Sentinel-2A/Multispectral Instrument (MSI) 위성영상에서 선박탐지를 수행하고 선박과 후류의 분광특성 차이를 기반으로 하는 Wake Detection Index (WDI)를 활용하여 후류를 제거하였다. 본 연구의 선박탐지 알고리즘의 정확도 검증을 위해 Probability of detection (POD), False alarm rate (FAR) 지수를 활용하였으며, 검증 결과 SDI만 적용한 결과에 비해 POD는 유사하게 나타나고 FAR는 6.4% 개선되었다.

1. 서론

 해상 교통량이 증가함에 따라선 박사 고의 발생률도 증가 하고 있다(Leeet al., 2012). 특히,한반도 지형은 복잡한 해안선을 가지고 있기 때문에 해상사고가 발생할 가능성이 높다(Songet al., 2013). 바다와 같이 광범위하고 지리적으로 접근하기 어려운 지역을 지속적으로 모니터링 하기 위해서는 위성영상을 활용하는 것이 효과적이며, 선박탐지는 해양안전,어업관리,선박 구조를 위해 매우  중요하기 때문에 위성영상을 활용한 선박탐지 연구는 활발히 진행되고 있다(Tanget al., 2015; Yokoya andIwasaki, 2015; ChengandHan, 2016, Kimet al., 2020). 또한, 선박탐지의 정확도 개선을 위해 선박이 항해할 때 발생하는 후류탐지의 중요성이 강조되고 있다(Kuoet al., 2003; Grazianoet al., 2017). 선행연구 검토 결과, 위성영상을 활용한 선박 및 후류탐지는 SAR영상에 중점을 두었고, SAR 영상기반의 선박 및 후류탐지 알고리즘은 광학영상에 적용하는데 있어서 한계가 있다(Liet al., 2016; Liuet al., 2021).

따라서, 본 연구에서는 광학영상의 다중분광채널 특성만으로 선박탐지가 가능한 선박탐지지수(Ship DetectionIndex, SDI) (Parket al., 2018)를 활용하여 부산 영도 인근해역을 대상으로 선박탐지를 수행하였다. 또한, Parket al. (2018)에서 고려하지 않은 후류의 분광 특성을 분석하여 후류탐지지수(WakeDetectionIndex, WDI)를 제시하였고 선박으로 오탐지되는 후류를 제거하였다.

2. 연구지역 및자료

연구 지역은 선박의 유동량이 많은 부산 영도 인근해역(35.03°N~35.07°N, 129.02°E~129.08°E)으로 선정하였다(Fig. 1). 연구기간은 일년(2019년)으로 설정하였고 2020년 자료는 검증자료로 활용하였다(Table1). Fig. 1 은 ENVITool을 활용하여 본 연구지역의 RGB 합성영상을 산출한 결과이다.

Fig. 1. The study area; (a) RGB image on February 04, 2019, 11:08:59 (UTC), (b) RGB image on March 16, 2019, 11:06:49 (UTC).

Table 1. Information on images of Sentinel-2A/MSI used in the study

위성자료는 유럽항공우주국(EuropeanSpaceAgency, ESA)에서 제공하는Sentinel-2A/MultispectralInstrument (MSI) 영상자료를 사용하였다(Table2). Sentinel-2A/MSI 의 공간해상도는 10m, 20m, 60m이며 시간해상도는 10 일이다. 본 연구에서는 ESA에서 제공하는Level2A 영상자료의 band2(Ref_0.49), band3(Ref_0.56), band4(Ref_0.66), band8(Ref_0.84) 지표면반사도(BottomOfAtmosphere reflectance)를 사용하였다.

Table 2. Specifications of Sentinel-2A/MSI

3. 연구방법

1) 육·해상 및 구름탐지

 육지 및 바다픽셀의 탐지를 위해 NormalizedDifference WaterIndex(NDWI)를 적용하였다(Xu, 2006; Ji et al., 2009; Rokniet al., 2014, Leeet al., 2020). NDWI는 식 (1)과 같이 NIR 반사율(Ref_0.84)과 Green반사율(Ref_0.56)의 기반으로 계산한다(ChoungandJo, 2016). 추가적으로 정박 되어있는 선박들은 탐지 대상에서 제외하였다.

\(N D W I=\frac{\operatorname{Ref}_{0.56}-\operatorname{Ref}_{0.84}}{\operatorname{Ref}_{0.56}+R e f_{0.84}}\)       (1)

구름 탐지는 Whiteness Test 와 Hot Test를 이용하여 수행하였다(Zhuet al., 2012). Whiteness Test지수는 구름이가 시광역에서 높은 반사도 값을 나타나는 특성으로 인해 흰색을 띄는 점을 활용하여 식(2),(3)과 같이 Red(Ref_0.66), Green(Ref_0.56), Blue(Ref_0.49) 채널과 전체 밝기 간의 절대 차이의 합을 이용하여 구름을 탐지하는 방법이다.

\(\begin{aligned} &\text { Whiteness Test }=\\ &\left(\frac{\left|\operatorname{Ref}_{0.66}\right|-\text { Mean }}{\text { Mean }}+\frac{\left|\operatorname{Ref}_{0.56}\right|-\text { Mean }}{\text { Mean }}+\frac{\left|R e f_{0.49}\right|-\text { Mean }}{\text { Mean }}\right) \end{aligned}\)           (2)

\(\text { Mean }=\frac{R e f_{0.66}+\operatorname{Ref}_{0.56}+\operatorname{Ref}_{0.49}}{3}\)         (3)

 Hot Test지수는 식(4)와 같이 연무와 얇은 구름에 대한 Blue와 Red 채널의 반사도 차이가 발생하는점을 이용하여 구름을 탐지하는 방법이다.

\(\text { Hot Test }=\operatorname{Ref}_{0.49}-\left(0.5 \times \operatorname{Ref}_{0.66}\right)-0.08\)       (4)

2) 선박 탐지

 훈련 및 검증자료는 RGB영상에서 사진판독(Photo Interpretation)기법을 사용하여 선박과 바다로 분류하였다(Fig. 2). 사진판독 기법이란 영상의 대상물의 성질을 조사 또는 식별하여 분석함으로써 정성화하는 기술을 의미한다.

Fig. 2. RGB image on February 04, 2019, 11:08:59 (UTC); red line : ship as reference data.

선박탐지는 식(5)와 같이 바다와 선박의 반사도 차이가 NIR(Ref_0.84), Red(Ref_0.66) 채널에서Green(Ref_0.56), Blue(Ref_0.49) 채널보다 크게 나타나는 분광 특성을 기반으로 한 SDI를 활용하여 수행하였다(Parket al., 2018). Red, NIR 반사도들의 최대값은 상위 95%의 값, 최소값은 하위5%의 값으로 선정하여 SDI를 계산하였다.

\(S D I=\frac{R e f_{0.66}-R e f_{0.66 \min }}{\operatorname{Ref}_{0.66_{-} \max }-\operatorname{Ref}_{0.66_{-\min }}} \times \frac{R e f_{0.84}-R e f_{0.84_{-\min }}}{\operatorname{Ref}_{0.84_{-} \max }-\operatorname{Ref}_{0.84_{-}} \mathrm{min}}\)        (5)

위성마다 탑재된 센서가 다르기 때문에 동일한 알고리즘으로 탐지를 수행하더라도 다른 결과를 초래한다 (Wehlageet al., 2016). 따라서 SDI경계값 선정을 위하여,검증자료와 탐지결과 간의 탐지확률(ProbabilityOf Detection, POD), 오탐지율(FalseAlarmRatio, FAR) 변화분석을 통해 본 연구지역에 맞는 SDI경계값(0.088) 을 도출하였다(Fig. 3). Fig. 4는 모두 2019년 02월 04일 자료이며 Fig. 4(a)와 (c)는 Sentinel-2A/MSI위성영상에 변경한 SDI경계값을 적용한 선박탐지 결과이고, Fig. 4(b)와 (d)는 ENVI에서 산출된 RGB 합성 영상이다. Fig. 4(c)와 (d)를 비교한 결과, 모든 선박이 탐지되었지만 후류가 선박으로 오탐지 된 것을 확인하였다.

Fig. 3. Plot of POD and FAR value according to SDI threshold value.

Fig. 4. February 04, 2019, 11:08:59 (UTC); (a) result applied SDI threshold(0.088), (b) RGB image, Comparison of (c) and (d) that the ship is over-detected.

4) 후류 제거

 과대탐지된 선박 픽셀을 제거하고 자선 박과 후류 픽셀의 밴드 반사도를 비교·분석하였다(Fig. 5). 선박 픽셀에서는 NIR채널 반사도가 Red 채널 반사도보다 크고, 후류픽셀에서는 NIR 채널 반사도에 비해 Red 채널 반사도가 크게 나타난다. 또한, 선박과 후류 픽셀 간의 Blue채널반사도는 유사하지만 NIR 채널 반사도는 차이가 크다는 특성을 확인하였다.

Fig. 5. Plot of average reflectance values of ship and over bands.

 이를 기반으로 새로운 후류탐지지수(Wakedetection Index, WDI)를 제시하였으며 빨간 경계선을 기준으로 선박과 후류를 구분하였다(Fig. 6). 도출된 관계식인 WDI식은 식6과 같다.

Fig. 6. Scatter plot of the spectral characteristics of ship and wake, red line : threshold, x-axis : (Ref_0.66– Ref_0.84) / SDI, y-axis : (Ref_0.49–Ref_0.84) / (Ref_0.84+ SDI).

\(W D I=\left(\frac{\operatorname{Re} f_{0.46}-R e f_{0.84}}{S D I+R e f_{0.84}}\right)+\left(\frac{\operatorname{Re} f_{0.66}-R e f_{0.84}}{S D I}\right)-0.3\)        (6)

4. 연구결과

검증자료로 구축해 놓은 데이터를 참값으로 사용하여 본 연구의 정확도를 정량적으로 검증하였다(Table3).

SDI만을 활용한 선행 연구(Parket al., 2018)와 SDI 및 WDI를 적용한 본 연구를 비교 해본 결과, 본 연구의 POD86.83%, FAR19.40%으로 나타났으며, 선행 연구대비 POD는 유사하게 산출되면서 FAR은 6.4% 개선되었다.

Table 3. Quantitative result using POD, FAR

Fig. 7(a)와 (d)는 SDI적용영상, Fig. 7(b)와 (e)는 SDI 및 WDI적용영상, Fig. 7(c)와 (f) 는 2020년 1월 5일 연구지역의 RGB 합성 영상이다. Fig. 7(d)와 (e)를 비교했을때, 후류가 제거된 것을 확인할 수 있었다. 하지만 Fig. 6의 빨간 경계선 아래에 존재하는 선박과 분광특성이 유사한 후류로 인해,일부 후류가 여전히 선박으로 탐지되거나 선박 픽셀이 제거되는 것을 확인할 수 있었다 (Fig. 7(e)).

Fig. 7. January 05, 2020, 11:10:31 (UTC); (a) and (d) result applied SDI threshold(0.088), (b) and (e) result applied SDI (0.088) and WDI threshold, (c) and (f) RGB image, Comparison of (d) and (e): show that wake is removed and show that the ship was detected similarly to the reference data.

5. 결론

 본 연구는 해상교통량의 증가로 인한 선박사고의 발생률을 줄이기 위해 Sentinel-2A/MSI 위성 영상을 활용하여 선박탐지를 수행하였다.일년 동안의 위성 영상을 활용하였으며,본 연구지역에 적합한 SDI경계값을 도출하여 사용하였다. 또한, 후류픽셀을 제거하지 않아 선박으로 오탐지 될 수 있는 가능성을 줄이기위해 선행 연구(Parket al., 2018)에서 수행하지 않았던 후류픽셀의 분광특성을 분석하여 후류를 제거하는 WDI를 제시하였다. 검증결과, POD는 86.68%, FAR은 19.40%으로 나타났으며 POD87.35%, FAR25.87%인 SDI(Parket al., 2018) 대비 FAR은6.4% 감소하였다.

 본 연구에서 사용한 위성자료는 여름기간에 구름의 영향으로 자료를 확보하는데 어려움이 있었다. 또한, 선박과 후류의 분광특성이 유사한 부분에서는 WDI를 적용한 후에도 후류가 선박으로 오탐지되는 경향이 존재하였다.

 따라서 향후 장기간의 위성영상 및 선박의 크기에 대한 정보를 확보할 수 있고, SDI와 WDI를 기반으로 추가적인 분석이 이루어진다면 보다 정확한 선박탐지를 수행할 수 있을 것으로 기대된다.