Ship Positioning Using Multi-Sensory Data for a UAV Based Marine Surveillance

무인항공기 기반 해양 감시를 위한 멀티센서 데이터를 활용한 선박 위치 결정

Abstract

Every year in the ocean, various accidents occur frequently and illegal fishing is rampant. Moreover, their size and frequency are also increasing. In order to reduce losses of life or property caused by these, it is necessary to have a means to perform remote monitoring quickly. As an effective platform of such monitoring means, an Unmanned Aerial Vehicle (UAV) is receiving the spotlight. In these situations where marine accidents or illegal fishing occur, main targets of monitoring are ships. In this study, we propose a UAV based ship monitoring system and suggest a method of determining ship positions using UAV multi-sensory data. In the proposed method, firstly, the position and attitude of individual images are determined by using the pre-performed system calibration results and GPS/INS data obtained at the time when images were acquired. In addition, after the ship being detected automatically or semi-automatically from the individual images, the absolute coordinates of the detected ships are determined. The proposed method was applied to actual data measured at 200 m, 350 m, and 500 m altitude, the ship position can be determined with accuracy of 4.068 m, 8.916 m, and 13.734 m, respectively. According to the minimum standard of a hydrographical survey, the ship positioning results of 200 m and 350 m data satisfy grade S and the results of 500 m data do grade 1a, where the accuracy is required for positioning the coastline and topography less significant to navigation order. Therefore, it is expected that the proposed method can be effectively used for various purposes of marine monitoring or surveying.

매년 해양에서 많은 사고가 빈번하게 발생하고 불법 조업이 성행하고 있으며, 그 규모와 빈도도 증가하고 있다. 이로 인한 인명이나 재산 피해를 경감시키기 위하여 신속한 원격 감시 수단이 필요하다. 이러한 감시 수단의 효과적인 플랫폼으로써 무인항공기가 주목을 받고 있다. 해양 사고나 불법 조업이 이루어지는 상황에서 주된 감시 대상은 선박이 될 것이다. 이에 본 연구에서는 무인항공기 기반 선박 감시 체계를 제안하고, 무인항공기 센서 데이터를 이용하여 선박 위치를 결정하는 방법을 제시하고자 한다. 제안된 방법에서 먼저 사전에 수행된 시스템 캘리브레이션 결과와 영상 취득 시각에 취득된GPS/INS데이터를 이용해서 개별 영상을 취득한 위치와 자세를 결정한다. 또한, 개별 영상으로부터 선박을 자동 또는 반자동으로 탐지한 후 탐지된 지점들의 절대좌표를 결정한다. 제안된 방법을 200 m, 350 m, 500 m 고도에서 취득된 실측 데이터에 적용한 결과로 각각 4.068 m, 8.916 m, 13.374 m의 정확도로 선박 위치를 결정할 수 있었다. 수로측량의 최소기준에 따라 항해에 덜 중요한 해안선 및 지형 위치 항목에서 200 m 데이터의 선박위치결정 결과는 특등급, 350 m와 500 m 데이터의 결과는 1a등급을 만족한다. 제안된 방법은 다양한 목적의 해양 감시 또는 측량에 효과적으로 활용될 수 있을 것으로 판단한다.

요약

매년 해양에서 많은 사고가 빈번하게 발생하고 불법 조업이 성행하고 있으며, 그 규모와 빈도도 증가하고 있다. 이로 인한 인명이나 재산 피해를 경감시키기 위하여 신속한 원격 감시 수단이 필요하다. 이러한 감시 수단의 효과적인 플랫폼으로써 무인항공기가 주목을 받고 있다. 해양 사고나 불법 조업이 이루어지는 상황에서 주된 감시 대상은 선박이 될 것이다. 이에 본 연구에서는 무인항공기 기반 선박 감시 체계를 제안하고, 무인항공기 센서 데이터를 이용하여 선박 위치를 결정하는 방법을 제시하고자 한다. 제안된 방법에서 먼저 사전에 수행된 시스템 캘리브레이션 결과와 영상 취득 시각에 취득된GPS/INS데이터를 이용해서 개별 영상을 취득한 위치와 자세를 결정한다. 또한, 개별 영상으로부터 선박을 자동 또는 반자동으로 탐지한 후 탐지된 지점들의 절대좌표를 결정한다. 제안된 방법을 200 m, 350 m, 500 m 고도에서 취득된 실측 데이터에 적용한 결과로 각각 4.068 m, 8.916 m, 13.374 m의 정확도로 선박 위치를 결정할 수 있었다. 수로측량의 최소기준에 따라 항해에 덜 중요한 해안선 및 지형 위치 항목에서 200 m 데이터의 선박위치결정 결과는 특등급, 350 m와 500 m 데이터의 결과는 1a등급을 만족한다. 제안된 방법은 다양한 목적의 해양 감시 또는 측량에 효과적으로 활용될 수 있을 것으로 판단한다.

1. 서론

해양수산부의 통계자료에 따르면 우리나라에서는 최근 9년간 14603건의 해양사고가 발생하였으며 3296명의 인명 피해가 발생하였다. 특히 2015년과 2016년에는 각각 2010건, 2307건의 해양 사고가 발생하여 최초로 2000건을 넘어섰다. 해양 사고는 인명 피해로 직결될 확률이 높기 때문에 신속한 상황 파악과 구조 작업이 필요하다. 불법 조업의 경우에도 매해 2000건 이상이 발생하여 지속적인 경제적 손실로 이어지고 있다. 이러한 추세에 따르면 해양 사고나 불법 조업에 의한 인명이나 재산 피해는 증가할 것이다. 이러한 피해를 경감시키기 위하여 해양 사고나 불법 조업이 감지되었을 때 신속하게 현장의 상황을 파악하거나 대상 지역을 상시적으로 감시하여 조기에 발견하는 것이 중요하다. 이와 같은 해양 감시의 주된 대상 객체는 선박이기 때문에 해상에서 선박을 탐지하고 위치를 파악하는 선박감시 체계가 필요하다.

현재 선박 감시는 인공위성, 유인항공기 등의 공중 플랫폼이나 경비정, 해양레이더, AIS(Automatic Identification System), V-PASS(어선위치발신장치) 등 다양한 수단으로 이루어지고 있다. 인공위성이나 유인항공기에 의한 감시는 데이터 취득의 적시성이 부족하며, 경비정에 의한 감시는 공간적으로 광범위한 관측이 어렵고 육안에 의존하는 경우가 많다. 해양 레이더의 경우에는 상대적으로 낮은 해상도로 인하여 탐지된 선박의 수와 위치에 대한 정확도가 낮다. AIS의 경우에는 300톤 이상의 대형 선박에만 의무화되어 있기 때문에 소형 선박 감시에 활용하기에는 부적합하다. 감사원(2015)에 따르면 선박의 위치를 자동으로 송신하고, SOS신호를 발생하는 V-PASS의 경우에는 장치의 유지관리가 잘 이루어지지 않아 작동되지 않는 문제가 다수 보고되고 있다. 광활한 해양 영역을 빠짐없이 감시하기 위해서는 특정한 대상영역에 대한 정밀한 감시가 요구되는 시점에 신속하게 투입할 수 있는 수단이 필요하다. 저고도에서 자율 비행이 가능한 무인항공기는 고해상도 데이터 취득과 신속한 운용에 유리하다. 따라서 사고나 불법 상황이 발생하였을 때 긴급한 감시나 소규모 주요 관측 지역에 대한 주기적 감시를 위하여 무인항공기를 활용한다면 기존 감시 수단을 보완할 수 있을 것이다.

이미 해외 여러 국가들에서 무인항공기를 해양 감시분야에 활용하고 있다. 2009년 대만의 환경보호부에서는 UAV 원격탐사 기술을 해양감시에 활용하여 해상불법활동이 감소되었다고 발표하였으며, 2013년 유럽연합에서 무인항공기를 이용한 해양감시를 통해 얻게 될 경제적 효과나 강화된 경계 통제를 보고하였다. 2014년 미국 해양경비대에서는 무인항공기를 경비정과 동시 운용하여 해상감시를 하도록 하였고, 해군에서는 글로벌호크를 이용해 지능형 해양감시시스템을 구축하였다(정지희 외, 2014). 캐나다의 혹독한 해양 환경에서 감시를 수행하기 위해 무인항공기 시스템과 탑재체를 개발하였다(O’Young and bbard, 2007). 국내에서는 근접감시용 무인항공기 비행제어시스템 개발에 관한 연구가 있었으며(Shin et al., 2011), 무인항공기 광학영상으로 국토모니터링을 수행하기 위해 항공삼각측량을 수행하여 지상점의 정확도를 평가한 연구(Kim et al., 2014)와 초소형 무인항공기를 기반으로 목표영역에 대한 개별정사영상을 신속하게 자동으로 획득할 수 있는 긴급 매핑 시스템 개발에 관한 연구가 있었다(Jeon et al., 2015). Choi and Lee(2013)는 고속 연속 번들 조정 알고리즘을 이용해 무인항공기 영상을 지오레퍼런싱하여 실시간으로 지상점의 위치를 정밀하게 결정하는 연구를 수행하였다. 이와 같이 무인항공기를 이용한 감시 연구는 지상에 대해서는 꾸준히 이루어지고 있으나 해양 감시, 특히 선박 감시에 대해서는 미비한 실정이다.

무인항공기 시스템으로부터 획득된 고해상도 영상으로부터 객체의 위치를 파악하기 위해서는 먼저 지오레퍼런싱을 수행해야 한다. 지오레퍼런싱은 영상이 획득되는 시점의 카메라의 위치와 자세를 결정하는 과정이다(Choi and Lee, 2009). 지오레퍼런싱 방법으로는 카메라와 GPS/INS 센서 간의 기하학적 관계를 수립하여GPS/INS 데이터로부터 직접 결정하는 방법과 중복되는 영상 간의 공액점과 기준데이터를 이용하여 번들블록조정(BBA, Bundle Block Adjustment)을 수행함으로써 결정하는 방법이 있다. 해양 환경에서 획득되는 영상으로부터 공액점을 취득하거나 기준데이터를 확보하는 것이 어렵기 때문에 직접 결정 방법이 효과적일 것으로 판단된다. 직접 지오레퍼런싱의 정확도는 GPS/INS 성능뿐만 아니라 카메라와 GPS/INS 사이의 기하학적 관계를 얼마나 정확하게 결정하는지에 따라 달라진다. 이러한 기하학적 관계를 수립하는 과정을 시스템 캘리브레이션이라하고, 관련된 연구로는 직접 지오레퍼런싱에 적용하기 위한 연구(Cramer and Stallmann, 2002), 다중 센서 데이터의 외부표정요소를 결정하기 위하여 직접 지오레퍼런싱을 수행한 결과의 정확도를 평가한 연구(Song, 2005), 직접 지오레퍼런싱된 영상으로부터 지상점의 위치를 결정하고 정확도를 평가한 연구(Chianget al., 2012), 무인항공기기반 고해상도 영상에 직접 지오레퍼런싱 기법을 적용한 연구(Turner, 2014) 등이 있다.

지오레퍼런싱된 영상으로부터 선박의 위치를 결정하기 위해서 선박 영역을 탐지하고 영상 좌표를 산출하여 공선조건식을 활용해 영상의 위치/자세 정보를 나타내는 외부표정요소와 결합해야 한다. 선박을 탐지하고 영상 좌표를 산출하기 위하여 주로 밝기 값을 이용한 영상 분할 방법을 활용한다. Proia and Page(2010)은Bayesian 이론에 기초하여 영상의 히스토그램으로부터 바다 영역에 해당하는 픽셀의 밝기 값을 가우시안 분포로 모델링하고 해당 픽셀들을 분류하여 선박을 탐지하였다. 노이즈로 추정되는 값을 분류하고 알고리즘을 이용해 선박을 탐지한다. Xue al.(2010)은 영상의 배경 제거 기법인 Grabcut 알고리즘을 이용하여 UAV 영상으로부터 선박을 탐지하였다. Marques(2014)는 저고도 UAV 영상에서 선박을 탐지할 때 방해요소인 카메라 움직임, 태양광 반사 효과에 효과적으로 대응하며, 실시간성을 제고하기 위해 simple thresholding,spatial constraint,time consistency 세 가지 과정을 수행하는 선박탐지 알고리즘을 제안하였다. 이상의 선박 탐지 기법들은 영상좌표계를 기준으로 선박의 형태나 경계를 검출하는 것에 국한되었다.

본 연구에서는 먼저 무인항공기 기반 선박 감시 체계를 제안하고, 제안된 체계를 기반으로 선박 감시를 위해 요구되는 무인항공기 센서 데이터를 활용해서 절대좌표계 상에서 선박 위치를 결정하는 방법론을 제시하고 해양에서 취득한 무인항공기 센서 데이터에 적용하여 실험적으로 검증한다.

2. 선박위치결정 방법론

무인항공기 기반 선박 감시 체계는 Fig. 1에서와 같이 크게 두 단계 – 사전 처리 단계(Stage Ⅰ)와 실시간 온라인처리 단계(Stage Ⅱ)로 운영된다. 사전 처리 단계는 현장에 투입하여 실제로 운영하기 전에 준비하는 단계를 의미하고, 실시간 온라인 처리 단계는 무인항공기가 현장에서 비행하면서 영상 등 센서 데이터를 실시간으로 취득하여 전송하는 상황에서 수행되는 처리 단계를 의미한다. 사전 처리 단계에서는 시스템 캘리브레이션(Ⅰ-1)을 통해 무인항공기에 탑재된 카메라와 GPS/INS 간의기하학적인 관계를 나타내는 탑재변수를 계산한다. 실시간 온라인 처리 단계에서는 먼저 영상 지오레퍼런싱(Ⅱ-1)을 수행한다. 시스템 캘리브레이션(Ⅰ-1) 단계에서 결정된 탑재변수와 실시간으로 개별 영상과 동시에 취득되고 있는 GPS/INS 데이터를 활용해서 영상 외부표정요소를 추정한다. 다음 과정은 선박탐지/위치결정(Ⅱ-2a)와 영상기하보정(Ⅱ-2b)으로 개별 영상이 무인항공기에서 취득되어 전송될 때마다 거의 실시간으로 병렬적으로 수행된다. 선박탐지/위치결정에서는 개별 영상으로부터 선박을 탐지하여 선박 위치에 대한 영상 좌표를 추출하고, 선박 영상좌표를 영상 외부표정요소와 결합하여 절대 좌표계 상에서 선박 위치를 결정한다. 영상기하보정에서는 영상 지오레퍼런싱을 통해 결정된 외부표정요소를 기반으로 개별영상을 기하보정하여 개별정사영상을 생성한다. 마지막 과정은 가시화/공유(Ⅱ-3)인데 탐지된 선박위치를 생성한 개별정사영상과 함께 지도와 같은 기존공간정보에 중첩하여 실시간으로 가시화하고 클라우드를 통해 다양한 위치의 다수의 사용자가 동시에 실시간으로 공유하도록 한다. 본 논문에서는 제안된 감시 체계에서 특히 선박 위치 결정 관련부분에 집중해서 구체적인 방법론을 제시하고 검증하려고 한다. 이에 시스템 캘리브레이션(Ⅰ-1)을 포함해서영상 지오레퍼런싱(Ⅱ-1)과 선박탐지/위치결정(Ⅱ-2a) 방법론을 기술하려고 한다.

Fig. 1. Overviewof UA Based Ship Surveillance System.

1) 영상 지오레퍼런싱

영상 지오레퍼런싱은 영상 외부표정요소를 결정하는 과정으로 탑재변수와 GPS/INS 데이터로부터 번들조정 없이 직접 결정하는 방법을 채택하였다. 일반적으로 직접 지오레퍼런싱보다는 번들 조정을 통한 간접 지오레피런싱이 더 정확한 결과를 도출하지만, 해양 환경의 경우에는 번들 조정이 거의 불가능하다. 이는 번들조정에서는 영상 사이의 공액점으로부터 영상과 영상사이의 상대적인 관계를 추정하는데, 해양에서 취득한 영상들은 대부분 바다를 포함하고 있어 공액점 확보가 어렵기 때문이다. 직접 지오레퍼런싱에서는 특히 탑재변수의 정확도가 아주 중요하다. 간접 지오레퍼런싱의 경우 공액점, 지상기준점 등을 기반으로 번들 조정을 수행하기 때문에 탑재변수에 포함된 오차의 영향이 감쇄되지만 직접 지오레퍼런싱의 경우 직접적인 영향을 미친다. 이에 먼저 탑재 변수를 사전에 정밀하게 결정하기 위한 시스템 캘리브레이션 방법을 먼저 기술하고, 이어서 개별 영상의 외부표정요소를 결정하는 직접 지오레퍼런싱 방법을 설명한다.

(1) 시스템 캘리브레이션

시스템 캘리브레이션은 카메라와 GPS/INS 간의 탑재변수를 산출하는 과정이다. 탑재변수는 무인항공기와 같은 플랫폼에 센서를 탑재할 때 결정되는 센서와 센서 사이 또는 센서와 플랫폼 사이의 기하학적 관계를 나타낸다. GPS/INS 데이터로 결정되는 플랫폼 위치자세로부터 카메라 위치자세 – 즉 영상 외부표정요소를 결정하기 위해서 GPS/INS와 카메라 사이의 탑재 변수를 정확하게 알아야 한다. 구체적으로는 Fig. 2처럼 카메라좌표계(C)와 GPS/INS 좌표계(B) 사이의 위치와 자세의 차이를 나타내는 이동벡터(\(t_{B}^{C}\))와 회전행렬(\(R_{B}^{C}\))을 추정해야 한다.

Fig. 2. Geometric relationships of individual coordinate system.

시스템 캘리브레이션을 위한 시험 대상 지역은 굳이 해양 영역을 선택할 필요는 없다. 정밀한 기준점 측량이 용이하고 너무 단순하지 않은 지형과 텍스처를 갖는 지상 영역으로 선정한다. 대상 지역에서 무인항공기 시스템으로 영상과 GPS/INS 데이터를 취득하고 지상에서 기준점을 정밀하게 측량한다. 먼저 GPS/INS 데이터를 사용하지 않고 영상과 지상기준점 만을 이용하여 번들 조정을 수행함으로써 영상 외부표정요소를 정밀하게 결정한다. 다음으로 정밀하게 결정된 외부표정요소와 영상 취득 시점의 GPS/INS 데이터를 비교함으로써 탑재변수를 산출한다.

해양 환경에서 요구되는 정확도와 무인항공기 시스템에서 GPS/INS와 카메라가 가깝게 탑재된다는 사실을 고려하여 탑재변수 중에서 이동터(\(t_{B}^{C}\))는 영벡터로 가정하고 회전행렬(\(R_{B}^{C}\))만 추정한다. \(R_{B}^{C}\)은 식 (1)과 같이 GPS/INS 좌표계에서 지상 좌표계로 변환하는 회전행렬(\(R_{B}^{G}\))과 지상 좌표계에서 카메라 좌표계로 변환하는 회전행렬(\(R_{G}^{C}\))의 곱으로 표현된다.

\(R_{B}^{G} R_{G}^{C}=R_{B}^{C}\)       (1)

\(R_{B}^{G}\)는 플랫폼의 자세를 의미하는 것으로 GPS/INS에서 제공되는 Roll, Pitch, Yaw 형식의 회전각을 조합해서 산출한다. \(R_{G}^{C}\)는 카메라 자세를 의미하는 것으로 지상기준점을 이용하여 번들블록조정을 수행하여 산출한다. \(R_{B}^{G}\)와 \(R_{G}^{C}\)은 플랫폼이 이동하기 때문에 영상 취득 시점마다 달라지지만, 이들의 곱으로 표현되는 \(R_{B}^{C}\) – 카메라와 GPS/INS 센서 사이의 자세 차이는 일정하게 유지된다. 만약 시스템 캘리브레이션에 n개 영상이 이용된다면 n쌍의 상이한 ​​​​​​​\(R_{B}^{G}\)와 ​​​​​​​\(R_{G}^{C}\)가 존재하고, 이로부터 n개​​​​​​​ \(R_{B}^{C}\)를 계산하여 평균한다.

(2) 직접 지오레퍼런싱

직접 지오레퍼런싱은 결정된 탑재변수와 GPS/INS데이터를 조합해 개별 영상의 외부표정요소를 결정하는 방법이다. 탑재변수 중 이동 벡터는 영 벡터로 가정하여, 영상 외부표정요소 중 위치는 영상과 동일한 시각에 취득된 GPS/INS가 제공하는 플랫폼의 위치와 동일하다. 외부표정요소 중 자세는 GPS/INS가 제공하는 플랫폼의 자세 – ​​​​​​​\(R_{B}^{C}\)과 시스템 캘리브레이 결과로 산출된 탑재변수 – \(R_{B}^{C}\) 를 이용하여 식(2)처럼 결정할 수 있다. 결정된 회전행렬로부터 필요하면 Omega, Phi, Kappa 형 식의 회전각을 계산한다.

\(R_{G}^{C}=R_{B}^{C}\left(R_{B}^{G}\right)^{T}\)       (2)

2) 선박탐지 및 위치결정

선박탐지를 수행하기 위해 Klimkowska and Lee(2017)의 UAV 광학영상에 색 공간 변환과 영상 분할 기법을 적용하는 선박탐지 알고리즘을 채택하였다. 선박탐지는 영상에서 선박 영역을 탐지하고 선박 위치를 대표하는 지점에 대한 영상 좌표를 산출하는 과정이다. 이 과정에서 영상 좌표를 정확하게 탐지하는 것이 중요하다. 위의 알고리즘을 통하여 선박의 후류에 의해 발생하는 과대추정이나 다른 객체를 오탐지하는 경우를 감소시킬 수 있다.

선박 영역에 후류가 포함되어 과대추정되는 것을 방지하기 위하여 영상의 RGB 색 공간을 L*a*b 색 공간으로 변환하여 두 번째 채널을 선택한다. 선박이 아닌 물결 등이 선박으로 탐지되는 것을 최소화하기 위하여 선택된 채널의 영상에 가우시안 스무딩 기법을 적용한다. 스무딩된 영상 전체에 대하여 수평 방향과 수직 방향으로 그래디언트(gradient)를 계산한다. 그 결과 생성된 그래디언트 영상에 Otsu 방법을 적용하여 선박이 아닌 것으로 추정되는 영역을 제거한다. Otsu 방법은 그래디언트를 기준으로 영상을 이진 분할할 수 있는 임계값을 자동으로 산출하는 알고리즘이다. 분할된 각각의 클래스에 대한 그래디언트의 분산이 최소가 되도록 임계값을 산출한다. 따라서 선박 영역과 선박이 아닌 영역을 나눌 수 있는 그래디언트의 임계값을 계산하여 선박이 아닌 영역을 제거할 수 있게 된다. 다음으로 선박 추정되는 영역의 경계선을 이용하여 영역 내부를 채워 블롭(blob)을 만들고, 블롭의 면적을 고려하여 선박으로 판단하기에 너무 작거나 큰 것은 제거한다. 마지막으로 남은 블롭의 최소경계사각형(MBR: Minimum Bounding Rectangle)을 형성하고, MBR의 중심 위치를 결정함으로써 선박의 영상 좌표를 산출한다.

앞서 탐지된 선박의 영상 좌표와 선박이 나타난 영상의 외부표정요소를 이용하여 공선조건식 기반으로 선박 위치의 절대 좌표를 결정한다. 공선조건식은 영상의 투영중심과 지상점, 그리고 지상점이 투영된 영상점이 한 직선상에 존재해야 한다는 조건을 수학적으로 표현한 식이다. 이와 같은 공선조건식에 특성에 의하여 영상의 투영중심에서 영상점까지를 나타내는 영상 벡터 \(\vec{p}\)와 영상의 투영중심으로부터 지상점까지를 나타내는 객체 벡터 \(\vec{q}\)는 동일한 직선 상에 존재하므로 서로 비례한다. 선박의 상점 좌표에 대한 영상 벡터 ​​​​​​​\(\vec{p}\)를 카메라 좌표계 상에서 표현하면, 카메라 내부표정요소 중 주점의 위치(x_p, y_p)와 초점거리(c)를 이용하여 [x – x_p, y – y_p, – c]^T로 표현할 수 있다. 또한 선박의 절대위치좌표(X_c, Y_c, Z_c)에대한 객체 벡터 ​​​​​​​\(\vec{q}\)를 지상좌표계로 표현하면, 영상의 외부표정요소중 위치정보(X_c, Y_c, Z_c)를 이용하여 [X_G – X_c,Y_G – Y_c, Z_G – Z_c]^T로 나타낼 수 있다. 선박의 위치를 결정하기 위해 선박 절대위치 좌표를 기준으로 나타내면 식(3)과 같이 나타난다. 선박 절대위치 좌표 중 높이 값을 나타내는 Z_C는 해수면의 높이와 유사한 점을 이용하여 해수면의 높이로 가정하고 Z_MSL로 나타낸다. 식 (3)의 3번째 행을 축척λ에 대해 전개하면 식 (4)와 같이 표현되며 축척을 구할 수 있다. 결정된 축척으로부터 구하고자 하는 선박의 위치좌표 X_G, Y_G를 식 (5), (6)과 같이 도출할 수 있다.

\(\left[\begin{array}{c} X_{G} \\ Y_{G} \\ Z_{M S L} \end{array}\right]=\lambda\left[\begin{array}{l} r_{11} r_{12} r_{13} \\ r_{21} r_{22} r_{23} \\ r_{31} r_{32} r_{33} \end{array}\right]\left[\begin{array}{c} x-x_{p} \\ y-y_{p} \\ -c \end{array}\right]+\left[\begin{array}{c} X_{C} \\ Y_{C} \\ Z_{C} \end{array}\right]\)       (3)

\(\lambda=\frac{Z_{M S L}-Z_{C}}{\left.r_{31}\left(x-x_{p}\right)+r_{32}\left(y-y_{p}\right)-r_{33}^{c}\right)}\)       (4)

\(X_{G}=\lambda\left\{r_{11}\left(x-x_{p}\right)+r_{12}\left(y-y_{p}\right)-r_{13} c\right\}+X_{C}\)       (5)

\(Y_{G}=\lambda\left\{r_{21}\left(x-x_{p}\right)+r_{22}\left(y-y_{p}\right)-r_{23} c\right\}+Y_{C}\)       (6)

where x, y:Image point (x, y) in Fiducial coordinate system.

x_p, y_p: rinciple point coordinate of the camera in Fiducial coordinate system

c: Focal length of the camera.

r_mn: Rotation matrix (Camera coordinate system to Local coordinate system).

X_c, Y_c, Z_c: X, Y, Z coordinate of the camera in Local coordinate system

X_G, Y_G, Z_MSL: X, Y, Z coordinate of the object in Local coordinate system.

3. 실험결과

1) 시험 데이터 취득

(1) 대상지역

대한민국 경상남도 통영시 연화리에 위치한 연명항 남측해안의 약 1.4 km × 0.5 km 지역을 대상으로 하여 연명항을 이착륙 장소로 하여 무인항공기 데이터를 취득하였으며 Fig. 3에서 그 범위를 확인할 수 있다. 연명항 주변은 항구지역 특성상 여러 선박이 위치하고 있으며 섬과 양식장 등 해상구조물이 존재한다.

Fig. 3. Spatial extent of the target area, represented in a red rectangle.

(2) 운용 시스템 소개

무인항공기는 날개의 형태에 따라서 고정익과 회전익 항공기로 분류되는데 고정익의 경우 기체가 가벼워 장시간의 비행이 가능하지만 탑재허용중량이 적어 장착할 수 있는 장비에 제약이 크다. 회전익의 경우 기체가 무거워 비행시간이 짧지만 탑재할 수 있는 장비의 제약이 비교적 적은 편이다. 본 연구에서는 다양한 센서를 여러 가지 조합으로 선택적으로 재하여 시험할 수 있도록 탑재가 간편하고 제약이 적은 회전익을 채택하였다. 회전익 중에서도 해양이라는 운영환경을 고려하여 일반적으로 많이 사용하는 중저가 쿼드로터가 아니라 가솔린 연료를 사용하는 비교적 고가이지만 체공시간, 내풍성, 신뢰도 측면에 우월한 무인 헬기를 사용했다. 본 연구에 사용된 기체의 형태, 외형과 제원은 각각 Fig. 4와 Table 1에서 확인할 수 있다.

Fig. 4. UAV Model (Remo-H).

Table 1. UAV specifications

센서 탑재체로 광학카메라, GPS/INS 센서로 구성된 멀티센서 시스템을 채택하였으며 카메라의 제원은Table 2와 같다. 촬영에 사용된 광학카메라는 Sony사의A7 II이며 500 m 이하 고도에서 8.5 cm 이하의 지상해상도를 가진 고해상도 영상을 취득할 수 있다. GPS/INS는Apx-15이며 표준 측위 서비스(SPS, Standard PostioningService) 기반으로 데이터를 취득할 시 1.5~3.0 m의 위치정확도와 약 0.3 도의 자세 정확도를 갖는 데이터를 획득할 수 있다.

Table 2. Specification of the Optical Camera (Sony A7 II)

(3) 데이터 취득 결과

대상 지역에서 상기 무인항공기 시스템을 이용하여2016년 9월 22일과 9월 23일에 데이터를 취득하였다. 데이터 취득 당시 정확도 검증을 위하여 GPS 수신기를 탑재한 선박을 운항하였다. Fig. 5와 같이 3가지 고도에서 촬영 비행이 이루어졌으며, 각 미션에 대한 정보는Table 3에서 확인할 수 있다. 모든 비행은 6개의 스트립으로 구성된 비행경로를 가지며, 각 스트립간의 횡중복도는 약 60%이다. 광학영상은 무인항공기 이륙 시점부터 착륙 시점까지 비행 전반에 걸쳐 취득되었으며 얻어진 영상 중 일부에서는 초점이 흔들려 객체가 흐릿하게 나타나는 현상이 발생하였다. 따라서 보다 정확한 데이터 처리를 수행하기 위해 시각적으로 흐릿하게 나타난 영상을 분류하여 제외하였다.

Fig. 5. Flight path of UAV photography.

Table 3. Flight information of UAV photography

2) 영상 지오레퍼런싱 결과

(1) 시스템 캘리브레이션 결과

지상 기준점 측량이 용이한 항구 지역에서 200 m 고도에서 촬영된 영상 9장과 350 m 고도에서 촬영된 영상 9장, 영상이 촬영된 시각과 동기화된 GPS/INS 데이터,GCP 12개를 이용하여 시스템 캘리브레이션을 수행하였다. 입력 영상의 배치와 GCP의 분포는 Fig. 6에서 확인할 수 있으며, 파란색의 사각형들은 영상을, 노란색 점들은 GCP를, 간색점들은 정확도 확인 시 이용한 검사점을 나타낸다.

Fig. 6. Distribution of input data (images, GCPs, CPs). Blue boxes and Yellow dots, red dots are meaning images and GCPs, CPs respectively.

GCP를 이용한 번들블록조정의 결과 CP에 대한 RMSE(Root Mean Square Error)가 X축 11.7 cm, Y축 16.0cm, Z축 16.9 cm를 나타내었으며, 정밀하게 결정된 영상의 외부표정요소와 동일 시점의 GPS/INS 데이터의 차이를 이용하여 자세와 관련된 탑재변수를 추정하였다. 그 결과 산출된 회전각과 회전행렬은 Table 4와 같다. 회전각의 kappa 값으로부터 영상이 90도 이상 회전하였음을 확인할 수 있다.

Table 4. Determined bore-sight by system calibration

(2) 직접 지레퍼런싱 결과

광학영상과 동일한 시각에 취득된 GPS/INS 데이터와 탑재변수를 이용하여 영상 지오레퍼런싱을 수행하였다. GPS/INS 데이터 중 자세 정보에 회전각으로 표현된 탑재변수를 일괄적으로 곱하여 개별 영상의 외부표정요소를 계산하였다. 지오레퍼런싱 결과의 정확도는 GPS/INS 데이터를 이용해 영상 매칭을 수행한 결과와 지오레퍼런싱된 EO를 이용하여 영상 매칭을 수행한 결과를 CP에 대한 RMSE로 비교하여 정확도 평가를 수행하였다, 입력 값은 시스템 캘리브레이션에 사용된 영상 18장이다. 초기의 GPS/INS 데이터를 이용해 영상매칭을 수행한 결정한 경우 RMSE가 x축 22.8 m, y축45.6 m, z축 389.6 m로 영상 매칭을 성공적으로 수행하지 못하였다. 이는 카메라의 kappa값이 영상의 자세와90도 이상 차이가 있어 나타난 현상이다. 직접 지오레퍼런싱된 EO를 이용한 경우 x축 1.72 m, y축 1.76m, z축4.52 m의 오차로 총 5.15 m의 RMSE를 나타내었다.

3) 선박 탐지 결과

200 m, 350 m, 500 m 고도에서 촬영된 영상들에 대해 선박탐지 알고리즘을 적용하여 선박을 탐지하였다. Fig. 7은 선박탐지에 이용된 영상 중 하나이며 알고리즘수행 결과는 Fig. 8과 같이 나타난다. (a), (b) 과정에서 영상의 색 공간 변환을 수행한 후 LAB 중 두 번째 채널을 추출하였고. 이후 영상에 가우시안 필터링을 수행하여 노이즈를 제거하고, 그래디언트를 계산하였다. (d)는 Otsu의 방법에 의해 계산된 임계값을 이진 분할한 결과이며, (e), (f)는 객체로 탐지된 영역의 내부를 채워 블롭을 생성하고 색 라벨을 부여한 결과이다. 선박탐지 과정을 통해 탐지된 선박의 영상좌표는 Fig. 9과 같이 나타난다.

Fig. 7. Original image.

Fig. 8. Samples of whole ship detection process. (a)Lab color space conversion image. (b) Lab 2nd channel image. (c) Gaussian filtered result. (d) Binary image (e), (f) Holes filling and object labeling result.

Fig. 9. A sample of ship detection result.

4) 선박 위치 정확도 분석

측정된 선박의 영상 좌표와 영상의 외부표정요소, 해수면 높이를 이용하여 선박의 위치를 결정하였으며, 결정된 위치의 정확도를 분석하였다. 각 고도 별로 연속적으로 선박이 탐지된 경우를 기준으로 데이터 셋을 분류하였다. 200 m, 350 m, 500 m의 고도 데이터에서 선박이 연속적으로 탐지된 횟수는 각각 2, 3, 3회로 총 8개의 셋으로 분류될 수 있다.

각 데이터 셋마다 선박의 위치를 결정하여 선박에 탑재된 GPS 수신기의 정보와 비교하여 가시적으로 확인하였다. Fig. 10은 200 m 고도에서 취득한 데이터로부터 탐지된 선박의 위치와 경로를 보여주고 있다. 노란색 핀은 무인항공기 데이터로부터 탐지된 선박의 위치를 나타내며 옆에 명시된 라벨은 해당 선박이 탐지된 영상의 취득 시각을 의미하고, 붉은색 선은 선박에 탑재된 GPS데이터로 산출한 이동 경로를 나타낸다. 무인항공기 영상 기반으로 탐지된 선박의 위치와 참조 데이터로 산출한 이동 경로가 유사한 것을 확인할 수 있다.

Fig. 10. Ship’s track at 200 m.

8개의 모든 데이터 셋에서 탐지된 선박의 위치와 참조 데이터로 결정된 선박의 위치를 Fig. 11에서 보여주고 있다. 노랑 핀과 빨간 선이 무인항공기 데이터에 의하여 결정된 선박의 위치와 이동 경로이며, 녹색 핀과 파란 선이 선박의 GPS 데이터에 의하여 결정된 선박의 위치와 이동 경로이다. 선박의 GPS 데이터는 선박에GPS 수신기(Garmin Montana 650t)를 탑재하여 15m 이내의 정확도로 1초 주기로 취득되었다. 영상의 취득 시각과 GPS 데이터 취득 시각이 달라 가장 비슷한 시각에 취득된 데이터에 대해 매칭을 수행하였으며 평균적으로 0.3초 이내의 시간으로 태깅되었다. 무인항공기 데이터에 의한 선박의 위치와 GPS 데이터에 의한 선박의 위치가 완벽히 일치하지는 않지만 이동경로를 살펴보았을 때 이동방향이 유사하게 나타났다. 예외적으로 Fig.11 (C3)은 선박이 정지상태에서부터 이동한 경우로 위치결정 결과에서는 선박이 이동한 것으로 보이지만 실제 선박은 정지해 있다. 이 경우는 위치결정 오차가 나타난 것으로 선박의 GPS 위치와 약 11 m 정도의 차이를 보인다.

무인항공기 데이터에 의한 선박의 위치와 GPS 데이터에 의한 선박의 위치 간의 차이에 대한 평균, 표준편차,RMS을 계산하여 정량적으로 분석하였다. Table 5는 고도 별로 탐지된 선박의 위치와 GPS 신호로 결정된 위치 간 차이를 X좌표와 Y좌표로 나누어 평균, 표준편차,RMS를 계산한 결과이다. 선박 위치 차이의 평균은 결정된 위치의 편위를 나타내며, 표준편차는 위치 차이간의 편차의 정도를 의미한다. 또한 RMS는 위치 차이가 평균적으로 어느 정도의 크기를 갖는지를 보여준다.200 m 영상을 이용하여 선박의 위치를 계산한 결과 가장 GPS의 위치정보와 유사하게 나타났다. X축의 편위, 표준편차, RMS는 각각 1.238 m, 1.668m, 2.155 m이었으며,Y축에서는 각각 0.682 m, 1.003 m, 2.155 m이었다. 350 m영상으로부터 결정된 선박의 위치는 X축의 편위, 표준편차, RMS는 각각 1.026 m, 2.406 m, 2.947 m이었으며, Y축에서는 -1.231 m, 3.773 m, 4.285 m로 나타났다. 500 m영상으로부터 선박 탐지 결과 X축의 편위가 0.638 m, Y축의 편위가 -2.877 m로 나타났으며 표준 편차는 X축1.885 m, Y축 6.579 m, RMS는 X축 2.463 m, Y축 8.254 m로 결정되었다. X축에서의 RMS는 모든 고도에서 2 m~3 m 사이에 결정되었으며, Y축은 고도에 따라 RMS가 커지는 경향을 보였다. Table 6은 고도 별로 결정된 선박의 위치와 GPS 신호로 나타난 위치 간 수평 차이에 대한 평균, 표준편차, RMS로부터 결정된 95% 총수평불확실도(THU, Total Horizontal Uncertainty)를 나타낸다. 국제수로기구(IHO,International Hydrographic Organization)의 수로측량기준(2008)에 따르면 95% 총수평불확실도는 95% 신뢰수준에서 측정된 물체의 위치의 불확실성을 의미한다. 위치의 불확실도는 수평 불확도에 대한 모든 불확도 요인을 결합하여 결정되며 식 (5)와 같다. X와 Y축 각각에 대한 평균과 표준편차를 불확도 요인으로 상정하여 계산하였다.

Table 5. Positioning result of the ship based on UAV Multi-sensor system

Table 6. THU of the ship positioning results per individual set

\(\mathrm{THU}=\sqrt{M_{x}^{2}+M_{y}^{2}+\left(1.96 S_{x}\right)^{2}+\left(1.96 S_{y}\right)^{2}}\)       (5)

where M_x, M_y: Mean of the positioning results

S_x, S_y: Standard deviation of the positioning results.

국내에서 준수하고 있는 국제수로기구의 수로측량 최소기준을 Table 7에서 요약하고 있다. 제시된 기준은 특히 향해에 중요한 해안선이나 지형에 대해 높은 정확도를, 상대적으로 덜 중요한 것에 대해 낮은 정확도를 설정하고 있다. 200 m 데이터로부터 결정된 선박의 위치 총수평불확실도는 4.068 m로 항해에 중요한 해안선이나 지형 항목의 2등급을 만족하며, 항해에 덜 중요한 항목에서는 특등급을 만족한다. 350 m, 500 m 데이터의 경우는 각각 8.916 m, 13.734 m로 항해에 덜 중요한 항목에서 각각 특등급, 1a등급을 만족하였다.

Tale 7. Minimum Standards for Hydrographic Surveys(95% Confidence level)

4. 결론

본 연구에서는 무인기 기반 선박 감시 체계 개발 중무인항공기 멀티센서 시스템 기반의 선박위치결정 방법을 제시하였다. UAV 시스템으로부터 취득한 데이터로 시스템 캘리브레이션을 수행하여 탑재 변수를 산출하였고, 탑재변수와 GPS/INS 데이터를 영상 지오레퍼런싱을 통하여 영상의 외부표정요소를 결정하였다. 영상의 외부표정요소와 해수면높이 그리고 선박탐지 결과로 얻어진 영상좌표를 공선조건식을 이용해 영상상에 나타난 선박의 위치를 결정하였다. 선박의 위치를 정성적으로 확인하였을 때 결정된 선박의 이동 경로가 실제 경로와 유사하게 나타났으며 정량적으로는 총수평불확실도가 200 m에서 4.068 m, 350 m에서 8.916 m, 500m에서 13.734 m로 결정되었다. 수로측량규정에 따르면 항해에 중요한 해안선과 지형 위치 항목에서 200 m 경우는 2등급을 만족하고 있다. 항해에 덜 중요한 항목에서 200 m, 350 m 경우는 특등급을 만족하고, 500 m 는 1a등급을 충족한다. 전반적으로 선박위치결정 결과가 해양 환경에서 수로측량기준에 부합하는 정확도를 갖는 것으로 판단된다. 제시된 선박 탐지 및 위치 결정 방법은 무인항공기 기반 선박감시에 효과적으로 활용될 수 있을 것이며, 향후 위성, 해안가 레이다 시스템 등과 통합적으로 운영되어 국가 광역 해양 감시망 구축에 기여할 수 있을 것이다.

본 연구의 실험 결과에서는 시스템 캘리브레이션 오차가 직접 지오레퍼런싱 정확도에 영향을 끼쳤며, 탐지된 선박의 위치 정확도를 평가하기 위한 레퍼런스 데이터의 취득 주기가 1Hz라 시험 영상의 취득 시각과 레퍼런스로 활용된 GPS 신호의 정밀한 시각 동기화가 어려웠다. 추후 연구에서는 시스템 캘리브레이션 방법을 개선하여 정확도를 개선시키고, 보다 정밀한 레퍼런스 데이터를 취득하여 정확도 평가에 활용할 수 있을 것이다.