Sea Fog Level Estimation based on Maritime Digital Image for Protection of Aids to Navigation

항로표지 보호를 위한 디지털 영상기반 해무 강도 측정 알고리즘

Abstract

In line with future changes in the marine environment, Aids to Navigation has been used in various fields and their use is increasing. The term "Aids to Navigation" means an aid to navigation prescribed by Ordinance of the Ministry of Oceans and Fisheries which shows navigating ships the position and direction of the ships, position of obstacles, etc. through lights, shapes, colors, sound, radio waves, etc. Also now the use of Aids to Navigation is transforming into a means of identifying and recording the marine weather environment by mounting various sensors and cameras. However, Aids to Navigation are mainly lost due to collisions with ships, and in particular, safety accidents occur because of poor observation visibility due to sea fog. The inflow of sea fog poses risks to ports and sea transportation, and it is not easy to predict sea fog because of the large difference in the possibility of occurrence depending on time and region. In addition, it is difficult to manage individually due to the features of Aids to Navigation distributed throughout the sea. To solve this problem, this paper aims to identify the marine weather environment by estimating sea fog level approximately with images taken by cameras mounted on Aids to Navigation and to resolve safety accidents caused by weather. Instead of optical and temperature sensors that are difficult to install and expensive to measure sea fog level, sea fog level is measured through the use of general images of cameras mounted on Aids to Navigation. Furthermore, as a prior study for real-time sea fog level estimation in various seas, the sea fog level criteria are presented using the Haze Model and Dark Channel Prior. A specific threshold value is set in the image through Dark Channel Prior(DCP), and based on this, the number of pixels without sea fog is found in the entire image to estimate the sea fog level. Experimental results demonstrate the possibility of estimating the sea fog level using synthetic haze image dataset and real haze image dataset.

미래 해상 환경 변화에 맞춰 해상 항로표지가 다양한 분야에 걸쳐 활용되며 쓰임이 증대되고 있다. 해상 항로표지는 항행하는 선박의 위치, 방향 및 장애물의 위치를 알려주는 항행보조시설로, 현재는 단순히 선박의 안전 항해를 도울 뿐 아니라, 여러 센서와 카메라를 탑재하여 해양 기상환경을 파악하고 기록하는 수단으로 변모하고 있다. 하지만 주로 선박과의 충돌로 인해 소실되며 특히 해무로 인한 관측 시야 저하로 안전사고가 발생한다. 해무 유입은 항만, 해상교통 등에 위험을 초래하고 시간과 지역에 따라 발생 가능성의 차이가 커 예측이 쉽지 않다. 또한, 전 해역에 분포되어있는 항로표지의 특성상 개별 관리가 어렵다. 이를 해결하고자 본 논문에서는 항로표지에 설치된 카메라에서 촬영한 영상으로 해무 강도를 측정하는 방안을 통하여 해양 기상환경을 파악해 보완하고 날씨로 인한 항로표지 안전사고를 해결하는 것을 목적으로 한다. 설치가 어렵고 높은 비용이 드는 광학 및 온도 센서 대신 항로표지에 설치된 카메라의 일반 영상을 사용하여 해무 강도를 측정한다. 덧붙여 다양한 해역에서의 실시간 해무 파악을 위한 선행 연구로, 안개 모델(Haze Model), Dark Channel Prior(DCP)를 이용해 해무 강도 측정 기준을 제시한다. DCP를 적용한 영상에서 특정 픽셀값의 문턱값(Threshold value)을 설정하고, 이를 기준으로 전체 영상에서 해무가 존재하지 않는 픽셀의 수를 통해 해무 강도를 추정한다. 합성 해무 데이터셋과 실제 해무 동영상을 캡처해 만든 실제 해무 데이터셋으로 해무 강도 측정 여부를 검증했다.

1. 서론

항로표지란 항행하는 선박에 대하여 등광(燈光)ㆍ형상 (形象)ㆍ색채ㆍ음향ㆍ전파 등을 수단으로 선박의 위치ㆍ 방향 및 장애물의 위치 등을 알려주는 항행보조시설이다 [1]. 우리나라 항로표지수는 ′14년 기준 2.67마일당 1기 이나 ′24년까지 2.4마일당 1기로 확충 예정이며, 해상교통 환경 변화 및 4차 산업혁명 기술 발달에 대응해 항로 표지의 고도화 연구가 진행되고 있다[2,3]. 그러나 전 해역에 분포되어있는 항로표지의 특성상 개별 관리가 어렵고, 연평균 167건의 항로표지 사고가 발생하고 있다. 따라서 항로표지 안전사고 방지를 위한 대책이 필요하다. 항로표지 사고 대부분은 선박의 충돌로 인한 것으로 선장의 전방주시 미흡이나, 선박의 거대화로 인한 상대적 크기 차이로 발생한 사각지대, 해상의 날씨 변화로 인한 시야 저하가 있다. 본 논문은 기상 변화를 측정하여 날씨로 인한 항로표지 안전사고 문제를 해결하고자 한다.

해양 사고는 육상의 교통사고에 비해 날씨의 영향이 매우 크며 안개, 바람, 파도 등 기상 여건이 좋지 않아 시야가 제한되어 항행 안전 확보에 어려움으로 인해 발생한다. 특히 안개로 인한 시야 확보 거리가 1km 이내로 줄어드는 저시정 상태는 충돌 및 좌초되는 사고를 불러일으킨다. 최근 5년간(′16년~′20년) 해상 안개 사고는 선박 544척, 인명피해는 3652명에 이르며 해상 교통량이 증가함에 따라 더 늘어나는 추세이다[4]. 이를 위해 현재 광주 및 전남권 입·출항 항구를 중심으로 항로표지에 시정계와 CCTV로 구성된 해양시정관측 장비를 설치하고 있지만, 아직 부족한 실정이다. 따라서 안개 발생을 감지하고 위험 상황을 예측하기 위한 연구가 필요하다.

해상에서 발생하는 안개를 해무라 하며, 해무는 여러 안개 중 따뜻하고 습윤한 공기가 차가운 지표나 수면 위로 이동할 때 포화되어 발생하는 이류안개의 대표적인 현상이다. 연안 지역의 해무 유입은 공항, 해상교통 등에 위험을 초래하며, 시간과 지역에 따라 발생 가능성의 차이가 커 예측이 쉽지 않다. 현재 해무를 감지하기 위해서는 기상 라이다나 전방 산란식 시정계 같은 광학 및 온도 센서 등을 활용해 측정하는데, 그 비용이 천문학적이고 실시간 파악이 어려워 넓은 지역에 적용이 어렵다. 또한, 영상정보를 활용하더라도 위성영상이 주로 활용되고 있으며, 실제 해상의 안개를 확인하기 위해서는 관측자가 직접 해상에 나가 확인하거나 해안에 설치된 CCTV로 촬영 영상을 확인하는 정도이다.

따라서 본 논문에서는 항로표지에 설치된 카메라에서 촬영한 영상으로 해무 강도를 측정하는 방안을 제안한다. 영상을 기반으로 해무의 강도를 측정하기 위해 안개 모델 (Haze model)과 Dark Channel Prior(DCP)를 이용해 해무 강 도 판별 기준을 찾는다. 제안 기법은 크게 3단계로 나눠진다. 첫 번째로 항로표지에 설치된 카메라로 해상을 촬영해 입력 영상을 만든다. 두 번째로 안개 모델과 DCP 기반 해무 강도 측정 기준에 따라 입력 영상을 분류한다. 세 번째로 측정한 데이터를 저장해 그래프로 수치화한다. 결과적으로 측정 장비 비용을 절감하고, 다양한 해역에 설치가 가능해져 해역별 측정이 용이해질 것이며, 관측자가 촬영 영상을 보고 따로 판단을 내리는 과정을 없애기 때문에 실시간 감지가 가능할 것으로 예상된다.

2장에서는 관련 연구에 대해 소개하고 제안기법을 선택한 배경을 서술하며, 3장에서는 제안기법의 원리와 처리 과정에 대해 설명하고, 4장에서는 실험 배경 및 결과를 그 래프와 사진을 통해 보이며, 5장에서는 결론을 정리한다.

2. 관련 연구

2.1 영상기반 안개 관련 연구

현재 카메라를 활용한 비전 알고리즘이 항행 선박, 기계의 원격제어, 자율주행 차량 등 많은 곳에서 사용되고 있다[5,6]. 하지만 주로 맑은 날씨에서 촬영된 영상을 다루고 있어, 궂은 날씨로 인한 영상의 가시 저해 요소를 분석하고 해결하는 연구가 필요하다. 본 논문에서는 특히 항로표지 안전을 위해 해상에서 촬영된 안개 영상에 대해 다루며, 이와 관련한 연구를 먼저 소개한다.

안개는 관측자의 가시거리를 짧게 할 뿐만 아니라 비전 알고리즘의 작동에도 많은 영향을 미치므로, 영상에서 안개의 영향을 지우는 기법인 안개 제거 기술(Dehazing, Defogging) 알고리즘들이 개발되고 있다[7,8]. 이는 크게 2가지로 나눌 수 있는데, 첫째는 영상의 대비를 향상하는 기법으로, 화소 값에 따라 맵핑하거나[9], 개선된 부스트 (Improved high-boost) 알고리즘[10] 등이 있다. 안개 때문에 저하된 영상의 대비를 복원한다는 장점이 있지만, 안개로 인해 저하된 영상의 깊이는 고려하지 않으므로 너무 과도하게 대비를 높인다는 단점이 있다. 두 번째는 영상의 깊이를 추정하는 방식으로, Dark Channel[11]이나 이미지 특성 퓨전[8], 합성곱 신경망 기반 안개 제거 알고리즘 [12] 등이 있다. 이 방식은 대비와 색도를 모두 고려하여 영상에서 전달맵(Transmission map)이나 깊이맵(Depth map)을 추정한다. 하지만 현재 대부분의 Dehazing 알고리즘은 육상에서 촬영된 영상을 다루고 있어[13] 해상 영상을 다루는 연구가 더 필요하다.

해상에서 촬영된 안개, 즉 해무 관련 연구는 안개 영상의 대기 중 산란 특징을 정의하는데 가장 대중적으로 쓰이는 안개 모델[14]을 기반으로 연구되고 있다. Hu[15]는 해무 영상에서 광원에 대한 발광 효과를 제거하고 해무에 가려진 물체를 복구하는 광원 분해 알고리즘을 제안했다. 또 안개 모델을 기반으로 해무를 영상에서 지우는 것이 아닌, 해무로 인한 가시거리를 추정하고자 하는 연구도 이뤄지고 있다. Bae[16]는 해안이나 항만 등 넓은 지역에 대한 종합적인 가시 정보를 얻기 위해 DCP와 연안 지역 에 고정된 물체의 거리를 이용해 해무 아래에서 가시거리 추정 방법을 제안했다. Palvanov[17]는 심층 합성곱 신경망을 기반으로 해무 영상에서 가시거리를 추정하는 방안을 제안했다.

2.2 안개 영상 데이터셋

대부분의 영상 기반 안개 연구는 같은 장면에 대하여 안개 영상(haze image)과 안개가 없는 영상(clean image)의 쌍으로 이루어진 데이터셋을 사용한다. 하지만 실제 환경 에서 이를 촬영하는 것은 거의 불가능에 가깝기 때문에 주로 인공적으로 합성한 데이터셋을 이용한다. 그러나 일반 영상 데이테셋에 비해 안개 영상 데이터셋은 그 수와 종류가 매우 적으며, 또한 해무 영상 데이터셋은 거의 없다. 대부분 자율주행차량 관련 연구를 위한 도로 영상 데 이터셋이다. 도로 합성 안개 데이터셋의 예로, Tarel[18]은 도로 영상의 가시성 향상을 위해 가상의 안개가 없는 도로 합성 영상을 만들고, 이에 여러 유형의 안개를 추가하여 쌍으로 이루어진 데이터셋을 제안했다. Sakaridis[19]는 도로 영상의 의미론적 분할(Semantic segmentation)에서 좋은 성능을 얻기 위한 연구의 일환으로 의미론적 분할에 대한 Ground Truth를 만들고, 이에 안개를 합성한 데이터 셋을 활용했다. 해무 관련 연구에서는 해무가 없는 영상 없이 실제 해무가 촬영된 영상만을 사용해 연구하거나, 기존에 나와 있는 도로 합성 안개 데이터셋을 활용한다.

3. 해무 강도 측정 알고리즘

본 논문에서는 단일 안개 영상을 입력 영상으로 하여 해무 강도 측정 알고리즘을 통해 해무 강도를 추정하고자 한다. 이를 위해 해무 모델 및 DCP를 이용해 해무 구별 기준을 찾고, 그 기준에 따라 해무의 세기를 구분한다. 다양한 해역에 설치된 항로표지에 적용하기 위해 한정적인 전력을 효율적으로 사용할 수 있도록 간단한 방법으로 계 산하고자 하였다.

3.1 안개 모델(Haze model)

그림 1과 같이 물체에 반사된 빛과 태양과 같은 외부 광원의 빛이 대기에 산란되어 합쳐지고 그 일부가 우리 시야에 관찰되는 것을 안개라 한다. 이를 식으로 표현하 면 수식 1과 같다[14].

(그림 1) 안개 모델

(Figure 1) Haze Mode

\(I(x)=J(x)t(x) +A(1-t(x))\)       (1)

x는 영상에서 픽셀의 위치, I는 해무 영상(Haze image) 으로 실제 카메라로 촬영한 영상, J는 해무의 영향을 받지 않은 영상(Clean image), A는 해무를 통해 카메라에 들어온 대기의 빛(Air light), t는 카메라에 전달된 정도를 나타내는 전달 맵(Transmission map), \(t(x) = e^{-\beta d(x)}\)로 여기서 d는 카메라와의 거리, \(\beta\)는 산란 계수이다. 이는 단 일 영상기반 안개 제거 기술(Defogging)에 많이 이용된다. 하나의 안개 영상으로부터 다수의 안개 영향 없는 깨끗한 영상을 추정한다. 하지만 본 논문에서는 이를 이용해 해 무의 강도를 추정하고자 한다.

3.2 Dark Channel Prior(DCP)

안개가 존재하지 않는 픽셀들은 대부분 R(Red), G(Green), B(Blue) 세 채널 중에서 적어도 한 채널의 명도 값이 매우 낮은 경향을 보이며 이러한 경험적 가정에 의한 특징을 Dark Channel Prior(DCP)라 한다. 이때 명도 값이 가장 작은 채널을 Dark Channel(DC)이라 한다. 이를 식으로 표현하면 수식 2와 같다[11].

\(J^{d a r k}(x)=\min _{y \in \Omega(x)}\left(\min _{c \in(r, g, b)} J^{c}(y)\right)\)       (2)

J^c 는 영상의 강도, c는 컬러 채널, \(\Omega(x)\)는 영상의 픽셀 x를 중앙으로 n×n 로컬 패치를 의미한다. 실험 영상의 크기에 따라 다양하게 패치의 크기를 조절하여 적용이 가능하나, 본 논문에서는 임의로 10 × 10으로 실험했다.

3.3 해무 강도 측정 알고리즘

본 논문에서 제안하는 영상기반 해무 강도를 측정을 위한 알고리즘의 순서도는 그림 2와 같다. 기존의 안개 제거 알고리즘과 달리 안개의 영향을 없애 깨끗한 영상으로 복원하는 것이 아닌, 영상 속 안개의 영향이 얼마나 큰지를 주요 쟁점으로 다뤘다. 또 이를 다른 복잡한 연산을 사용하지 않고, 간단한 계산을 통해 해무 강도를 추정하여, 작은 배터리 용량을 가진 항로표지에도 적용하기 용이하도록 했다.

(그림 2) 해무 강도 측정 알고리즘 순서도

(Figure 2) Process of sea fog level estimation based on DCP

제안기법을 더 상세히 설명하자면, 일반 카메라로 촬영된 해무 영상에 제안기법을 적용하기 위해 가장 먼저 DCP 연산을 수행한다. 각각 R, G, B 채널을 따로 나누고, 세 채널에서 가장 작은 값만을 골라 저장하여 DC 영상을 만든다. 이때 작은 픽셀값은 영상의 픽셀 x를 중앙으로 하는 로컬 패치 안에서 가장 작은 값을 택하여 DCP 영상을 만든다. 이렇게 계산된 DCP 영상을 통해 대기에 산란된 외부 광원의 영향(Air Light)을 계산한다. DCP 영상의 픽셀값 중 가장 높은 상위 0.1% 값의 평균을 대기에 산란된 광원의 빛(Air Light)이라 하는데, 이때 오류를 줄이기 위해 입력 영상을 크게 10x10으로 나누고 각 영역의 분산을 구해 분산이 큰 상위 5개 영역에서 외부 광원의 값을 구하도록 제한한다. 마지막으로 구해진 대기에 산란된 광원의 값과 DCP 영상을 안개 모델에 대입하여 전달맵 (Transmission map)을 구한다.

안개 모델과 DCP 연산이 끝나면, 이때 구한 영상을 특정 문턱값(Threshold value)을 기준으로 나누어 전체 영상 대비 해무 영향이 없는 영역을 검출하여 해무 강도를 추 정한다.

모든 값을 구해 영상의 DCP값을 그래프로 그려보면 픽셀값이 특정 값을 기준으로 크게 높아지는 것을 볼 수 있는데, 이를 문턱값으로 정하고 그 값 이하의 픽셀 개수를 통해 해무 강도를 측정한다.

그림 3과 같이 안개 영상과 안개가 없는 영상의 픽셀값 을 비교해보면, 안개 영상은 픽셀값이 100 이하인 픽셀은 거의 존재하지 않는 것을 확인할 수 있다. 또한 안개가 없 는 영상에서도 픽셀값의 분포가 100에서 가파르게 변화하는 것을 확인할 수 있었다. 이를 통해 본 논문에서는 특정 문턱값을 0~255 사이의 값에서 100으로 설정하였다. 이 문턱값을 기준으로 그보다 작은 픽셀값을 갖는 모든 픽셀의 개수를 세 해무 강도를 추정하였다.

(그림 3) 특정 문턱값(Threshold value) 추정을 위한 안개 영상과 안개가 없는 영상의 픽셀값 비교

(Figure 3) DCP pixel value comparison between a fog image and a clean image for estimating a specific threshold value

4. 실험 및 성능평가

본 장에서는 실험 환경을 설명하고, 실험에서 사용한 데이터셋을 소개한다. 또한 제안기법으로 실제 해무 강도 예측 가능 여부에 관한 실험 결과를 제시한다.

4.1 실험 환경 및 데이터셋

본 논문에서는 CPU Intel(R) Xeon(R) W-2123 CPU @ 3.60Hz이고, RAM은 4G, 운영체제는 Windows 10.0-64bit, GPU 인 PC를 이용했고, 알고리즘 개발도구로는 Matlab을 사용했다. 데이터셋은 합성 데이터셋 FRIDA(Foggy Road Image DAtabase)[18]와 실제 해무 촬영 영상[20]을 캡처하여 데이터셋 SFD(Sea Fog Dataset)를 만들어 실험을 진행 했다.

FRIDA는 인공적으로 만든 깨끗한 도로 영상과 이에 여러 종류의 안개를 합성하여 만든 영상으로 구성된 데이터셋이다. 각각 No Fog, Cloudy Heterogeneous Fog, Cloudy Homogeneous Fog, Heterogeneous Fog, Homogeneous Fog를 나타내며 총 5가지이다. 즉, 하나의 깨끗한 영상에서로 다른 종류의 안개 4가지를 합성한 것으로 같은 영상 번호를 가진 5개의 영상의 장면은 동일하나 안개의 종류만 다른 영상이다. 이는 그림 4에 잘 나타나 있다. 영상의 해상도는 640x480으로 각 종류마다 18장씩 총 90장을 사용했다.

(그림 4) 합성 해무 데이터셋 FRIDA

(Figure 4) Synthetic haze dataset, FRIDA

SFD는 실제 해상에서 항행하고 있는 선박 주위로 해무가 관측될 때 촬영한 24fps의 동영상을 캡처하여 사용했다. 그림 5와 같이 안개 강도에 따라 총 3가지로 나눴는데, Light Fog, Dense Fog, Super Dense Fog이다. FRIDA 데이터셋과 달리 실제 해무를 촬영한 영상이므로 같은 번호의 영상이라도 장면이 완전히 동일하지 않고 약간의 차이가 존재하며, 동영상을 1fps 단위로 캡처하여 만든 데이터 셋이므로 장면의 다양성이 적다. 해상도는 1920x1080으로 각 25장씩 총 75장 사용했다.

(그림 5) 실제 해무 데이터셋 SFD

(Figure 5) Real sea fog dataset, SFD

실험을 통해 정한 문턱값 100을 기준으로, DCP 영상의 픽셀값이 100보다 작은 픽셀의 개수를 각 영상마다 비교했다. 먼저 그림 6에서 볼 수 있듯이, FRIDA 데이터셋 영 상 번호마다 장면이 다르므로 그래프의 모양이 더 비선형적이다. 하지만 해무 강도에 비례하여 그 차이가 확연히 구분됨을 확인할 수 있다. 안개가 없는 영상이 문턱값 100 보다 작은 픽셀의 개수가 가장 많고, 그 다음으로 불균일 혼합된 안개(Heterogeneous fog) 영상들이 픽셀 개수가 많으며, 균일 혼합된 안개(Homogeneous fog)가 픽셀 개수가 가장 적은 것을 알 수 있다.

(그림 6) FRIDA 해무 종류별 DCP 영상에서 픽셀값이 100 이하인 픽셀의 개수

(Figure 6) Number of pixels that DCP value under 100 in FRIDA

다음으로 그림 7과 같이, SFD 데이터셋은 영상 번호마다 장면이 크게 변하지 않기 때문에 그래프의 모양이 FRIDA 그래프와 비교하여 그래프의 기울기 변화가 크지 않다. 문턱값 100을 기준으로, DCP 영상의 픽셀값이 이보다 작은 픽셀의 개수를 각 영상마다 비교해보면, 실제 해무 데이터셋에서도 해무 강도에 비례하여 그 차이가 확연히 구분됨을 확인할 수 있다. 해무 강도가 가장 약한 Light fog 영상들이 그래프의 가장 위에 존재하며, 해무 강도가 세질수록 문턱값보다 작은 픽셀 개수가 줄어 하단에 존재하는 것을 볼 수 있다.

(그림 7) SFD 해무 종류별 DCP 영상에서 픽셀값이 100 이하인 픽셀의 개수

(Figure 7) Number of pixels that DCP value under 100 in SFD

이를 통해 합성 해무 데이터셋과 실제 해무 데이터셋 모두 해무를 적게 포함한 영상이 그래프 위쪽에 존재하고, 해무를 많이 포함한 영상일수록 아래에 존재함을 확인했다. 따라서 제안 알고리즘을 활용하면 그림 8과 같이 단일 카메라로 촬영된 영상만으로 해무 강도 측정이 가능하며, 기존 알고리즘에 비해 간단한 연산을 수행하므로 항로표지에 적용할 수 있을 것이다.

(그림 8) 제안기법 적용 데모 영상

(Figure 8) Demo images for suggested algorithms

5. 결론

본 논문은 항로표지의 안전사고를 줄이기 위해 단일 카메라 영상을 이용한 해무 강도 측정 알고리즘을 제안한다. 항로표지에 설치된 카메라를 통해 해양 영상정보를 입력받고, 취득된 영상정보를 활용해 항로표지 주변의 해상 상황을 관측하여 해무 강도를 파악한다. 온·습도 및 광학 센서를 활용하지 않고 해상에 이미 설치되어있는 카메 라의 영상으로 해무 강도 파악이 가능함을 확인했으므로, 정확도를 높이는 연구를 진행한다면 해역별 실시간 해무 강도 측정이 가능할 것으로 기대된다. 측정 장비 비용을 절감하고, 다양한 해역에 설치가 가능해져 해역별 측정이 용이해질 것이며, 관측자가 촬영 영상을 보고 따로 판단을 내리는 과정을 없애기 때문에 실시간 감지가 가능할 것으로 예상된다. 또한 추후에 통신 모듈을 부착하여 특정 위치에서 수집한 해무 강도 및 해상 기상 상황 정보를 사용자에게 제공하는 수단으로도 활용할 수 있을 것이다.

☆ 이 논문은 2021년 해양수산부 재원으로 해양수산과학기술진 흥원의 지원을 받아 수행된 연구임(스마트항로표지 현장시설 고도화, 20210636)