A Study to Improve the Accuracy of Segmentation and Classification of Mosaic Images over the Korean Peninsula

한반도 모자이크 영상의 분할 및 분류 정확도 향상을 위한 연구

Abstract

In recent years, as the demand of high-resolution satellite images increases due to the miniaturization and constellation of satellites, various efforts to support users to utilize satellite images more conveniently are performed. Accordingly, the Korea Aerospace Research Institute produces and provides mosaic images on the Korean Peninsula every year to improve the convenience of users in the public sector and activate the use of satellite images. In order to increase the utilization of mosaic images on the Korean Peninsula, a study on satellite image segmentation and classification using mosaic images was attempted. However, since mosaic images provide only R, G, and B bands and processes such as image sharpening and color balancing are applied, there is a limitation that the spectral information of original images is distorted, so various indices were extracted and classified using R, G, and B bands to compensate for this. As a result of the study, the accuracy of image classification results using only mosaic images was about 72%, while the accuracy of image classification results using indices extracted from R, G, and B bands together was about 79%. Through this, it was confirmed that when performing image classification using mosaic images on the Korean Peninsula, the image classification results can be improved if the indices extracted from R, G, and B bands are used together. These research results are expected to be applied not only to mosaic images but also to images in which spectral information is limited or only R, G, and B bands are provided.

최근 들어 위성의 소형화 및 군집화로 인해 고해상도 위성영상의 수요가 증가함에 따라 사용자가 보다 쉽게 위성영상을 활용할 수 있도록 지원하기 위한 다양한 노력들이 이루어지고 있다. 이에 한국항공우주연구원에서는 공공분야 사용자의 편의성을 향상시키고 위성영상 활용을 활성화하기 위하여 매년 한반도 모자이크 영상을 제작하여 제공하고 있다. 이러한 한반도 모자이크 영상의 활용도를 높이기 위하여 모자이크 영상을 활용한 위성영상 분할 및 분류 연구를 수행하고자 하였다. 그러나 모자이크 영상은 R, G, B 밴드만 보유하고 있고, 영상 융합 및 컬러 밸런싱 등의 과정을 적용하였기 때문에 분광 정보에 왜곡이 존재한다는 한계점이 있어 이를 보완하고자 R, G, B 밴드를 활용하여 다양한 지수를 추출하여 영상 분할 및 분류에 적용하였다. 연구 결과, 모자이크 영상만을 활용한 영상 분류 결과의 정확도는 약 72%인 반면, R, G, B 밴드에서 추출한 지수를 함께 활용한 영상 분류 결과의 정확도는 약 79%로 나타났다. 이를 통해 한반도 모자이크 영상을 활용하여 영상 분류를 수행할 때 R, G, B 밴드에서 추출한 지수를 함께 활용할 경우 영상 분류 결과를 향상시킬 수 있다는 것을 확인할 수 있었다. 이러한 연구 결과는 모자이크 영상뿐만 아니라 분광 정보가 왜곡되거나 R, G, B 밴드만을 제공하는 영상에도 적용될 수 있을 것으로 기대된다.

1. 서론

가용할 수 있는 위성의 숫자가 전 세계적으로 급증하는 것과 더불어, 최근에는 위성의 소형화와 군집화가 세계적인 트렌드로 자리잡고 있다(Hicks and Niederstrasser, 2016; Miles et al., 2016). 이에 따라 위성영상에 대한 수요도 증가하고 있으며 사용자가 보다 쉽게 위성영상을 활용할 수 있도록 지원하기 위하여 ARD(Analysis Ready Data) 영상을 제작하여 제공하는 등 다양한 노력들이 이루어지고 있다(Giuliani et al., 2017; Dwyer et al., 2018). 한국항공우주연구원에서는 공공분야 사용자 지원을 위하여 위성정보활용협의체를 운영하고 있으며, 협의체 사용자들에게 매년 한반도 모자이크 영상을 제작하여 배포하고 있다. 이러한 모자이크 영상은 KOMPSAT-2, KOMPSAT-3, KOMPSAT-3A 및 해외 위성영상을 활용하여 제작되기 때문에 다양한 센서에서 취득된 영상 일 뿐만 아니라 영상 융합, 모자이크 및 컬러 밸런싱 과정을 거치면서 원래의 분광 정보가 왜곡되어 있다는 특징이 있다. 더불어 R, G, B 밴드만 제공하기 때문에 이를 활용하여 높은 정확도로 영상을 분류하는 데 한계가 있다. 이러한 한계점은 영상을 분류할 때 각 밴드의 고유한 분광정보를 활용한다는 측면에서, 원본 광학 영상을 활용하는 것보다 모자이크 영상을 활용한 분류의 정확도가 낮아질 수 있다는 취약점이 될 수 있다. 이와 유사한 연구 결과는 Moon and Lee (2019)의 결과에서 찾아볼 수 있는데, 해당 연구 결과에 따르면 모자이크 영상의 분류 정확도가 KOMPSAT-3 영상의 분류 정확도 보다 약 13% 낮게 나타났다. 따라서 모자이크 영상의 활용도를 높이고 현업에 활용하기 위해서는 모자이크 영상의 분할 및 분류 정확도를 높이기 위한 추가적인 연구가 필요한 상황이다.

따라서 본 연구에서는 모자이크 영상을 활용하여 분할 및 분류를 수행함에 있어 정확도를 높일 수 있는 방법이 무엇인지 알아보고자 하였다. 특히 모자이크 영상이 R, G, B 밴드만 제공한다는 특성을 감안하여 해당 밴드들을 활용하여 다양한 지수들을 추출하여 영상을 분류한 선행 연구 사례를 분석해 보았다. Upadhyay et al. (2016)의 연구에서는 R, G, B 밴드로부터 추출한 지수들을 이용하여 수계, 식생, 시가지, 도로 등을 추출해냈고, Ayhan and Kwan (2020)은 식생 중에서도 나무, 관목, 초지를 분류하는데 성공하였다. 이외에도 영상에서부터 RGB 색상, 질감 등의 정보를 추출하여 영상을 분류하기 위한 연구들이 있었으나, 대부분의 연구들은 원격탐사 분야가 아니라 주로 컴퓨터 비전의 측면에서 다루어지고 분석된 연구 결과들이다(Cheng and Chen, 2003; Hiremath and Bhusnurmath, 2014). 따라서 앞서 언급한 선행 연구에서 제시한 지수들이 모자이크 영상에 적용이 가능한지, 그리고 모자이크 단일 영상의 분할 및 분류 결과와 비교하여 모자이크 영상의 정확도를 높일 수 있는지 확인해보고자 하였다.

2. 연구지역 및 자료

본 연구에서는 세종특별자치시와 대전 유성구 일대를 포함하고 있는 2019년도 모자이크 영상을 활용하였다. 모자이크 영상은 KOMPSAT-2, KOMPSAT-3, KOMPSAT3A 영상뿐만 아니라 KOMPSAT 위성으로 유효 영상을 획득하지 못한 지역에 대해서는 해외 위성영상도 함께 활용하여 제작된다. 이러한 모자이크 영상은 영상 융합, 정사보정 및 컬러 밸런싱 등의 단계를 거쳐 제작된 후도엽 단위로 절취해서 배포하며, 본 연구에서 활용한 영상의 도엽 번호는 367101이다. 연구지역의 범위는 약 12 ×14 km로 면적은 약 175 km²이며, Fig. 1이 연구지역에 대한 위치와 범위를 보여주고 있다.

Fig. 1. Study Area.

Table 1은 본 연구에 활용된 모자이크 영상의 제원을 정리한 것이다. 모자이크 영상의 특성상 2019년도에 촬영된 구름이 없는 KOMPSAT 광학 영상을 활용하여 제작되었기 때문에 한 시기에 촬영된 것이 아니며, 공간 해상도를 KOMPSAT-2 위성영상과 일치시키기 위하여 1 m로 리샘플링되어 있는 것이 특징이다.

Table 1. Specifications of satellite data

3. 연구방법

우선 한국항공우주연구원에서 제공하는 한반도 모자이크 영상은 이미 모든 전처리 과정을 마치고 정사보정까지 완료된 영상이기 때문에 별도의 전처리 과정은 필요하지 않았다. 따라서 전처리 과정을 생략한 후 영상 분할 및 분류를 수행하였으며, 영상 분할 및 분류를 위해 eCognition Developer 10.1을 활용하였다.

1) 영상 분할

위성영상의 공간 해상도가 점점 향상되고 초고해상도화 됨에 따라 과거 화소 기반의 분류 기법보다 객체 기반 분류 방법을 활용하는 사례가 점차 증가하고 있으며(Liu and Xia, 2010), KOMPSAT 광학 위성영상도 1 m이상의 고해상도 영상을 제공하기 때문에 객체 기반 분류 방법을 적용한 연구가 활발히 이루어지고 있다 (Ozdarici-Ok and Akyurek, 2014; Lee et al., 2018). 본 연구에 활용된 모자이크 영상의 공간 해상도도 1 m이기 때문에 객체 기반 분류를 수행하고자 하였으며, 이를 위하여 우선 영상 분할을 수행하였다.

영상 분할은 유사한 특성을 가진 화소들을 그룹화하여 하나의 객체로 만들어주는 과정이며, 분류에 적절한 단위의 객체로 분할하기 위해서 사용자가 파라미터 값을 설정해야 한다. eCognition Developer에서는 scale parameter, shape, compactness의 값을 설정하여 영상을 분할할 수 있으며, 연구자료 및 목적에 적합한 크기의 객체가 형성될 때까지 사용자가 해당 파라미터의 값을 조정해야 한다. 본 연구에서는 육안 판독을 거쳐 scale parameter 50, shape 0.1, compactness 0.5로 설정하여 영상 분할을 수행하였다.

무엇보다 본 연구에서는 R, G, B 밴드를 조합하여 추출한 지수들을 활용하는 것이 모자이크 영상의 분할 및 분류 정확도를 높여줄 수 있는지 확인하고자 하였다. 서론에서 언급한 선행 연구들 중에서도 Upadhyay et al. (2016)의 연구에서는 R, G, B 밴드를 조합하여 다양한 지수들을 추출하는 방법을 제안하였다. 아래의 식은 Upadhyay et al. (2016)이 제안한 지수들이며, 본 연구에서 도 아래의 식을 활용하여 지수들을 추출한 후 모자이크 영상과 함께 영상 분할 및 분류를 수행하였다.

\(\text { Vegetation Index(VI) }=\frac{B L U E+R E D-G R E E N}{B L U E+R E D+G R E E N}\)       (1)

\(\text { Water Index(WI) }=\frac{R E D-B L U E+G R E E N}{B L U E+R E D+G R E E N}\)       (2)

\(\text { Builtup Index }(\mathrm{BI})=\frac{B L U E+G R E E N-R E D}{B L U E+R E D+G R E E N}\)       (3)

위에서 추출한 지수들은 모자이크 영상과 함께 영상 분할 및 분류에 활용하였으며, 위 지수들을 활용하지 않고 분석한 분류 결과와 정확도를 비교하였다.

2) 영상 분류

본 연구에서 수행한 영상 분류는 환경부의 토지피복 분류체계 중에서 대분류를 기준으로 수행하였다. 환경부의 대분류 토지피복은 7개(시가화/건조지역, 농업지역, 산림지역, 초지, 습지, 나지, 수역)로 구성되어 있으나, 본 연구에 활용된 영상의 계절적 특성상 습지를 개별 피복으로 분류하기 어려워 습지를 제외한 6개의 토지피복을 기준으로 영상 분류를 수행하였다

영상 분류는 eCognition Developer에서 제공하는 감독 분류 기법 중에서 Random Tree 기법을 활용하였다. 우선 6개의 토지피복별 샘플을 추출한 후 Random Tree 모델을 생성하여 트레이닝 과정을 수행하였으며, 이후 해당 모델을 활용하여 분류 과정을 수행하였다. 이후 모자이크 영상만 활용한 분류 결과와 모자이크 영상 및 VI, WI, BI 지수들을 함께 활용한 분류 결과를 비교하였다.

또한 영상 분류 후 그 결과를 정량적으로 비교하기 위해서는 정확도 평가가 이루어져야 한다. 따라서 영상 분류 결과에 대해 정확도 평가를 수행하였다.

4. 연구결과

1) 영상 분류 결과

모자이크 영상의 분류 결과는 Table 2에 요약되어 있다.

Table 2. Classification result

영상 분류 결과를 비교해보면 모자이크 영상만 활용한 분류 결과에서 수역이 과대 분류되는 경향이 있는 것으로 나타났다. 수역을 제외한 나머지 토지피복 유형들은 모자이크 영상만 활용한 분류 결과보다 모자이크 영상 및 지수를 활용한 분류 결과에서 보다 높게 나타나는 것을 확인할 수 있었다.

Fig. 2는 모자이크 영상의 분류 결과를 비교한 것으로, 한 눈에 보더라도 모자이크 영상만 활용하여 분류한 영상에서는 산림 및 초지 지역이 수역으로 오분류 되는 경향이 크다는 것을 확인할 수 있었다.

Fig. 2. Classification result map.

Fig. 3은 영상 분류 결과를 확대한 것으로 Site 1은 산림이 주된 지역, Site 2는 시가화 혼합 지역, Site 3은 수역을 캡처한 것이다. 원본 영상과 비교하여 모자이크 단일 분류 영상에서는 산림 및 시가화 지역이 수역으로 오분류 되는 경향이 있는 것을 확인할 수 있었다. 특히 모자이크 단일 분류 영상에서 산림 및 시가화 지역을 수역으로 오분류하는 경향이 영상 전반에 걸쳐 확인되기 때문에 상대적으로 수역의 면적이 크게 산출된 이유로 해석된다. 반면 Site 3 지역에서는 모자이크 단일 분류 영상에서 일부 수역이 산림으로 오분류 된 것을 확인할 수 있었다.

Fig. 3. Comparison of classification results.

2) 정확도 평가 결과

영상 분류 결과의 정확도 평가는 TTA(Test andTraining Area) 마스크 레이어를 생성하여 정확도를 평가하는 기법을 활용하였으며, Table 3은 두 분류 결과의 정확도 평가 결과를 정리한 것이다.

Table 3. Accuracy assessment result

정확도 평가 결과, 모자이크 단일 영상 분류 결과의 정확도는 71~74% 대의 결과를 보여주고 있으며, 모자이크 영상 및 지수를 활용한 분류 결과의 정확도는 77~82% 대의 결과를 나타내고 있다. 두 분류 결과의 전체 정확도는 모자이크 단일 영상 분류 결과가 72.37%로 나타난 반면, 모자이크 영상 및 지수를 활용한 분류 결과는 79.41%로 좀 더 높게 나타났다.

지금까지의 육안 분석 및 두 분류 결과의 정확도를 분석한 결과, 모자이크 단일 영상만 활용하여 분류한 결과보다 모자이크 영상과 지수들을 함께 활용하여 분석한 분류 결과가 좀 더 높게 나타난 것을 확인할 수 있었다. 따라서 R, G, B 밴드에서 추출해 낸 정보들을 융합하여 모자이크 영상과 함께 활용한다면 모자이크 영상처럼 원래의 분광 정보가 왜곡된 영상을 분석할 때 분류 정확도를 향상시킬 수 있을 것으로 기대된다.

5. 결론

본 연구에서는 한반도 모자이크 영상의 분할 및 분류 결과 정확도를 향상시킬 수 있는 방법을 확인해보고자 하였다. 이를 위하여 모자이크 단일 영상 분류 결과와 R, G, B 밴드를 활용하여 추출해 낸 지수를 함께 적용한 분류 결과를 비교 분석하였다. 2019년 제작된 한반도 모자이크 영상을 활용하였으며, 모자이크 영상만 활용한 분류 결과에서 수역이 과대 분류되는 경향이 있는 것으로 나타났다. 특히 산림 및 초지가 수역으로 오분류 되는 경향이 영상 전반에 걸쳐 나타나면서 수역이 과대 분류되는 것으로 해석되었다.

좀 더 정량적인 분석을 위해 분류 정확도 평가를 수행한 결과, 모자이크 단일 영상 분류 결과의 정확도는 71~74% 대의 결과를 보여주었으며, 모자이크 영상 및 지수를 함께 활용한 분류 결과의 정확도는 77~82% 대로 나타났다. 두 분류 결과의 전체 정확도는 모자이크 단일 영상 분류 결과가 72.37 %로 나타난 반면, 모자이크 영상 및 지수를 활용한 분류 결과는 79.41%로 좀 더 높게 나타났다.

이를 통해 한반도 모자이크 영상을 활용하여 영상 분류를 수행할 때 R, G, B 밴드에서 추출한 지수를 함께 활용할 경우 영상 분류 결과를 향상시킬 수 있다는 것을 확인할 수 있었다. 이러한 연구 결과는 모자이크 영상 뿐만 아니라 분광 정보가 왜곡되거나 R, G, B 밴드만을 제공하는 영상에도 적용될 수 있을 것으로 기대된다. 또한 본 연구에서 활용한 지수 외에도 R, G, B 밴드의 다양한 조합을 통해 유의미한 정보를 추출해내고 이를 활용하여 영상 분류 결과의 정확도를 향상시키는 등 관련 연구를 지속해 나가는 것이 필요하다. 이를 통해 추후 모자이크 영상 및 분광 정보가 왜곡된 영상의 활용도를 높이고 사용자가 쉽게 영상을 활용할 수 있을 것으로 기대된다.