KOMPSAT Image Processing and Application

다목적실용위성 영상처리 및 활용

Abstract

In the past, satellite development required enormous budget and time, so only some developed countries possessed satellites. However, with the recent emergence of low-budget satellites such as micro-satellites, many countries around the world are participating in satellite development. Low-orbit and geostationary-orbit satellites are used in various fields such as environment and weather monitoring, precise change detection, and disasters. Recently, it has been actively used for monitoring through deep learning-based object-of-interest detection. Until now, Korea has developed satellites for national demand according to the space development plan, and the satellite image obtained through this is used for various purpose in the public and private sectors. Interest in satellite image is continuously increasing in Korea, and various contests are being held to discover ideas for satellite image application and promote technology development. In this special issue, we would like to introduce the topics that participated in the recently held 2022 Satellite Information Application Contest and research on the processing and utilization of KOMPSAT image data.

과거 위성개발에는 막대한 예산과 시간이 소요됨에 따라 일부 선진국만 위성을 보유하였으나, 최근 초소형위성과 같은 저예산 위성이 등장함에 따라 전 세계 많은 국가들이 위성 개발에 참여하고 있다. 저궤도 및 정지궤도 위성은 환경 및 기상 감시, 정밀변화탐지, 재난 등 다양한 분야에서 활용되고 있으며, 최근에는 딥러닝 기반의 관심 객체탐지 등을 통한 모니터링에도 활발히 이용되고 있다. 우리나라는 지금까지 우주개발계획에 따라 국가 수요의 위성을 개발하여 왔으며, 이를 통해 획득한 위성영상은 공공 및 민간에서 다양한 목적으로 활용되고 있다. 국내에서 위성영상에 대한 관심은 지속적으로 증가하고 있으며, 각종 아이디어 발굴 및 기술개발 촉진을 위한 다양한 경진대회도 개최되고 있다. 본 특별호에서는 최근 개최된 2022 위성정보활용 경진대회에 참여한 주제와 다목적실용위성 영상자료 처리 및 활용 연구에 대해서 소개하고자 한다.

1. 서론

우주개발 선진국인 미국은 1980년대부터 위성영상의 상업화 시도를 하였으며, 1992년에 ‘Land Remote Policy Act’ 개정을 통해 민간기업의 지구관측위성 운영 확대와 해외시장 진출을 장려하였다. 이러한 노력에 힘입어 오늘날 세계 최고 수준의 위성개발 기업과 위성영상 서비스 기업 대부분은 미국 기업들이다. 2000년대에 접어들면서 미국 정부의 재정지출 감축 정책과 맞물려 정부 주도의 우주개발 영역에 민간업체가 참여하기 시작하였으며, 과거 민간업체를 직접 지원하던 방식에서 벗어나 민간의 시스템과 서비스를 구매하여 활용하는 방식으로 변경되었다. 최근 미국은 지구관측위성 영상의 상업적 해상도를 완화하였는데, Umbra는 최대 15cm의 Synthetic Aperture Radar (SAR) 영상을 상용화할 수 있는 면허를 발급받았다(Euroconsult, 2021). 미국과 함께 전통적인 우주개발 강국인 유럽은 ESA를 중심으로 CNES(프랑스), DLR(독일) 등과 함께 다양한 위성 개발과 위성영상 활용을 추진하고 있으며, 코페르니쿠스 프로그램이 가장 대표적이다. 한편 일본은 2017년에 ‘위성원격탐사법’ 제정을 통해 위성영상의 이용 확대와 민간 활용을 독려하고 있으며, 제4차 우주정책기본계획을 통해 정부가 보유하고 있는 위성영상의 적극적인 공개와 산업육성을 위한 다양한 지원 프로그램을 발표하였다. 최근 지구관측위성은 다양화, 군집화 되고 있는 추세이며 전 세계 많은 국가의 민간 기업들이 위성을 개발하여 시장에 각종 영상 제품과 Artificial Intelligence(AI) 기반의 다양한 형태의 분석 서비스 등을 제공하고 있다. 과거 정부주도의 특정 목적 기반의 활용에서 벗어나 민간의 새로운 아이디어와 기술 접목을 통해 위성영상 활용분야는 빠르게 성장하고 있다. 지난 5년간 지구관측위성 영상의 상업시장 성장률은 약 5%였으며, 2030년까지 4% 성장하여 약 25억 달러를 넘을 것으로 예상하고 있으나, 위성영상을 이용한 부가서비스의 상업시장은 2030년까지는 약 7% 성장하여 50억 달러를 넘어설 것으로 추정되고 있다(Euroconsult, 2021).

우리나라는 1999년 12월, 다목적실용위성 1호 발사를 시작으로 지금까지 총 5기의 다목적실용위성을 발사하여 현재 3호, 3A호, 5호를 운영 중에 있다. 국내 최초의 실용급 지구관측위성인 다목적실용위성은 영상 처리, 분석 및 활용기술 개발 등과 관련한 다양한 연구에 활용되어 왔다(Jang and Park, 2022; Jin and Choi, 2021; Kang, 2020; Kim, 2022; Lee and Jeong, 2020; Yun et al., 2021; Park et al., 2021; Ye, 2021; Kim et al., 2021; Lee and Oh, 2020). 그러나 해외 위성영상 시장에서 우리나라가 차지하는 비중은 미약하며, MSIT (2021)에 따르면 원격탐사 매출액은 ’19년 대비 ’20년에 소폭 감소하였으며, 위성활용 서비스 및 장비 분야 전체 매출액에서 원격탐사 분야 매출액은 약 39% 수준인 것으로 나타났다. 이와 같이 국내 위성영상 활용 시장은 단순 영상 판매 및 가공 중심의 공공 수요에 의존하는 저 부가가치 산업구조이며, 해외와 같은 부가서비스 산업은 매우 취약하다.

오늘날 위성의 공간해상도 및 재방문 주기 향상과 더불어 AI 기술의 발전은 다양한 위성영상 부가서비스 시장 창출로 이어지고 있다. 전 세계 많은 국가, 학회 및 기관 등에서 SpaceNet과 같은 AI 딥러닝 기술을 이용한 위성영상 처리, 분석 기술개발을 위한 경진대회를 개최하고 있으며 영국, 일본 등은 자국의 위성영상 활용 산업 촉진을 위한 기술 경진 대회를 통해 기술 산업화 지원도 수행하고 있다. 국내에서도 환경, 지질, 국방 분야 등에서 위성영상 활용 아이디어 발굴 등을 위한 경진대회가 개최되고 있으며, 최근에는 과학기술정보통신부가 주최하고 한국항공우주연구원에서 주관한 2022 위성 정보활용 경진대회가 개최되었다. 금번 경진대회는 다목적실용위성 시리즈 영상자료를 이용한 활용 아이디어를 발굴하고 다양한 위성영상 활용기술 개발 촉진을 목적으로 국내 대학생 및 대학원생들로 구성된 22개 팀이 참가하였다. 경진대회 수상 팀은 1차 서면심사와 2차 발표 심사를 통해 선정하였으며, 본 특별호에서는 1차 서면심사를 통과한 10개팀의 주제 중에서 6개 팀의 연구 내용과 다목적실용위성 영상자료 처리 및 분석 관련 연구에 대해서 소개하고자 한다.

다목적실용위성과 같은 저궤도 고해상도 위성의 경우 다중분광(multi-spectral) 센서의 Charge Coupled Device(CCD)를 일렬로 배열하기에 어려움이 있기 때문에 여러 개의 행으로 나누어서 배열하는 것이 일반적이며, 이와 같이 CCD가 배열된 상태에서 푸시브룸(push-broom) 방식으로 각 밴드 별 영상을 순차적으로 취득할 경우 영상내 이동 물체는 시차 효과(parallax effect)가 발생하게 된다. 예를 들어 비행기와 같이 빠르게 이동하는 물체는 각 밴드(RGBN) 별 센서가 영상을 취득하는 시간이 미세하게 다르기(time offset) 때문에 비행기가 각 밴드별로 영상 내에 여러 개 존재하게 된다. 한편 이러한 현상을 이용하여 움직이는 물체의 속도를 추정하기 위한 연구가 다수 수행되었으나(Pesaresi et al., 2008; Fisser et al., 2022) 다목적실용위성을 활용한 사례는 거의 없다. Jung et al. (2022)는 다목적실용위성 3호 영상 내에 존재하는 이동 차량을 이용하여 time offset을 계산 후 항공기의 속도와 고도를 추정하는 연구를 수행하였다. 차량의 속도를 가정하여 time offset을 계산한 한계는 존재하나, 밴드 별 time offset을 추정하고 산출한 항공기 속도와 고도를 Automatic Dependent Surveillance-Broadcast (ADS-B)에 기록된 항공기의 속도 및 고도 값과 비교를 통해 영상 내의 동적 물체에 대한 보다 다양한 정보를 추정하여 활용할 수 있음을 보여주었다.

국가기본공간정보에서 도로는 각종 주제 정보의 제작 및 변화 탐지 등에 있어 중요한 정보로 활용되고 있다. 과거 도로 정보는 수치지형도 제작 및 갱신을 통해 생성되었으나, 항공사진 및 위성영상에서 도로정보를 추출하는 연구가 활발히 연구되고 있다(Byun et al., 2011; Kim and Choi, 2022). 한편 그래픽카드와 같은 컴퓨터 기술의 급격한 발달로 딥너링 기술이 보편적으로 사용되고 있으며 위성영상을 처리, 분석하는 데에도 다양하게 적용되고 있다. 특히 의학 분야에서 많이 활용되던 UNet 모델은 위성영상 분할(segmentation)에도 매우 효과적인 것으로 밝혀짐에 따라 해외에서는 도로정보 추출에도 많이 사용하고 있다(Abdollahi et al., 2021). 일반적으로 위성영상은 고해상도 흑백영상과 저해상도 칼라 영상을 세트로 제공하기 때문에 도로와 같은 선형 정보를 추출하기 위해서는 영상 융합(image fusion) 과정을 통해 고해상도 칼라영상을 생성 후 활용하는 것이 유리하다. Chae et al. (2022)는 다목적실용위성 3호와 3A호 영상에 Gram-Schmidt 방법을 기반으로 영상 융합 기법을 적용하여 고해상도 칼라영상을 생성 후 딥러닝 학습에 필요한 도로 학습 데이터셋을 제작하였다. U-Net 모델을 이용한 훈련 중 모델 성능은 Mean Intersection over Union (mIoU) 0.90, 검증 데이터에서는 0.88로 나타났으며, 검출 결과에 대한 픽셀 분류 정확도는 0.96으로 확인되었다. 일반적으로 도로 검출은 위성 촬영각에 따라 폐색 영역이 존재할 경우 정확도가 떨어질 수밖에 없는 한계가 존재한다. 따라서 도로의 패턴을 추가 학습하여 폐색영역에서도 도로가 자연스럽게 연결될 수 있도록 지속적인 연구가 수행될 필요가 있다.

최근 위성개발 기술의 비약적인 발전으로 다양한 형태의 지구관측위성이 개발되고 있으며, 이와 같은 다중위성으로부터 획득된 영상을 효율적으로 활용하기 위해서는 다양한 전처리 과정이 요구된다. 서로 다른 센서로 촬영된 영상의 경우 개별 센서의 특성을 비롯하여 촬영 당시의 조건 등으로 인해 영상 간에 많은 차이가 존재한다. 따라서 이러한 상대적인 차이를 제거하지 않고는 시계열 분석 등과 같은 변화 탐지에 있어 많은 제약이 따를 수밖에 없다. 다중 영상 활용에 있어 가장 기본적인 처리는 상대적인 기하오차를 소거하는데 있으며, 이를 위한 영상 정합(image registration) 연구는 국내외적으로 많이 수행되고 있다(Han et al., 2022; Kim and Han, 2021; Ma et al., 2019; Ye et al., 2017). Kim et al. (2022)는 다목적 실용위성 3호 및 3A호 영상을 해외 위성영상과 융합 활용함에 있어 요구되는 전처리 과정으로 영상 정합 방법론을 제안하였다. 서로 다른 특성을 가지는 영상에서 신뢰도 높은 정합점(tie-point)를 추출하고 단계적으로 영상 간의 기하오차를 보정하는 방법을 적용하였으며, 이를 위해 Sentinel-2A와 PlanetScope 영상을 사용하였다. 실험에 사용된 영상 간의 중첩 영상을 탐지 후 특징기반 정합기법(speeded-up robust feature)과 영역기반 정합기법(phase correlation)의 장점을 적용한 하이브리드 정합 방법을 적용하고 피라미드 영상 기반의 반복적 영상 정합 과정을 거쳐서 정밀영상정합을 수행하였다. 그 결과 다목적실용위성 3호와 3A호 영상과 Sentinel-2A 영상간에는 평균 1.2 픽셀, PlanetScope 영상과는 평균 3.59 픽셀 정도의 정합 결과를 확인할 수 있었다. 향후 고층건물 등이 존재하는 도심지역에 적용하여 성능을 개선한다면 다목적실용위성과 차세대중형위성, 초소형군집 시스템의 위성영상 등을 상호 융합하여 활용하는데 있어 매우 중요한 전처리 기법으로 사용될 수 있을 것으로 기대된다.

토지피복에 대한 분류는 위성영상의 가장 대표적인 활용 분야 중에 하나이다. 2000년대 이전에는 Landsat, MODIS 영상 등을 이용한 전 지구적인 토지피복분류를 통해 환경 및 기후 변화 연구 등이 많이 수행되었다. 2000년대 이후에는 IKONOS, QuickBird 등과 같은 고해상도 위성영상이 등장하면서 국소지역에 대한 세분화된 토지피복을 분류하는데 많이 이용되었으며, 국내에서는 환경부가 세분류 토지피복도를 제작하거나 갱신하는데 다목적실용위성 고해상도 위성영상을 많이 사용하였다. 최근 딥러닝 기술의 발전으로 토지피복 분류에도 다양한 딥러닝 기술이 적용되고 있다(Zhang et al., 2018; Papadomanolaki et al., 2019; Peng et al., 2020). Ramayanti et al. (2022)는 Support Vector Machine (SVM)기법을 이용하여 다목적실용위성 2호와 5호 영상에 대한 토지피복을 분류하고 Sentinel-2B와 Sentinel-1A 영상 분류 결과와의 비교를 통해 다목적실용위성 광학영상을 분류하는데 SVM 기법이 효과적으로 활용될 수 있음을 확인하였다.

컴퓨터 비전(computer vision) 분야에서 많이 사용되는 딥러닝 기술은 클래스 간의 학습데이터셋이 균일할 때에 가장 최적의 성능을 발휘하기 때문에 자료의 균일성이 무엇보다 중요하다. Lee et al. (2022)는 딥러닝 기반의 의미론적 분할에 있어 소형 객체 비율에 따른 성능을 비교하기 위하여 입력 영상 내에 타겟 객체가 차지하는 비율을 다르게 하여 6종류의 데이터 셋을 구축하여 실험을 수행하였다. 연구에서는 총 7개의 클래스를 대상 타겟으로 선정하였으며, 한국지능정보사회진흥원 AI Hub에서 제공하는 객체탐지 데이터셋을 사용하였다. 가장 대표적인 의미론적 분할 모델인 U-Net을 사용하여 실험을 수행한 결과 입력 자료의 비율에 따른 성능 차이를 확인할 수는 있었으나, 전반적인 탐지 성능 저하로 인해 보다 세부적인 비교평가에는 한계가 존재함에 따라 후속연구가 필요할 것으로 판단된다.

토양 수분은 농작물 작황을 모니터링하고 예측하는데 있어 매우 중요한 인자로 호주, 아르헨티나 등은 위성영상 기반의 토양수분 분석을 위성영상의 중요한 활용 분야로 인식하고 있다. 지금까지 토양수분 연구에는 주로 MODIS, Landsat, Sentinel 등과 같은 중저해상도가 많이 이용되어 왔으나, 낮은 해상도로 인해 세부적인 정보를 산출하기에는 한계가 있어왔다. 최근 토양 수분도 제작에 있어 광학 영상과 SAR 영상을 함께 사용함으로써 보다 높은 정확도를 산출할 수 있는 것으로 발표되었으나(Marden and Ahmadi, 2021), 고해상도 영상을 활용한 사례는 많지 않다. Lee et al. (2022)는 Sentinel-1의 후방산란계수와 다목적실용위성 3호를 이용하여 생성한 Normalized Difference Vegetation Index (NDVI) 자료를 융합하여 시범 지역에 대한 토양 수분도를 제작하고 위성으로부터 산출한 Normalized Difference Water Index (NDWI)와 상관도 분석을 통해 정확도 평가를 수행하였다. 향후 기존 토양수분 산출 모델을 다목적실용위성광학 및 SAR 영상에 맞게 보완한다면 국내 위성영상만을 이용하여 보다 정밀한 토양 수분도 제작이 가능할 것으로 기대된다.

한국항공우주연구원에서는 당해 연도에 촬영된 다목적실용위성 2호, 3호, 3A호 영상과 기타 해외 영상을 이용하여 한반도 전역에 대한 모자이크영상을 매년 제작하여 정부 협의체 기관에 제공하고 있다. 다양한 센서로 촬영된 영상을 대규모로 모자이크하기 위해서는 색상 조정 과정이 필요하기 때문에 본래의 분광정보가 왜곡될 수 밖에 없어 모자이크 영상을 이용한 토지 피복 분류를 위해서는 이에 적합한 분류 방법이 요구된다. Moon and Lee (2022)는 모자이크 RGB 영상을 PCA 기법과 RGB 밴드를 활용한 지수를 추출하여 영상 분류를 수행하였으며, 그 결과 약 75.9% 정확도를 확인할 수 있었는데 단순 Principal Component Analysis (PCA) 기법만을 적용하기보다 RGB 지수를 분류에 활용하는 것이 정확도 향상에 도움이 되는 것으로 확인되었다.

현재 운영되고 있는 다목적실용위성 시리즈 중에서 5호는 고해상도 SAR 영상자료를 제공하고 있지만 국내 위성영상 활용이 광학중심으로 이루어져 있는 관계로 상대적으로 활용도가 높지 않은 것이 사실이다. 국내 위성영상 활용의 대부분을 차지하고 있는 정부 공공부문의 경우 주제도 제작, 정밀변화탐지, 베이스맵 제작 등에 고해상도 광학영상을 사용하고 있으며, SAR 영상에 대한 인식이 매우 낮은 상태이다. 따라서 공공부문 사용자를 비롯하여 비전문가도 SAR 영상을 보다 손쉽게 사용할 수 있도록 사용자 도구를 지원할 필요가 있다. Chae et al. (2022)는 다중시기 다목적실용위성 5호 SAR 영상을 이용한 변화탐지를 쉽게 수행할 수 있도록 프로토타입 프로그램을 개발하였다. 전처리, 영상정합, 변화탐지 및 결과 가시화로 구성된 프로토타입 프로그램은 향후 해양 선박탐지, 건축물 탐지, 재난피해 분석 등에 활용할 수 있을 것으로 예상한다.

본 특별호에서는 2022 위성정보활용 경진대회에 참여한 학생논문과 다목적실용위성 광학 및 SAR 영상 활용과 관련된 연구에 대해서 간략하게 소개하였다. 국가 우주개발 계획에 따라 다목적실용위성을 비롯하여 다양한 위성이 지속적으로 개발되어 발사될 예정이기 때문에 다중위성을 융합 활용하기 위한 연구는 지속적으로 수행되어야 하며, 향후에도 이러한 연구 결과가 공유될 수 있도록 경진대회 개최 및 특별호 발행은 지속적으로 수행될 예정이다.