Automatic National Image Interpretability Rating Scales (NIIRS) Measurement Algorithm for Satellite Images

위성영상을 위한 NIIRS(Natinal Image Interpretability Rating Scales) 자동 측정 알고리즘

Abstract

High-resolution satellite images are used in the fields of mapping, natural disaster forecasting, agriculture, ocean-based industries, infrastructure, and environment, and there is a progressive increase in the development and demand for the applications of high-resolution satellite images. Users of the satellite images desire accurate quality of the provided satellite images. Moreover, the distinguishability of each image captured by an actual satellite varies according to the atmospheric environment and solar angle at the captured region, the satellite velocity and capture angle, and the system noise. Hence , NIIRS must be measured for all captured images. There is a significant deficiency in professional human resources and time resources available to measure the NIIRS of few hundred images that are transmitted daily. Currently, NIIRS is measured every few months or even few years to assess the aging of the satellite as well as to verify and calibrate it [3]. Therefore, we develop an algorithm that can measure the national image interpretability rating scales (NIIRS) of a typical satellite image rather than an artificial target satellite image, in order to automatically assess its quality. In this study, the criteria for automatic edge region extraction are derived based on the previous works on manual edge region extraction [4][5], and consequently, we propose an algorithm that can extract the edge region. Moreover, RER and H are calculated from the extracted edge region for automatic edge region extraction. The average NIIRS value was measured to be 3.6342±0.15321 (2 standard deviations) from the automatic measurement experiment on a typical satellite image, which is similar to the result extracted from the artificial target.

1. 서 론

고해상도 위성영상의 활용은 지도 제작, 재난재해, 농업, 해양·시설, 환경 분야 등이 있으며 점차 고해상도 위성영상을 활용한 응용분야 개발과 수요가 증대되고 있고 위성을 사용하는 사용자는 활용하는 목적에 맞는 적절한 품질의 영상을 제공받길 원하며, 공급자는 영상에 대한 품질 정보를 제공하여야 한다.

위성영상의 해상력은 일반적으로 공간해상도 기준인 GSD(Ground Sampling Distance)로 비교가 되는데 영상시스템의 성능과 검·보정 기술, 촬영 환경에 따라서 동일 공간해상도를 가진 영상이라도 실제 지형지물의 식별력이 다르게 보일 수가 있다. 따라서 동일한 위성으로 촬영한 영상이라 하더라도 매번 같은 식별력을 나타내지는 못하며, 사용자가 원하는 수준의 영상 식별력을 제공하지 못하기도 한다. 따라서 영상을 판독할 때 사용자와 공급자 간에 통용될 수 있는 표준화된 지표를 IRARS 위원회에 의해 영상판독척도(NIIRS)에 대한 기준을 위성영상에서 지형지물이 얼마나 선명하게 식별할 수 있는지를 0-9단계로 10등급의 수치로 영상에 대한 해상력을 정의하여 사용된다[1].

NIIRS의 측정 방법으로는 전문가 집단에 의해서 주관적 해석에 의해 개별적인 영상샘플들에 대해 등급을 산정하는 방법과 GIQE(General Image Quality Equation)를 사용하여 측정하는 방법이 있다[2]. 본 연구에서는 GIQE를 사용하여 각 영상에 대해 NIIRS를 측정하며, 위성영상의 여러 밴드 중 흑백영상인 Panchromatic 영상만을 사용한다. 흑백영상 다른 컬러영상(Multispectral band)에 비해서 해상도가 높기 때문에 다른 밴드의 영상에 비해 영상 내 객체에 대한 식별성이 우수하고 IRARS(Imagery Resolution Assessments and Reporting Standards) 위원회에서 흑백영상을 visible 영상으로 규정하여 GIQE도 IRARS에서 규정된 visitible 영상에서 정의되는 식을 사용한다[2].

실제 위성이 촬영하는 각각의 영상은 촬영 지역의 대기 환경과 태양 각, 위성의 속도와 촬영 각, 시스템 노이즈 등에 의해서 영상의 식별력이 달라지므로 촬영하는 모든 영상에 대해서 NIIRS를 측정해야 한다. 그래서 매일매일 전송되는 수백 장의 영상마다 NIIRS를 측정할 수 있는 전문가 인력과 시간이 매우 부족한 실정이며 몇 개월에서 몇 년마다 측정하여 위성의 노화와 검·보정을 위한 용도로서 사용되고 있다[3].

GIQE를 이용하여 자동으로 NIIRS를 측정하는 연구로는 기존의 선행 연구로 에지 후보점을 추출하여 측정하는 방식[4][5]과 수동으로 에지 영역을 추출하여 측정하는 방식이 연구되었다[6]. 하지만 에지 후보를 추출하는 방법의 경우 GIQE의 파라미터인 RER (Relative Edge Response)과 H(Overshoot Height)를 계산하는 것에 오차가 많으며, 수동 에지 영역 추출 방식의 경우 사람이 직접 하는 것이므로 에지 영역 추출 문제는 없지만 전문적인 기술과 많은 시간이 필요한 단점이 있다.

본 연구에서는 기존 수동 에지 영역 추출 연구를 기반으로 자동으로 에지 영역 추출 시 ESF를 구하기 위해 고려해야 하는 조건들에 대해 연구하였으며, 자동적으로 에지 영역을 추출할 수 있는 알고리즘을 제안하고 구현하여, 추출된 에지 영역으로부터 RER, H를 계산한다.

본 논문의 구성은 다음과 같다. 2장에서는 GIQE를 이용하여 에지 영역에서 NIIRS를 측정할 수 있는 방법과 기존 자동화 측정 연구에 관한 연구 사례에 대해 서술한 다음, 3장 에서는 GIQE의 각 인자들을 계산하기 위해 필요한 에지 영역 추출 시 고려되었던 사항과 알고리즘을 설명한다. 그리고 4장에서는 제안한 알고리즘 신뢰도 검증을 수행하였고 5장에서 결론을 맺는다.

 

2. 기존 연구

2.1 영상판독측정(NIIRS)

NIIRS는 1974년 미국의 The Intelligence Community에 의해 영상의 해상력을 판독하기 위한 성능지표로 개발되었으나 초기 영상의 성능지표는 영상을 분석하는 전문가 집단에만 한정적으로 사용되다 1996년 미 정부의 IRARS위원회에 의해 발표되어 현재 Panchromatic band, Multispectral band, Radar, SAR 영상 등에 대한 표준화된 지표로 발전하여 사용되고 있다. 위성영상에 대한 민간에서의 활용도가 점차 확대됨에 따라 군사표적과 민간표적 두 분류로 나뉘어 성능지표로 사용되고 있으며 민간 표적에 대해서는 자연물, 농작물, 도시/산업 구조물 등의 3부분으로 나누어 표준화된 영상의 성능지표를 나타내고 있다[4].

Fig. 1는 영상 내 개별 객체의 식별력 차이에 따른 NIIRS의 차이를 보여주고 이 수치는 실제 지형지물이 얼마만큼 식별되는지를 0에서 9까지 총 10단계로 구분하고 있으며 주관적 판단에서의 기준을 제공하고 있다. NIIRS(National Image Interpretability Rating Scales)의 측정 방법으로는 전문가에 의한 주관적 해석 방법과 GIQE(General Image Quality Equation)를 이용한 측정 방법이 있다.

Fig. 1.NIIRS 2 Criteria(left), NIIRS 7 Criteria(right) [1].

GIQE(General Image Quality Equation)는 NIIRS를 추정하기 위해 IRARS 위원회에서 1980년대에 개발되었고, 1994년 무인항공기 개발 단체UAV(Unmanned Aerial Vehicle) development community)에 의해 공식적으로 발표되었다. GIQE를 이용한 NIIRS 추정을 통해 위성영상의 성능을 NIIRS로 정확하게 추정을 위해 개발되었다.

GIQE는 식(1)과 같이 GSD(Ground Sample Distance), RER(Relative Edge Response), SNR(Signal-to-Noise), G(Convolver Gain), H(Overshoot) 등을 이용하여 NIIRS를 추정하는데 RER, G, H 등은 MTFC(Modulation Transfer Function Conpensation) 이후에 정의된다.

본 연구에서는 GIQE를 사용하며, 인공표적이 있는 위성영상이 아니라 위성영상의 자연표적을 이용하여 NIIRS를 자동으로 구할 수 있는 알고리즘을 제안한다.

2.3 기존 자연표적 자동 추출 연구

기존 자연표적 자동 추출 연구[4,5]에서는 에지 표적을 이용하지 않고 일반 영상에서의 자연 표적을 사용하여 NIIRS를 측정하는 연구가 진행되었다. 하지만 기존 자동화 연구들은 에지 후보 점을 추출하는 방법으로 Moravec operator를 사용하였다.

Fig. 2와 같이 에지 후보 점들(True points) 뿐 아니라 숲의 점들(False point)을 추출하는 한계점이 존재하고, 이로 인해 에지 후보 점을 추출하는 방법의 경우 선형성의 오차와 노이즈 영향으로 ESF(Edge Spread Function)을 구하기에 적합한 에지 영역을 추출하는 것에 문제점이 있다. 따라서 GIQE의 파라미터인 RER(Relative Edge Response)과 H(Overshoot Height)를 계산하는 것에 오차가 많이 발생하게 된다. 그래서 수동으로 에지를 추출 연구[7,8,9,10]들을 기반으로 선형성의 오차와 노이즈에 강한 자연표적 자동 에지 추출 연구를 진행 하였다.

Fig. 2.Extracted edge points by Moravec operator. (a),(b) True points, (c) False points[4].

 

3. 자동 에지 추출 연구

해상력 분석을 위한 수동 에지를 추출 연구[7,8,9,10]들은 Fig. 3와 같이 지상에 인공적으로 인공표적을 설치하여 위성으로 그 지역을 촬영하여 에지영역을 수동으로 추출하였고, Fig. 4와 같이 건물의 옥상과 지상의 그림자의 경계, 공항 활주로의 아스팔트와 흰색 표시선, 강과 모래의 경계 부근 등과 같은 에지영역을 수동으로 추출하였다.

Fig. 3.Artificial target[7].

Fig. 4.Natural edge target[10].

이와 같이 충분한 길이의 선형 에지를 가지고, 균일하게 밝고 어두운 영역을 검출하기 위해서는 우리는 에지 길이, 각도, 선형성, SNR 등의 4가지 파라미터 기준을 Table 1과 같이 정의하였고, 정의된 파라미터를 고려한 알고리즘을 Fig. 5와 같이 구성하였다.

Table 1.Edge area parameter

Fig. 5.Automatic edge area extaction and NIIRS calculation flowchart.

Line length는 Slanted Edge 기법을 사용하여 ESF 곡선을 생성할 때 소수점 단위에서 픽셀의 위치를 계산하므로 샘플링 되는 픽셀의 수가 많을수록 오차를 줄이고 정확한 데이터를 얻을 수 있고, Line angle는 에지의 Across, Along 방향에 대해서 각각 해당 범위 안에서 추출할 수 있도록 한다. Linearity는 추출된 에지 영역은 밝고 어두운 영역의 경계 부분이 에지로 나타나는데 이 경계 부분이 뚜렷하고 선형성을 유지해야 정확한 RER을 측정할 수 있고, SNR은 에지 영역의 어두운 부분을 배경으로 하고 밝은 영역을 상대적인 신호로 두었을 때 SNR을 구해 밝고 어두운 영역의 균일성을 검증한다.

Fig. 5와 같이 구성된 알고리즘은 선형 에지를 검출하는 것과 NIIRS를 측정하는 두 개의 알고리즘으로 구성으로 되어있다. 선형 에지를 검출하는 과정에서는 영상에 에지 디텍터를 사용하여 에지를 검출하고 허프변환(Hough transform)을 사용하여 선형 에지를 검출한다. 하지만 위의 두 과정은 1픽셀 단위에서의 직선 에지 검출과정이며, 에지 주변 영역을 고려한 서브픽셀(sub-pixel) 단위에서의 에지의 선형성을 고려하지 않는다. 또한, 에지 디텍터의 성능에 의해 검출되는 직선 에지에 영향을 주기 때문에 직선 에지의 선형성을 검증하는 단계를 거쳐 최종적으로 선형성이 좋은 직선 에지를 검출하게 된다.

선형 에지 후보들을 검출하게 되면 RER과 H를 측정하기 위해 에지 영역으로부터 ESF(Edge Spread Function)을 구하게 된다. ESF의 센터 위치에서 –0.5～0.5 픽셀 구간에서 RER을 구하고 1.0과 3.0 픽셀 구간 사이에서 H를 구한다. ESF의 가장자리의 값으로부터 SNR을 구하게 되므로 기준을 만족하는 경우 최종적인 NIIRS를 측정한다.

Fig. 6.Edge detection result, Original(left), Sobel(middle), Canny(right).

Fig, 7.Line edge detection result by hough transform(blue line).

3.1 Edge Detector

영상에서 선형 에지를 검출하기 위해서는 에지의 경우 1, 배경은 0으로 하는 이진화 처리가 필요하다. 이러한 에지영상을 만드는 에지 디텍터로 주로 쓰이는 것이 Sobel 이나 Canny 에지 디텍터 이다. 본 연구에서 Sobel에 비해서 Canny의 경우 알고리즘의 복잡도가 높아 수행 시간이 오래 걸리므로 Sobel 에지 디텍터를 사용하여 에지 영상을 획득한다.

3.2 직선 에지 검출

에지 영상에 대해서 직선 형태의 에지 부분을 검출하기 위해서 우리는 허프 트랜스폼(Hough Transform)을 사용한다[11]. 허프 트랜스폼은 식(2)과 같이 x, y축을 r과 θ로 표현한다.

식(2)에서 점(x, y)를 지나는 무수히 많은 직선은 r 과 θ로 표현할 수 있고, Sine 곡선과 같이 그린다.

그러면 n개의 곡선이 교점이 공통적으로 생긴다는 것은 n개의 점이 하나의 직선위에 있다는 것을 의미하며, 어떤 선위에 점이 몇 개 올라와 있는지 확인할 수 있다. 이 중 높은 카운트 값에 대해서 직선을 검출 한다.

Fig. 8와 같이 주거지역과 공원에 대한 영상이고 작은 건물 사이사이의 직선을 검출한 것과 나무 사이의 작은 직선, 도로의 직선을 검출하였다. 이 영상에서 항구의 바다와 도크의 경계 부분은 NIIRS 측정하기 위한 후보 영역이 될 수 있지만 나머지 검출된 직선 에지들은 NIIRS 측정에 적합하지 않다. 따라서 본 연구에서는 Table 1에서 정의한 에지 길이의 최소 기준인 15 이상인 후보 직선으로 가능한 모든 직선을 검출한다. 이 중 측정에 적합하지 않은 에지는 SNR이나 Linearity 등의 기준을 적용하면서 제외된다.

Fig. 8.Line edge detection test for general images.

3.3 ESF와 선형성(Linearity)

ESF(Edge Spread Function)는 RER의 측정을 위해서도 사용되지만, 미분하여 LSF(Line Spread Function)를 구하고 FFT를 통해 MTF 값을 측정하는데 사용된다. 본 연구에서는 GIQE에 필요한 RER과 H를 구하는데 목적이 있으므로 ESF를 구하는 것까지만 진행한다.

ESF를 구하는 방법 중 source target의 모양이 점, 선 등의 모양에 따라 측정 방법이 달라지는데 검출하는 에지에 밝고 어두운 영역을 가지고 있으므로 Slanted Edge Method를 사용하여 ESF를 획득한다.

Fig. 9와 같이 ROI 영역으로부터 에지 경계를 중심으로 각각의 라인마다 중심점을 계산하고 중심점을 잇는 최적의 1차식을 획득한다.

Fig. 9.ESF calculation process. pixel sampling(left), ESF(right)[8].

1차식을 이용해 샘플링된 픽셀들의 위치를 에지의 중심으로부터 계산하고 x축을 에지 중심으로부터의 위치, y축을 픽셀 값으로 하여 ESF를 구한다. 오버샘플링 되어 ESF에서 서브픽셀(sub-pixel)단위로 위치한 각각의 픽셀은 노이즈처럼 값의 변동이 있는데 이를 보정하기 위해서 spline과 같은 fitting을 사용하고 최종적으로는 정규화하여 0에서 1 사이의 값으로 변환한다.

선형성(Linearity)은 앞서 각각의 에지 중심점으로부터 구한 1차식과 중심점들과의 오차를 구해 표현한 것이다. 선형성을 확인하는 것은 그 동안의 인공 표적이나 좋은 에지 영역을 이용한 수동 에지 측정 방법에서는 에지의 선형성을 사용자가 눈으로 확인하고 측정하므로 체크 하지 않아도 되는 부분이지만 자동으로 검출한 직선 에지에 대해서 선형성을 확인하는 것은 무작위로 검출된 에지라인의 주변영역(ROI)에 대해서 에지의 경계가 뚜렷하고 형태가 확실한 선형성을 가졌는지를 수치적으로 측정한다.

Fig. 10은 에지의 경계가 뚜렷하지 않은 에지 후보점을 사용하는 자동화 연구들[4,5]에서 존재하는 문제점 보여주고 있다. 이는 각 중심점으로부터 구한 1차식과 중심점의 오차가 크개 되므로 ESF 곡선을 계산 시 직선의 각도 값이 정확하지 못하게 되어 측정치의 신뢰도가 낮다.

Fig. 10.Examples for bad linearity.

본 연구에서는 Burns과 Peter D.[12]에 의해 연구되어진 에지의 선형성에 오차가 ESF로부터 MTF를 측정한 연구에서 RMSE는 0.075이지만, 우리는 이보다 낮은 기준이 0.06 이하로 선형성이 좋은 직선 에지만을 에지 후보로서 사용한다.

3.4 SNR, RER, H

에지의 선형성이 좋은 경우 에지 경계를 기준으로 밝고 어두운 영역의 SNR이 기준 이상을 만족하는 경우 추출하고자 하는 에지 영역의 기준을 만족하게 된다. 여기서의 SNR은 반사율이 7%, 15%인 디텍터에서 방출하는 복사에너지를 이용하여 구한 값이 아닌 검출한 에지 영역에서 구하는 SNR을 식(3)과 같다. ESF의 처음과 끝 부분의 가장자리 일부분을 신호와 배경 값으로 보고 계산한다.

SNR이 클수록 밝고 어두운 영역의 대비도가 높고, 각 영역의 노이즈가 적어 균일한 픽셀들로 이루어지지만, SNR이 낮은 에지영역은 주변 픽셀들이 균일한 값을 이루지 않으면 노이즈에 의한 영향을 크게 받게 되어 ESF곡선이 올바르게 구할 수가 없어 RER과 H값의 측정의 정확도에 영향을 주게 된다.

Fig. 11과 같이 에지의 선형성이 좋더라도 에지 주변의 픽셀들의 SNR이 좋지 못하면 ESF 곡선이 올바르지 못하게 되므로, RER과 H 계산 시 오차를 유발하는 파라미터로 사용하여야 한다. Burns, Peter D[12]와 Williams, Don.[13]의 연구에서는 SNR을 20 이상으로 설정하면 편차 값이 안정적으로 줄어든 것을 보여 주었고, 본 연구에서도 추출하는 에지영역의 개수와 측정 신뢰도 사이는 trade-off를 고려하여 SNR을 60 이상으로 기준을 설정한다. RER는 Across, Along 방향에 대해서 구하고 기하 평균으로 나타내고, H는 ESF의 중심위치 0을 기준으로 왼쪽이 0에 가깝고 오른쪽이 1에 가까울 때에 해당하며, 반대의 경우에는 왼쪽이 밝고 오른쪽이 어두운 경우이므로 값을 y측 대칭하여 계산한다.

Fig. 11.Examples for the good linearity but bad SNR.

 

4. 실험 결과 및 고찰

4.1 인공표적 위성영상을 이용한 수동 및 자동 측정 실험

지상에 설치한 인공 표적은 위성영상의 검·보정 처리 시 검증을 위해 가장 좋은 샘플로 사용이 된다.

따라서 본 연구에서는 인공표적에 대해 사용자가 수동으로 에지 영역을 추출하여 NIIRS를 측정한 것과 제안한 알고리즘을 이용하여 자동으로 에지 영역을 추출하여 NIIRS를 측정하여 자동화 알고리즘의 신뢰도를 검증하였다.

Fig. 12는 실험에 사용된 인공 표적 샘플들이며 모두 다른 날짜에 촬영되었고, 기간은 2012년 6월부터 9월 사이에 촬영되었으며, 모두 동일한 지역의 인공 표적이다.

Fig. 12.Artificial target samples.

수동 측정시의 NIIRS 평균치는 3.6203±0.153934(2 standard deviation)으로 측정되었으며, 자동 측정시의 NIIRS의 평균치는 3.6190±0.107594(2 standard deviation)으로 측정되었다. 수동 측정치와 자동 측정치는 오차 범위 내에서 같게 측정되었으며 이 결과를 통해 자동 NIIRS 측정 알고리즘의 신뢰도를 검증하였다.

4.2 일반위성영상을 이용한 자동 측정 실험

Fig. 13은 일반 위성영상에서 추출한 에지 영역의 일부이다. 각각의 영상에 빨간 원으로 표시된 것이 추출한 에지 영역의 중심이며, 모든 샘플에서 선형성과 SNR 기준을 만족하였다.

Fig. 13.Edge area extracted from general satellite image.

Table 4는 일반위성영상 10개의 서로 다른 지역에서 에지영역을 추출하여 측정한 NIIRS, RER, H를 나타낸다. 평균적인 NIIRS 수치는 3.6342±0.15321 (2 standard deviations)으로 측정되었다. 이 수치는 NIIRS를 측정하기에 가장 좋은 인공 표적과 유사한 값(평균 오차 0.0152)으로 측정되어 일반 영상에서 추출한 에지 영역이 인공 표적에서의 에지 영역과 유사하게 추출했음을 알 수 있다.

Table 2.Manual NIIRS measurement for artificial target

Table 3.Auto NIIRS measurement for artificial target

Table 4.NIIRS measurement for general satellite images

 

5. 결 론

본 연구는 위성영상의 객관적 해상력 분석을 위한 자동 에지 추출에 관한 연구를 하였으며, 해상력 분석 척도로서 NIIRS를 사용하였고 NIIRS 측정하기에 적합한 에지 영역 추출 알고리즘을 제안하였다. 제안한 알고리즘은 영상에서 GIQE를 구성하는 파라미터 중 RER과 H를 측정하여 사용하였다. 그리고 동일한 영상에 대해서 영상 분석 전문가에 의해 측정되는 NIIRS 수치보다 더욱 객관적이고 편차가 적은 측정을 위해서 에지의 길이, 각도, 선형성(Linearity), SNR등과 같은 파라미터를 이용하여 에지 영역 추출을 알고리즘을 제안하였다.

우리는 인공표적을 이용한 수동 및 자동 측정 실험에서는 자동 NIIRS 측정 알고리즘의 신뢰도를 검증하였고, 일반영상을 이용한 자동 측정 실험을 통해서 인공 표적에서의 에지 영역과 유사하게 추출했음을 확인할 수 있었다.

본 연구를 통해 일반 위성영상에서의 에지 영역을 이용하여 위성영상의 해상력 평가 후 사용자에게 품질 정보를 제공할 수 있으며, 영상마다 검출된 에지 영역의 데이터 구축을 통해 위성의 노화 예측 및 보정이 가능할 것이다.