DOI QR코드

DOI QR Code

Urban Object Classification Using Object Subclass Classification Fusion and Normalized Difference Vegetation Index

객체 서브 클래스 분류 융합과 정규식생지수를 이용한 도심지역 객체 분류

  • Chul-Soo Ye (Department of AI Computer Engineering, Far East University)
  • 예철수 (극동대학교 AI컴퓨터공학과)
  • Received : 2023.04.17
  • Accepted : 2023.04.24
  • Published : 2023.04.30

Abstract

A widely used method for monitoring land cover using high-resolution satellite images is to classify the images based on the colors of the objects of interest. In urban areas, not only major objects such as buildings and roads but also vegetation such as trees frequently appear in high-resolution satellite images. However, the colors of vegetation objects often resemble those of other objects such as buildings, roads, and shadows, making it difficult to accurately classify objects based solely on color information. In this study, we propose a method that can accurately classify not only objects with various colors such as buildings but also vegetation objects. The proposed method uses the normalized difference vegetation index (NDVI) image, which is useful for detecting vegetation objects, along with the RGB image and classifies objects into subclasses. The subclass classification results are fused, and the final classification result is generated by combining them with the image segmentation results. In experiments using Compact Advanced Satellite 500-1 imagery, the proposed method, which applies the NDVI and subclass classification together, showed an overall accuracy of 87.42%, while the overall accuracy of the subchannel classification technique without using the NDVI and the subclass classification technique alone were 73.18% and 81.79%, respectively.

고해상도의 위성 영상을 이용하여 지표를 모니터링하기 위한 방법으로 분석 대상 객체의 색상을 이용하여 영상을 분류하는 방법이 널리 사용된다. 고해상도 위성영상에서는 도심 지역의 경우 건물, 도로 등과 같은 주요 객체들 이외에도 수목 등과 같은 식생 객체들도 빈번하게 나타난다. 도심 지역에 나타나는 식생 객체들의 색상은 건물, 도로, 그림자 등의 객체와 유사한 경우가 많으며, 이는 색상 정보에 기초하여 객체를 분류할 경우에 분류 성능이 저하되는 요인이 된다. 본 연구에서는 건물 등과 같은 다양한 색상을 가지는 객체뿐만 아니라 식생 객체도 정확하게 분류할 수 있는 기법을 제안한다. 제안하는 방법은 식생 객체 검출에 유용한 정규식생지수 영상을 RGB 영상과 함께 사용하고 객체 클래스를 서브 클래스로 세분화하여 분류한다. 서브 클래스 분류 결과를 융합한 후에 영상 분할 결과와 결합하여 최종 분류 결과를 생성한다. 차세대중형위성1호 영상을 이용한 실험에서 정규식생지수를 사용하지 않은 서브채널 분류 기법과 서브클래스 분류 기법의 overall accuracy가 각각 73.18%, 81.79%의 결과를 보인 반면, 정규식생지수와 서브클래스 분류를 함께 적용하여 제안한 방법은 overall accuracy가 87.42%의 우수한 성능을 보였다.

Keywords

1. 서론

원격 탐사 기술의 활용 분야 중 하나인 도심 지역에 대한 모니터링을 위해서 고해상도 위성영상이 널리 사용되고 있다. 기존의 다목적실용위성 뿐만 아니라 차세대중형위성1호(Compact Advanced Satellite 500-1) 영상의 활용이 가능해짐에 따라 도심 지역 변화 탐지 등에 대한 관심이 더욱 증가하고 있다. 도심 지역 모니터링 연구와 관련하여 영상 분류를 위한 객체 기반의 영상 분석을 이용한 다양한 연구(Blaschke, 2010; Blaschke et al., 2014; Kucharczyk et al., 2020; Ye, 2021)가 수행되었으며, 최근에는 딥러닝 기반의 의미론적 건물 분할에 대한 연구도 활발하게 진행되고 있다(Ye et al., 2019; Foivos et al., 2020; Li et al., 2021; Wang and Fang, 2022; Ye et al., 2022). 또한 영상 분류의 정확도 향상을 위해 입력 영상 밴드의 조합을 통해 생성되는 다양한 지수(index) 영상을 입력 영상으로 사용하는 연구도 진행되었다(Zha et al., 2003; Magpantay, 2019; Ye, 2020).

도심 지역의 객체들이 가지는 다양한 컬러 정보를 hue saturation value (HSV) 변환 후에 얻어지는 색상(hue) 채널을 서브 채널로 분할하고 영상 분류를 수행하는 방법(Ye, 2021)은 객체의 다양한 컬러 정보를 색상 채널 별로 분할하는 방법을 통해 기존 분류 방법 대비 우수한 분류 성능을 보였다. 그러나 색상 채널을 다수의 서브 채널로 분할하는 과정을 통해서 동일한 객체 화소들이 서로 다른 서브 채널에 분포하는 경우와 작은 규모의 수목 등과 같이 객체의 밝기값이 균일하지 않게 분포하는 경우에는 분류 성능이 저하될 가능성이 있다. 특히 수목 객체의 경우 RGB 밴드들의 밝기값이 낮은 화소들이 함께 존재하는 경우가 많으며 RGB 각 밴드의 밝기값이 0에 가까우면 HSV의 색상 성분의 정확도가 저하되는 문제(Chavolla et al., 2018)가 발생할 가능성이 높다. 따라서 위성영상을 서브채널로 분할할 경우, 이러한 분류 성능 저하가 발생하는 정도에 대한 실험적 확인이 필요하다.

도심 지역을 구성하는 대표적인 객체인 건물의 경우 건물 지붕의 재질과 구조에 따라 영상에 표현되는 객체의 밝기값에 차이가 있을 수 있으나 Fig. 1(a)에서 볼 수 있듯이 대체로 균일한 밝기값을 보인다. 반면에 Fig. 1(a)의 하단에 보이는 식생 객체의 경우 객체 안에서 색상의 변화와 명암의 변화가 함께 나타난다. Fig. 1(b)부터 Fig. 1(d)까지 영상은 Fig. 1(a)의 RGB 영상을 HSV 영상으로 변환한 후에 색상 성분을 6개의 서브채널 영상으로 분할한 영상 가운데 서브채널 순서상 앞에 나타나는 3개의 서브채널 영상이다. 식생 객체 화소가 Fig. 1(c)의 노란색 점선 안에 주로 분포하나 일부 식생 객체 화소는 Fig. 1(d)의 노란색 점선 안에도 나타난다.

OGCSBN_2023_v39n2_223_f0001.png 이미지

Fig. 1. An example of color separation of objects appearing in adjacent hue subchannel images of the Compact Advanced Satellite 500-1. (a) The RGB image. (b) Subchannel-1 image. (c) Subchannel-2 image. (d) Subchannel-3 image. In the case of the vegetation within the yellow dotted line, even though it is the same object, the color is distributed in two subchannel images, making it difficult to identify visually.

동일한 객체를 구성하는 화소들이 색상 차이로 인해서 서로 다른 색상 서브채널 영상들에 분할되어 존재하게 되면 분포가 적은 서브채널 영상의 화소들은 객체 단위의 분석 과정에서 제외될 가능성이 있다. 객체 단위 분석은 영상을 분할한 후에 분할된 각 영역내에 일정 비율 이상의 화소들이 있는 경우에는 가능하나 일정 비율 미만인 경우에는 해당 화소들을 잡음으로 처리하여 분류 결과에서 제외한다. 또한 Fig. 1의 수목과 같이 대체로 어두운 밝기값을 가지는 객체 화소들은 클래스 샘플링 과정에서 사용자의 육안 식별이 어려워서 클래스의 샘플로 선택되지 않는 경우가 발생될 수 있다. 이러한 사항들로 인해서 건물과 같이 균일한 밝기값을 가지는 객체들은 색상 서브채널 기반의 분류 방식이 적합하나 수목 등과 같이 객체 안에서 색상과 명암의 변화가 있는 객체의 경우에는 분류 성능이 저하될 가능성이 높다.

본 논문에서는 도심 지역의 객체들이 가지는 다양한 컬러 정보를 색상 서브채널로 분할하지 않고 원영상에서 객체의 클래스와 서브 클래스를 정의하고 식생 객체 검출에 용이한 정규식생지수(normalized difference vegetation index, NDVI)를 입력으로 사용하는 도심 지역 객체 분류 기법을 제안한다. 제안한 방법의 성능 평가를 위해서 NDVI를 사용하지 않는 방법과 서브채널을 사용하는 방법과의 성능 비교를 각각 수행하였다.

본 논문은 2장에서 도심 지역 위성영상의 객체 밝기값 특성과 객체 서브 클래스 분류 및 융합에 대해 설명하고 3장에서는 차세대중형위성1호 영상을 이용하여 제안한 분류 방법의 성능 분석 결과를 제시하고 4장에서는 결론을 제시한다.

2. 연구 방법

2.1. 객체 서브 클래스 분류

앞서 기술한 바와 같이 도심 지역의 객체 분류를 위해서는 균일한 밝기값을 보이는 건물 객체와 색상과 명암의 변화가 있는 식생 객체를 모두 고려한 분류 기법이 필요하다. Fig. 2는 본 논문에서 제안하는 분류 방법으로 다양한 색상의 객체가 존재하는 도심 지역의 특성을 고려하여 주요 객체에 대한 클래스 및 서브 클래스를 정의하고 입력 영상으로 RGB 영상 외에 NDVI 영상을 입력으로 사용한다. NDVI는 근적외선(near-infra red, NIR) 밴드와 Red 밴드를 이용하여 식(1)과 같이 계산된다.

OGCSBN_2023_v39n2_223_f0002.png 이미지

Fig. 2. Overall flowchart of proposed classification technique using fusion of subclass classification results.

\(\begin{aligned}N D V I=\frac{N I R-R e d}{N I R+\operatorname{Red}}\end{aligned}\)       (1)

NIR 밴드와 Red 밴드를 이용하여 계산되는 NDVI는 식생 객체의 검출에 널리 사용되는 지수이며, 본 연구에서는 RGB 영상과 함께 분류 시스템의 입력으로 사용된다. 다양한 색상 정보를 가지는 객체의 분류를 위해서 RGB 영상을 사용하고 식생 객체의 검출을 고려하여 NIR 밴드 정보가 간접적으로 포함되고 식생 검출에 용이한 NDVI 영상 정보를 입력으로 사용한다.

다음 단계는 영상에 포함된 객체 클래스를 정의하고 정의된 객체 클래스를 세부적으로 구분할 필요가 있는 경우에는 서브클래스를 정의한다. 예를 들면, 건물 객체의 경우 건물 클래스를 정의하고 건물의 색상 종류에 따라 여러 개의 건물 서브클래스를 정의한다. 서브클래스를 별도로 구분할 필요가 없는 객체의 경우 객체의 서브클래스를 객체의 클래스로 정의한다. 정의된 서브클래스를 이용하여 감독 기반의 분류를 수행하기 앞서 먼저 영상 분할(image segmentation)을 통해 분할된 영역을 샘플로 삼아서 서브클래스 별로 대표성을 갖는 샘플을 추출한다. 각 서브클래스의 샘플로 추출된 영역들의 밝기값을 이용하여 최소 거리 기반 분류(minimum distance-based classification)를 수행한다.

2.2. 분류 결과 융합 및 최종 클래스 결정

서브클래스 분류 결과를 융합하는 방법은 Fig. 3과 같이 각 화소를 서브클래스로 분류하는 과정에서 각 화소에 할당되는 기본클래스와 서브클래스 정보를 별도의 기억 공간에 저장한 후에 서브클래스 분류를 모두 마친 후에 각 화소에 할당된 서브클래스를 기본클래스로 변환하는 방식으로 진행된다. Fig. 3의 예에서 A, B, C는 클래스 종류를 나타내며, 숫자는 서브클래스의 종류를 나타낸다. 라벨 L은 화소에 할당된 기본클래스와 서브클래스 정보를 나타내며, L(A, 1)은 화소에 기본클래스 A와 서브클래스 1이 할당된 것을 나타낸다. 화소에 할당된 기본클래스와 서브클래스는 서브클래스 라벨 융합단계에서 각 화소의 서브클래스를 기본클래스로 변환한다. 이 단계에서 숫자로 표기된 서브클래스 라벨 정보는 서브클래스가 속하는 클래스로 치환되며 L(A, 1)는 L(A, A)로 변환된다. 결과적으로 서브클래스 라벨이 할당된 화소는 모두 기본클래스 라벨로 변환된다.

OGCSBN_2023_v39n2_223_f0003.png 이미지

Fig. 3. The process of subclass classification and combination. Sampling is performed for each subclass, and subclass classification is performed. The final classification result is generated by combining each subclass into its parent class.

다음 단계는 영상 분할 결과를 이용하여 영상 분할 영역 내부 화소들의 기본클래스를 결정하는 단계이다. 유사한 밝기값을 가지는 화소들로 이루어진 분할 영역 내부에서는 대부분의 화소들은 동일한 기본클래스가 할당되나 다른 종류의 기본클래스가 할당된 화소들도 존재할 수 있다. 따라서 분할 영역 내부에 존재하는 기본클래스들 가운데 가장 빈도가 많은 기본클래스를 찾아서 영역 내부의 모든 화소들의 기본클래스 라벨로 재할당한다.

3. 연구 결과 및 분석

본 논문에서 사용된 실험 영상은 Fig. 4와 같이 부산 녹산국가산업단지의 일부 지역을 차세대중형위성1호로 촬영한 영상으로 다양한 색상의 건물들이 존재하고 도로 주변에 다수의 수목이 작은 규모로 분포한다. Fig. 4(a)의 사각형 영역 A와 B를 확대한 Fig. 4(b)와 Fig. 4(c)에는 건물 지붕에 줄무늬 형태의 밝기 변화가 있는 건물들이 존재하고 Fig. 4(b)에서 볼 수 있듯이 지붕의 노후화로 인해서 원래의 색상과 부분적으로 다르게 변색되어 지면의 색상과 유사한 색상을 보이는 건물 지붕들이 보인다. Fig. 4(c)의 타원으로 표시된 부분은 지면과 건물 지붕의 색상이 유사한 경우로 Fig. 4(a)의 전체 영상에서도 지면과 건물 지붕이 유사한 색상을 보이는 부분이 여러 군데 존재한다. Fig. 4(d)는 NIR 밴드와 Red 밴드를 이용하여 계산한 NDVI를 시각적 표현을 위하여 히스토그램 스트레칭을 수행한 결과 영상이다. Fig. 4(a)에서는 시각적으로 잘 보이지 않는 수목 화소들이 NDVI 영상에서는 주변의 다른 화소들과 뚜렷하게 대비되는 것을 볼 수 있다.

OGCSBN_2023_v39n2_223_f0004.png 이미지

Fig. 4. A Compact Advanced Satellite 500-1 image used in the experiment (taken on June 2, 2022, Noksan District Industrial Complex in Busan, Korea). (a) The RGB image. (b) The zoomed-in image of area A. (c) The zoomed-in image of area B. (d) The normalized difference vegetation index image.

HSV의 색상 채널은 0부터 359도 사이의 각도를 기준으로 색상이 표현되며, 본 논문에서는 동일한 객체에 속하는 화소들이 인접한 서브채널로 과도하게 분할되지 않도록 실험 영상의 색상 분포를 고려하여 60도 간격으로 총 6개의 서브채널로 분할하였다. Fig. 5는 RGB 영상을 HSV로 변환한 후에 생성한 총 6개 서브채널 영상 중 일부 서브채널 영상을 보여준다. Fig. 5(a)의 경우 건물이외의 화소 중에서 건물 지붕과 유사한 색상을 가지는 화소들이 다수 존재하며, Fig. 5(b)는 녹색 계열의 건물들과 수목들이 함께 포함되어 있다. Fig. 5(c)는 청색 계열의 건물들이 주로 포함되어 있고 Fig. 5(d)에는 주로 도로 객체와 관련된 화소들이 다수 분포한다. 색상 서브채널별로 영상을 분할하면 Fig. 5(c)와 같이 뚜렷한 색상을 가지는 건물들의 경우 검출이 용이한 반면에 Fig. 5(b)의 수목과 같이 어두운 객체들은 식별이 용이하지 않다. 특히 Fig. 5(a)와 Fig. 5(d)와 같이 색상 서브채널 순서상 서로 인접한 경우에는 도로 객체와 관련된 화소들이 두 서브채널에 모두 분포되기 때문에 객체 샘플의 추출과 분류에서 성능 저하가 발생할 가능성이 있다. 이러한 성능 저하의 가능성을 고려하여 제안한 방법은 별도의 서브채널을 구성하지 않고 보조자료로 NDVI 영상을 활용하는 분류 방법을 제안하였다.

OGCSBN_2023_v39n2_223_f0005.png 이미지

Fig. 5. Examples of hue subchannel images. (a)Subchannel-1 image. (b) Subchannel-2 image. (c) Subchannel-4 image. (d) Subchannel-6 image. While building rooftops show uniform brightness values, other objects such as roads exhibit slightly larger variations in brightness values in some areas of the subchannels compared to buildings.

Table 1은 실험에서 서브채널 적용 여부와 분류 단계에서 RGB 기본 밴드 이외에 추가로 NIR 영상 또는 NDVI 영상 사용 유무에 따라 총 네 가지 분류 방법에 대한 요약이다. 네 가지 분류 방법 모두 객체 서브클래스 분류 및 융합 방법은 공통적으로 적용하였다. 첫 번째 S6_NIR 분류 방법은 6개 서브채널을 이용하고 RGB를 기본 밴드로 사용하고 NIR 밴드를 네 번째 밴드로 추가한 방법이다. 두 번째 S6_NDVI 방법은 S6_NIR 방법에서 네 번째 밴드로 NDVI 영상을 추가한 방법이고, 세 번째 S0_NIR 방법은 서브채널을 구성하지 않고 RGB 밴드와 NIR 밴드를 이용한 방법이다. 네 번째 방법은 본 연구에서 제안하는 방법으로 서브채널을 구성하지 않고 기본 밴드로 RGB 밴드를 사용하고 네 번째 밴드로 NDVI 영상을 추가한 방법이다.

Table 1. Summary of the number of subchannels, basic bands, and application of NDVI for each classification method

OGCSBN_2023_v39n2_223_t0001.png 이미지

Table 2는 6개 서브채널을 이용한 분류 방법(S6_NIR 및 S6_NDVI)에서 정의된 클래스 유형과, 서브클래스의 개수, 추출한 샘플의 개수를 보여준다. 클래스는 Building, Road, Vegetation으로 정의하였고 각 서브채널의 클래스 유형별로 서브클래스를 정의하고 추출한 샘플의 개수를 표시하였다. 전체 6개 서브채널에서 정의한 서브클래스의 수는 31개, 서브클래스를 대표하는 샘플 추출 회수는 39회이다. 샘플 크기가 상대적으로 작은 식생 클래스가 포함된 2번, 3번 서브채널에서 식생 서브 클래스의 샘플을 각각 4개, 5개 추출한 경우와 1번 서브 채널에서 도로 서브클래스의 샘플을 2개 추출한 경우를 제외하고는 서브클래스 별로 1개의 샘플을 추출하였다. ENVI Feature Extraction과 같은 객체 기반의 상용 소프트웨어에서 클래스별 권장하는 샘플의 개수가 20여개 이상인 점을 고려하면 Table 2에 제시한 서브클래스별 추출한 샘플의 개수는 매우 적어서 사용자의 샘플 추출 수작업 부담이 크게 감소하였다.

Table 2. Summary of defined class types, number of subclasses, and number of extracted samples in the classification methods using 6 subchannels

OGCSBN_2023_v39n2_223_t0002.png 이미지

Table 3은 서브채널을 구성하지 않고 RGB 밴드를 기본 밴드로 이용하고 4번째 밴드로 NIR 밴드 또는 NDVI 영상을 이용한 분류 방법(S0_NIR 및 S0_NDVI)에서 정의된 클래스 유형, 서브클래스 개수, 추출한 샘플의 개수를 보여준다. 서브클래스의 개수는 11개, 서브클래스를 대표하는 샘플 추출 회수는 27회를 적용하였다. Table 2의 6개 서브채널을 이용한 경우의 서브클래스 수와 추출한 샘플 수의 각각 35.5%, 69.2% 수준으로 사용자의 샘플 추출 수작업 부담이 크게 감소하였다.

Table 3. Summary of defined class types, number of subclasses, and number of extracted samples in the classification methods without subchannel configuration

OGCSBN_2023_v39n2_223_t0003.png 이미지

Fig. 6과 Fig. 7은 6개 서브채널을 기본으로 사용하고 NIR 밴드와 NDVI 영상을 각각 추가한 S6_NIR 방법과 S6_NDVI 방법을 이용한 분류 결과를 보여준다. Fig. 6(a)와 Fig. 7(a)는 영상 분할 결과를 적용하기 전의 분류 결과를, Fig. 6(b)와 Fig. 7(b)는 영상 분할 결과를 적용한 최종 분류 결과를 보여준다. 6개 서브채널을 사용하고 NIR 밴드와 NDVI 영상을 각각 추가하여 분류한 결과인 Fig. 6(b)와 Fig. 7(b)에서 흰색 원으로 표시한 영역을 중심으로 볼 때 S6_NDVI 방법이 S6_NIR 방법에 비해 건물 객체를 보다 잘 분류하는 것을 볼 수 있다. 식생 객체는 S6_NDVI 방법과 S6_NIR 방법 모두 도로 주변에 위치한 전체 식생 화소 중에서 일부 화소들만 식생으로 분류가 되었다.

OGCSBN_2023_v39n2_223_t0004.png 이미지

Fig. 6. Classification results of the S6_NIR classification method using 6 subchannels and NIR band. (a) Before applying image segmentation. (b) After applying image segmentation.

OGCSBN_2023_v39n2_223_f0006.png 이미지

Fig. 7. Classification results of the S6_NDVI classification method using 6 subchannels and NDVI image. (a) Before applying image segmentation. (b) After applying image segmentation.

Table 4와 Table 5는 S6_NIR 방법과 S6_NDVI 방법에 대한 정확도 평가 결과를 보여준다. S6_NIR 방법은 overall accuracy는 73.18%, kappa coefficient는 53.66%인 반면에 S6_NDVI 방법은 이보다 다소 높아 overall accuracy는 76.16%, kappa coefficient는 55.56%의 결과를 보였다. 특히 S6_NDVI 방법은 S6_NIR 방법보다 건물 객체 클래스의 생산자 정확도는 더 높고 도로 객체 클래스의 생산자 정확도는 더 낮은 결과를 보였다. 반면에 식생 객체 클래스의 경우 두 방법 모두 낮은 생산자 정확도를 보였다. 이는 NDVI 영상을 입력에 추가하여도 6개 서브 채널 구조하에서는 식생 객체의 정확한 분류가 어려움을 알 수 있다.

Table 4. Accuracy assessment of the S6_NIR classification method using 6 subchannels and NIR band

OGCSBN_2023_v39n2_223_t0005.png 이미지

Table 5. Accuracy assessment of the S6_NDVI classification method using 6 subchannels and NDVI image

OGCSBN_2023_v39n2_223_t0006.png 이미지

Fig. 8과 Fig. 9는 서브채널을 구성하지 않고 RGB 밴드를 기본 밴드로 이용하고 4번째 밴드로 NIR 밴드 또는 NDVI 영상을 이용한 분류 방법(S0_NIR 및 S0_NDVI)의 분류 결과를 각각 보여준다. 두 방법 모두 영상 하단의 좌측과 우측 영역 등에서 도로 객체와 유사한 색상을 보이는 일부 건물들을 제외하고는 대부분의 건물들이 건물 객체 클래스로 분류가 되었다. 도로 객체의 경우 두 방법 모두 유사한 분류 결과를 보였다. 식생 객체의 경우 서브채널을 구성하지 않고 NIR 밴드를 이용한 S0_NIR 방법이 앞서 소개한 6개 서브채널을 기본으로 사용한 S6_NIR 방법과 S6_NDVI 방법보다는 더 많은 화소들이 식생 객체 클래스로 분류되었다. 서브채널을 구성하지 않고 NDVI 영상을 이용한 S0_NDVI 방법은 Fig. 8(b)와 Fig. 9(b)의 흰색 타원 영역의 비교에서도 볼 수 있듯이 앞서 소개한 3가지 방법에 비해 식생 객체로 분류된 화소가 크게 증가하였음을 볼 수 있다.

OGCSBN_2023_v39n2_223_f0007.png 이미지

Fig. 8. Classification results of the S0_NIR classification method(without subchannel configuration and using NIR band). (a) Before applying image segmentation. (b) After applying image segmentation.

OGCSBN_2023_v39n2_223_f0008.png 이미지

Fig. 9. Classification results of the S0_NDVI classification method (without subchannel configuration and using NDVI image). (a) Before applying image segmentation. (b) After applying image segmentation.

Table 6과Table 7은S0_NIR방법과제안하는S0_NDVI 방법에 대한 정확도 평가 결과를 보여준다. S0_NIR 방법은 overall accuracy가 81.79%, kappa coefficient는 67.15%의 정확도를 보여 앞서 소개한 서브 채널을 이용한 두 방법보다 overall accuracy와 kappa coefficient가 크게 향상되었다. 제안한 S0_NDVI 방법의 경우 overall accuracy가 87.42%, kappa coefficient는 77.47%의 정확도를 보여 S0_NIR 방법보다 분류 정확도가 더욱 향상되었다. S0_NDVI 방법과 S0_NIR 방법은 건물 및 도로 객체 클래스의 생산자 정확도가 모두 비슷한 결과를 보였으며, 식생 객체 클래스의 생산자 정확도의 경우 S0_NIR 방법은 37.78%, S0_NDVI 방법은 크게 향상되어 73.33%가 얻어졌다.

Table 6. Accuracy assessment of the S0_NIR classification method (without subchannel configuration and using NIR band)

OGCSBN_2023_v39n2_223_t0007.png 이미지

Table 7. Accuracy assessment of the S0_NDVI classification method (without subchannel configuration and using NDVI image)

OGCSBN_2023_v39n2_223_t0008.png 이미지

서브채널 사용 여부와 NDVI 영상 이용 여부에 따른 4가지 분류 방법의 분류 결과를 비교해 볼 때, 객체 서브 클래스 분류 및 융합 방법을 적용하면 서브채널을 사용하지 않는 방법에 비해서 건물, 도로, 식생의 모든 객체 클래스의 생산자 정확도가 향상된 결과를 보였다. 특히 객체 서브클래스 분류 및 융합 방법과 함께 추가적으로 NDVI 영상을 사용한 S0_NDVI 방법의 경우 식생 객체의 생산자 정확도는 보다 향상된 결과를 보였다. 또한 식생과 건물 객체 클래스의 생산자 정확도는 4가지 방법 모두 높은 정확도를 보였으며 도로 객체 클래스의 경우 서브채널을 사용하지 않은 경우와 NDVI 영상을 사용한 경우가 그렇지 않은 경우보다 각각 상대적으로 높은 생산자 정확도를 보였다.

4. 결론

본 논문에서는 도심 지역의 고해상도 위성영상에서 다양한 색상을 가지는 건물 객체를 포함하여 도로 및 식생 객체를 분류하는 방법을 제안하였다. 제안한 분류 방법은 식생 객체 검출에 유용한 NDVI 영상을 RGB 영상과 함께 사용하여 객체 클래스를 서브클래스로 세분화하여 분류한다. 제안한 분류 방법은 RGB 영상에 대한 서브채널 분할 과정 없이 RGB 영상에서 직접 객체 클래스와 서브클래스를 정의하고 서브클래스 별로 샘플을 추출하는 방식으로 서브채널 분류 방법에 비해 사용자의 샘플 추출의 부담을 줄일 수 있었다. 분류에 사용되는 샘플의 개수는 줄어든 반면에 분류 정확도는 보다 향상된 결과를 얻었다.

제안한 방법으로 실험 영상을 분류한 결과 overall accuracy가 87.42%, kappa coefficient는 77.47%의 정확도를 보였다. 이는 서브채널 방식을 적용하고 입력 영상으로 NIR 밴드를 사용한 방법의 overall accuracy 73.18%와 kappa coefficient 53.66%에 비해 높은 정확도이며, 서브채널 방식을 적용하고 입력 영상으로 NDVI 영상을 이용한 방법의 overall accuracy 76.16%, kappa coefficient 55.56%에 비해서도 높은 정확도를 보였다. 서브클래스로 세분화하고 RGB 영상과 함께 NDVI 영상을 사용 하지 않고 NIR 밴드를 사용한 방법의 overall accuracy 81.79%와 kappa coefficient 67.15%에 비해서도 높은 정확도를 보였다. 특히 제안한 방법은 NDVI 영상을 사용하여 식생 객체 클래스의 생산자 정확도를 크게 향상시키는 결과를 확인할 수 있었다.

본 논문은 다양한 색상을 가지는 도심 지역 객체를 기존의 서브채널 분할 과정 없이 원영상에서 직접 객체 클래스와 서브클래스를 정의하고 추가적으로 NDVI 영상을 사용하여 식생 객체의 분류 정확도를 향상시키는 분류 방법을 제안한 데 의의가 있다. 분류하고자 하는 객체들에 대한 데이터의 사전 확보와 학습이 필요한 딥러닝 기반의 기법에 비해서 제안한 방법은 영상에 존재하는 객체의 종류에 따라 사용자가 객체 클래스 유형과 각 클래스의 서브 클래스 유형을 자유롭게 정의할 수 있는 장점이 있다.

향후에는 건물 객체에 비해 사용자 정확도가 상대적으로 낮은 도로 객체의 분류 정확도 향상에 대한 연구와 함께 건물, 도로, 식생 객체 클래스의 유형 이외에 수계, 그림자 등으로 객체 클래스의 범주를 확장한 연구가 필요하다.

사사

이 연구는 2022년도 극동대학교 교내연구비 지원에 의해 수행된 것임(과제번호: FEU2022S01).

Conflict of Interest

No potential conflict of interest relevant to this article was reported.

References

  1. Blaschke, T., 2010. Object based image analysis for remote sensing. ISPRS Journal of Photogrammetry and Remote Sensing, 65(1), 2-16. https://doi.org/10.1016/j.isprsjprs.2009.06.004
  2. Blaschke, T., Hay, G. J., Kelly, M., Lang, S., Hofmann, P., Addink, E. et al., 2014. Geographic object-based image analysis towards a new paradigm. ISPRS Journal of Photogrammetry and Remote Sensing, 87, 180-191. https://doi.org/10.1016/j.isprsjprs.2013.09.014
  3. Chavolla, E., Zaldivar, D., Cuevas, E., and Perez, M. A., 2018. Color spaces advantages and disadvantages in image color clustering segmentation. In: Hassanien, A., Oliva, D. (eds.), Advances in soft computing and machine learning in image processing, Springer, pp. 3-22. https://doi.org/10.1007/978-3-319-63754-9_1
  4. Kucharczyk, M., Hay, G. J., Ghaffarian, S., and Hugenholtz, C. H., 2020. Geographic object-based image analysis: a primer and future directions. Remote Sensing, 12(12), 2012. https://doi.org/10.3390/rs12122012
  5. Magpantay, A. T., Adao, R. T., Bombasi, J. L., Lagman, A. C., Malasaga, E. V., and Ye, C. S., 2019. Analysis on the effect of spectral index images on improvement of classification accuracy of Landsat8 OLI image. Korean Journal of Remote Sensing, 35(4), 561-571. https://doi.org/10.7780/KJRS.2019.35.4.6
  6. Seong, S. and Choi, J., 2021. Semantic segmentation of urban buildings using a high-resolution network (HRNet) with channel and spatial attention gates. Remote Sensing, 13(16), 3087. https://doi.org/10.3390/rs13163087
  7. Wang, H. and Fang, M., 2022. Building extraction from remote sensing images using deep residual U-Net. European Journal of Remote Sensing, 55(1), 71-85. https://doi.org/10.1080/22797254.2021.2018944
  8. Ye, C. S., 2020. Evaluating the contribution of spectral features to image classification using class separability. Korean Journal of Remote Sensing, 36(1), 55-65. https://doi.org/10.7780/KJRS.2020.36.1.5
  9. Ye, C. S., 2021. Object-based image classification by integrating multiple classes in hue channel images. Korean Journal of Remote Sensing, 37(6-3), 2011-2025. https://doi.org/10.7780/KJRS.2021.37.6.3.9
  10. Ye, C. S., Ahn, Y. M., Baek, T. W., and Kim, K. T., 2022. Semantic building segmentation using the combination of improved DeepResUNet and convolutional block attention module. Korean Journal of Remote Sensing, 38(6-1), 1091-1100. https://doi.org/10.7780/KJRS.2022.38.6.1.10
  11. Zha, Y., Gao J. M., and Ni, S., 2003. Use of normalized difference built-up index in automatically mapping urban areas from TM imagery. International Journal of Remote Sensing, 24(3), 583-594. https://doi.org/10.1080/01431160304987