Classification of Hyperspectral Image Pixel using Optimal Band Selection based on Discrete Range

이산 범위 기반 최적 밴드 추출을 이용한 초분광 이미지 픽셀 분류

Abstract

Unlike or common images, Hyperspectral images were taken by continuous electromagnetic spectral into numerous bands according to wavelengths and are high-capacity high-resolution images. It has more information than ordinary images, so it is used to explore objects and materials. To reduce the amount of information in hyper-spectral images to be processed, band selection is utilized. Existing band selection techniques are heuristic techniques based on statistics, which take a long time and often lack generality and universality. To compensate for this, this paper utilizes quantization concept to draw representative bands through Discrete Range, we use them for band selection algorithm. Experimental results showed that the proposed technique performed much faster than conventional band selection methods, and that the performance accuracy was similar to that of the original even though the number of bands was reduced by one-seventh to one-tenth.

초분광 이미지는 일반 이미지와 달리 전자기 스펙트럼을 파장에 따라 수많은 밴드로 나누어 촬영된 것으로 고용량 고해상도 이미지이다. 일반 이미지보다 정보량이 많아 물체나 물질 탐사에 활용된다. 처리할 초분광 이미지의 정보량을 줄이기 위해 밴드 선택(band selection)기법을 활용한다. 기존 밴드 선택기법들은 통계를 바탕으로 하는 휴리스틱한 기법으로, 시간이 오래 걸리며, 일반성과 보편성이 떨어지는 경우가 많다. 이를 보완하기 위해 본 논문에서는 양자화 개념(Quantization)를 활용하여, 이산 범위(Discrete Range)를 통해 범위별로 대표적인 밴드를 뽑아 밴드 선택에 사용한다. 실험 결과를 통해 제안 기법이 기존 밴드 선택 방식보다 수행 시간이 매우 빠르며 밴드 수를 1/10~1/7로 줄였음에도 원본과 성능 정확도가 유사함을 보였다.

Ⅰ. 서론

1. 연구내용

초분광 영상^[6]은 수백 개의 분광 채널을 통해서 대상 물체의 특성을 나타내는 연속적인 스펙트럼을 수집하는 센서를 활용해 촬영한 영상이다. 초분광 이미지^[1]처리란, 공간 정보에 분광 기술을 더한 것으로 전자기파의 스펙트럼 밴드에 따른 2차원적인 영상정보를 초분광 큐브 형태로 특징을 추출하는 기술이다. 주로 원격 탐사^[1]에 활용되는데, 위성이나 항공기에 실려 지질 상태, 기상, 작물 생장들을 확인하고 분석한다. 점차 환경, 국방, 의료, 식품, 농업, 머신 비전, 광물 분야 점차 영역이 넓어지고 있다. 초분광 영상은 1초에 수만 장의 스펙트럼의 밴드로 이미지를 저장하고, 고해상도의 영상이라, 직접적으로 모든 밴드를 활용하기가 어렵다. 이 논문에서 3가지 문제점을 제시하여, 솔루션을 제시한다.

첫 번째로, 필요한 스펙트럼의 영역을 찾아서, 필요한 특징을 추출하여 활용하는데, 실제로 대상 물체에 대해서 잘 추출되는 파장을 분석하여, 단시간으로 특징 추출하기가 어렵다. 두 번째, 밴드 선택(band selection) 에대해서 어떤 한 지역에 대해서 적용되는 것뿐만 아니라, 다른 지역에 대해서도 일반성과 보편성을 띠면서 추출하기가 어렵다. 세 번째, 모든 스펙트럼 밴드를 기계학습과 딥러닝 모델에 적용하여 실시간 분석이 어렵다.

본 논문에서는, 밴드별로, 픽셀의 최댓값과 최솟값 차이를 활용하여, 양자화를 활용한 수식 값에 차이값을 대입해, 이산된 범위별로 밴드를 분류한다. 분류된 밴드 집합별로 대표적인 값을 선택하는 방식을 제안한다.

2. 관련 연구

가. Simulated Annealing method

Simulated annealing^[4]은 근방 솔루션이 현재 솔루션보다 좋다면 항상 현재 솔루션을 업데이트^[13]하며, 근방 솔루션이 현재 솔루션보다 좋지 않더라도 특정한 확률로 그 근방 솔루션을 받아 현재 솔루션을 업데이트하는 구조로 확률적 휴리스틱 방식이다. 온도라는 파라미터로 제어하며, 온도가 높을수록 현재 솔루션보다 좋지 않을 솔루션을 받아들이는 확률이 커지고, 반대로 온도가 낮아지면 솔루션을 받아들이는 확률이 작아지게 된다. 점차 최적 솔루션으로 탐색을 좁혀가는 방식이다.

\(p(x)=e^{\frac{-\Delta f(x)}{k T}}\)       (1)

나. Principal Component Analysis(PCA)^[7]

PCA 기법은 데이터를 각 성분에 대해서 분석하는 것이 아니라, 여러 데이터의 분산을 보존하며, 고차원 공간의 표본들을 저차원 공간으로 변환하여 데이터 차원에서 가장 주요한 성분을 순대로 추출하는 기법이다.

다. Mutual Information

상호 정보량(Mutual Information)^[2,9]은 두 사건 사이에 얼마나 밀접한 관계가 있는지를 확률적으로 계산하는 방법으로, 두 사건에 대해서 독립적이며 상호 정보량은 0에 가까워지고, 교집합이 있을 때, 확률값이 커진다.

\(I(A, B)=\sum_{A \in A, B \in B} p(A, B) \log \frac{p(A, B)}{p(A) p(B)}\)        (2)

Ⅱ. 제안 기법

1. 이산 범위별로 대표하는 밴드추출(DI)

양자화(Quantization)^[3]에서는 표현하고자 하는 최솟값, 최댓값 사이 범위를 이산 값(discrete value)^[3] 값들로 주기 위해서, 사용하고자 하는 정수 비트의 수를 정해, 비트의 수만큼 2에 제곱하여, 표현하고자 하는 실수 범위에 나눈다.

그림 1. 밴드별 스펙트럼 히스토그램 일부(x:밴드수 / y: 픽셀 data-checked="false">반사율)

Fig. 1. Part of the spectrum histogram divided by band (x:number of band / y: pixel reflection of band)

양자화 스텝(Quantization step)^[3]의 범위를 정해 양자화 레벨(Quantzation level) 를 설정하여, 실숫값 과정 숫값을 대응하게 된다. 비슷한 특징이 추출되는 밴드는 밴드들의 구성이 비슷하다. 이 논문에서는 픽셀별 반사율의 최솟값과 최댓값을 활용하여, 이산 범위를 통해 밴드를 분류한다. ∆r은 각 밴드에서 픽셀의 최소와 최댓값의 차이를 α자리로 나누고 반올림한다. 다시 α자리만큼 곱한다. 밴드별로 진행했을 때. 같은 ∆r을 가진 밴드들끼리 분류를 한다. n개의 ∆r기준으로 카테고리를 가진 집합 m개수가 나오게 된다, 수식을 보면, R 집합은 ∆로 같은 차이를 가진 밴드의 집합이다. 통계적으로, α=3과 4일 때 높은 성능이 나왔다.

\(R_{n}=\left\{b_{1}, b_{2}, b_{3}, \ldots, b_{m}\right\}\)        (3)

\(\Delta r_{n}=\partial\left(\left(P_{i_{\text {Mee }}}-P_{i_{\text {Min }}}\right) / 10^{\alpha}, 3\right) * 10^{\alpha}\)       (4)

각 R 집합에서 밴드별로 Ground Truth 이미지와 상호 정보량을 측정하여, 각 집합 내에서 가장 높은 밴드를 선택하여 대표해 총 n개의 밴드를 선택한다.

2. Mutual Information & Classification accuracy(MC)

논문^[4]에서, 제안된 목적 함수(Objective Function) 를 활용한다. 목적 함수를 위에서 언급한, 시뮬레이티드 어닐링 기법^[4]으로 일정 수의 밴드씩 뽑아, 최적의 밴드를 찾아가지만, 이 논문에서는, 3.1의 범위로 나눠진 집합별로 밴드 2개씩 뽑아 목적 함수의 결괏값이 가장 높은 밴드로 추출한다. 한 집합에 m개의 요소가 있다고 하면, 집합당 m(m-1)번 가짓수에 가장 높은 경우의 수의 연산을 한다. Y = {C₁, C₂, …, C_m}는 클래스를, X = {X_i, X_j}는 선택된 특징/밴드이다. 만약 f_i = 1이면 밴드가 선택된 것이고, 훈련하는 데 사용된다. 하지만 f₁ = 0 일 때는 선택되지 않은 것이다. 분류기는 0.2 비율로 학습을 시켰다.

Accuracy term

\(\left\{\begin{array}{l} \operatorname{accuracy}(N) \\ =\frac{\sum_{i=1}^{N} \text { assess }\left(p_{i}\right)}{N}, n_{i} \in N \\ \operatorname{assess}\left(p_{i}\right)=\left\{\begin{array}{l} 1 \text { if dassify }\left(p_{i}\right)=c \\ 0 \text { otherwise } \end{array}\right. \end{array}\right.\)       (5)

Relevance term

\(\operatorname{Erelevance}(F)=\frac{\sum_{i=1}^{n} f_{i} \times I\left(X_{i} ; Y\right)}{\sum_{i=1}^{n} I\left(X_{i} ; Y\right)}[2]\)       (6)

Accuracy term 와 Relevance term 로 목적 함수^[4]를 구성하게 된다. 3.2 기법으로, 뽑히게 되는 밴드의 수는 2n개가 된다.

\(E=\operatorname{accuracy}(N)+\text { Erelevance }\)       (7)

Ⅲ. 실험 및 결과

1. 데이터셋

가. Indian Pines(IP)^[10]

이 장면은 북서부 인도파인즈 시험장 위에 AVIRIS센서로 수집된 파장 범위 0.4~2.510-6m의 (145, 145) 픽셀과 220개의 스펙트럼 반사 대역 밴드로 구성되어있다. 16개의 클래스로 구성되어있다.

나. Pavia Centre and University(PC/PU)^[11]

두 장면은 ROSIS 센서가 이탈리아 북부 파비아를 비행하는 동안 획득한 장면이다. 파비아 센터는 (1096, 715)픽셀로 구성되고, 파비아 대학은 (610, 340)으로 구성되어있다. 그리고 9개의 클래스로 구성되어있다.

그림 2. 데이터셋별 크롭된 Ground Truth

Fig. 2. Ground Truth cropped between datasets

밴드 선택 기법 미적용한 K-최근접 이웃 분류기(classifier)의 학습과 테스트를 7:3 비율^[4]로 나눈 결과이다.

2. 실험 결과

본 연구에서 제시한 밴드 선택을 적용하지 않은 방법 (original)과 밴드 선택 적용 기법을 K-최근접 이웃 분류기^[4] 비교했다. K-최근접 이웃 클래스분류기 (K-Neightbor classifier)^[5]를 k=5로 적용하여, 5번 테스트 결과 평균이다. 아래 표를 보면 그림3의 모든 밴드를 사용했을 때와 결과 예측된 Ground Truth를 보더라도, 유사한 결과가 나오는 것을 알 수 있다.

그림 3. 데이터셋별 밴드 선택을 미적용하여 분류기의 크롭된 결과

Fig. 3. As a result of becoming a clop classifier without band selection between datasets.

그림 4. 밴드 선택 알고리즘 적용 후 클래스파이어 결과

Fig. 4. Applied band selection, classifier result

기존과 DI알고리즘과 비교하더라도, IP 데이터셋에서약 0.06정도 낮은 결과만 보이고, 다른 데이터셋에 대해서는 거의 동등한 성능을 보여주었다. 한 종류의 데이터셋이 아닌 다양한 데이터셋을 비교하여, 고정된 밴드 수의 추출이 아닌 데이터셋마다, 이산된 범위를 달리하여, 밴드의 수를 조정함으로써, 보편적으로, 적용이 가능한 것을 알 수 있다.

그리고 실험에서 구현한 SA알고리즘^[4] 소요 시간이 PA데이터셋 기준으로 12시간 걸리지만, DI 알고리즘을 사용할 시에는 평균 15초가 걸리며, MC알고리즘은 40 분 ~ 1시간 정도로 소요되었다. 기존 밴드 선택 알고리즘 보다 12배(MC비교) 단축했다.

그림 5. 제안 기법과 기존 기법의 정확도(DI와 MC는 이 논문에서 제안된 방법이고, SA[4]는 시뮬레이트 어닐링 방법이고, Original은 밴드 선택을 미적용 방법)

Fig. 5. The accuracy of the proposed and existing methods (DI and MC are the proposed methods in this paper, SA[4] is the simulated annealing method, and Original is the method without band selection).

표 1. 제안된 DI 알고리즘과 밴드 선택 미적용시 클래스 파이 어의 예상된 클래스에 대한 리포트 결과

Table 1. Proposed a DI algorithm and Report results for expected classes in classifier without band selection

Ⅳ. 결론

본 연구에서는, 기존 밴드 선택 SA알고리즘의 적용 시간이 많이 소요되는 점을 보완한 기법으로, 밴드별로 픽셀의 최댓값과 최솟값 차이를 양자화를 하여, 밴드를 분류한다. 분류된 밴드 집합별로 대표적인 값을 선택하는 방식을 제안했다.

MC 알고리즘에서 집합별로 대표 밴드를 선택할 때의 연산을 멀티스레드 사용하여, 40분보다 40* 1/집합 수로 감소할 것이 예상되며, 앞으로는 멀티스레드 적용 및 임베디드 기기에 알고리즘 적용 전력 소모와 시간 소요 시간을 상세하게 비교하는 실험을 동시에 진행할 예정이다.