Analyzing Preprocessing for Correcting Lighting Effects in Hyperspectral Images

초분광영상의 조명효과 보정 전처리기법 분석

Abstract

Because hyperspectral imaging provides detailed spectral information across a broad range of wavelengths, it can be utilized in numerous applications, including environmental monitoring, food quality inspection, medical diagnosis, material identification, art authentication, and crime scene analysis. However, hyperspectral images often contain various types of distortions due to the environmental conditions during image acquisition, which necessitates the proper removal of these distortions through a data preprocessing process. In this study, a preprocessing method was investigated to effectively correct the distortion caused by artificial light sources used in indoor hyperspectral imaging. For this purpose, a halogen-tungsten artificial light source was installed indoors, and hyperspectral images were acquired. The acquired images were then corrected for distortion using a preprocessing that does not require complex auxiliary equipment. After the corrections were made, the results were analyzed. According to the analysis, a statistical transformation technique using mean and standard deviation with reference to a reference signal was found to be the most effective in correcting distortions caused by artificial light sources.

1. 서 론

초분광센서(hyperspectral sensor)는 빛 에너지 에 반응하는 대상물의 분광자료를 조밀한 간격으 로 수집하는 센서로(Goetz, 1991), 국내외에서 토지이용현황을 비롯하여 수질, 토양오염, 녹조, 환 경오염, 병충해 조사 등 해양, 농업 및 환경 분야 등에서 활용이 증가하고 있다.

초분광센서는 용도 및 탑재체에 따라 지상용과 항공용, 혹은 위성용 센서로 구분할 수 있다. 사 용하는 장소에 따라 실내 또는 소규모 지역인 경 우 지상측정용 센서를 이용하고, 대상지가 크거나 접근이 곤란한 경우 드론 및 항공기 등에 항공용 센서를 장착 후 사용하게 된다. 지상용 센서를 활 용하는 경우 항공용 센서보다 엄밀한 분광자료를 측정할 수 있으며, 항공용 센서 활용에 앞서 대상 물의 탐지가능성을 지상측정을 통해 판단하고 있 으므로 지상에서의 측정과정은 대단히 중요하다고 볼 수 있다.

지상에서의 분광측정은 대부분 실내에서 작업이 이뤄지며 인공광원을 사용하게 되는데, 이때 인공 광원의 조명효과에 의한 왜곡이 포함되어 정확한 자료해석을 위해서는 적절한 자료처리 기법으로 왜곡을 제거해야 한다. 일반적으로 초분광영상은 전처리, 스펙트럼 분석, 객체 추출이나 분류의 단 계를 거치게 되는데, 전처리 과정에서 방사보정, 대기보정, 노이즈 제거, 영상등록, 데이터 스케일 링 등의 처리를 수행하게 되며, 이러한 전처리 과 정은 초분광영상에서 데이터의 왜곡을 보정함으로 써 다음 단계인 스펙트럼 분석이나 형상 추출, 분 류 등의 정확도를 향상시키는 역할을 한다.

Fig. 1 Environment for capturing indoor images

Fig. 1은 실내에서 인공광원을 이용하여 영상을 취득하는 일반적인 환경으로 그림에서 보는 바와 같이 대상물에 조사된 광량은 광원에서 멀어질수 록 감소하게 되고, 따라서 반사강도 또한 A지점에 서 B지점으로 갈수록 줄어들게 된다. 이러한 특성 은 관측대상물이 동일 재질임에도 불구하고 광원 과의 상대적인 위치에 따라 측정된 스펙트럼에 조 명효과로 인한 반사도(reflectance) 차이가 발생하 게 되며, 정확한 자료해석을 위해서는 전처리과정 을 통해 이러한 분광왜곡을 보정해야 한다.

초분광영상의 분광왜곡 보정과 관련하여 국내에 서는 인공위성이나 드론영상을 대상으로 대기효과 혹은 태양광 보정과 관련된 내용이 주로 연구되었 으며(Kim et al., 2015; Jeon et al., 2019; Song, 2020), 실내 인공광원에 의한 왜곡보정과 관련된 연구는 미흡한 실정이다. 외국에서는 인공광원의 왜곡과 관련된 연구들이 다수 수행되었다. Manea and Calin(2016)은 초분광영상에서 채도, 그림자 및 암전류 노이즈 효과에 대한 조명조건의 영향을 소금샘플을 이용하여 한 개의 광원과 두 개의 광 원조건에서 분석하였다. 결과는 높은 광도에서 영 상의 밝기가 증가하여 정보의 손실이 발생하며, 낮은 광도에서 암전류 노이즈는 분광피크가 발생하 여 영상의 질을 떨어뜨리는 것으로 나타났다. 영상 의 품질은 조명조건에 크게 의존하며, 광도가 완벽 하게 균형을 이룰 때만 좋은 품질의 영상이 취득이 가능함을 제시하였다. Yu et al.(2018)은 초분광 이미징 시스템에서 LED 기반 조명으로 인한 스펙 트럼 왜곡을 보정하는 방법으로 스펙트럼 보정 방 법과 광원 보정 방법을 결합하여 다양한 LED 광 원으로 인한 왜곡을 효과적으로 제시함을 보여주 었다.

Yoon et al.(2020)은 초분광 이미징에서 광도 변화를 보정하기 위한 배경보정 방법을 제안하였 으며, 이 연구에서 샘플의 흡수 특성이 상대적으로 낮은 고정 파장(800nm)에서 광원(light source)의 정규화 스펙트럼 프로파일과 측정된 HSI 강도 값 을 기반으로 대상의 조명 광학 특성을 추정하였다.

본 연구에서는 복잡한 보조장치의 설치가 필요 하지 않는 비교적 적용이 용이한 전처리 기법들을 활용하여 실내 인공광원에 의한 분광왜곡보정 기 법들을 비교 분석하고자 하였으며, 이를 위해서 실내에 영상 촬영을 위한 가장 일반적인 환경을 조성한 후 초분광영상을 취득하고, 전처리 기법을 적용하여 분광왜곡 보정을 수행한 후 그 보정 특 성을 평가하였다.

2. 연구방법 및 데이터 취득

2.1 연구과정

앞서 설명한 바와 같이 실내에서 인공조명을 이용하여 촬영된 초분광영상에는 조명에 의한 분 광왜곡이 포함되며, 이러한 인공조명에 의한 분광 왜곡을 최소화해야 정밀한 분석결과를 얻을 수 있 다. 본 연구에서는 이러한 관점에서 인공광원에 의한 분광왜곡의 최소화 기법 평가를 위해 Fig. 2 와 같은 자료처리 과정을 수행하였다.

데이터취득을 위한 실험환경구축에서는 조명, 관측 카메라의 선정 및 촬영 대상물을 제작하였 고, 조건을 검토하여 카메라 및 조명을 설치하였다. 데이터 취득단계에서는 초분광 카메라를 이용 하여 대상물의 분광자료를 측정하고, 레퍼런스 영 역에 대한 분광자료로 정밀 방사보정 및 샘플 지 점별 반사도 자료를 제작하였다. 방사 보정된 스 펙트럼 자료에 대해 분광왜곡보정을 위한 전처리 를 수행하였으며, 주로 빛의 강도를 완화시키거나 최소화가 가능한 기법으로 흡수특징과 무관한 배 경신호를 보정하는 방법인 continuum removal, derivative를 이용한 변환, log를 이용한 변환, log 와 derivative를 혼용한 변환, 표준편차와 평균을 이용한 통계기반 변환을 적용하였다. Derivative의 경우는 적절한 내삽법이 적용되어야 하며, 본 연구에 서는 three-point(quadratic) lagrangian interpolation 을 적용하였다. 각각의 기법으로 처리된 분광데이 터에서 광원과의 거리에 따른 지점별로 스펙트럼 자료를 추출하고 기준지점의 스펙트럼 자료와 비교 하여 유사성 정도로써 보정정확도를 평가하였다.

Fig. 2 The Procedure of Study

2.2 초분광영상 취득 환경구축

본 연구에서는 초분광영상의 취득을 위해서 400∼1,000nm영역의 가시-근적외선(VNIR) 파장 대를 측정할 수 있는 Specim사의 FX-10 카메라 를 사용하였다(Fig. 3). FX-10 카메라는 회전형 전동 로테이터를 통해 최대 224밴드의 취득이 가 능하며, 카메라의 세부사양은 Table 1과 같다.

촬영을 위한 광원은 초분광센서의 광원으로 가 장 많이 활용되는 중형광원(HLX, 1,000W)인 텅 스텐 할로겐램프를 사용하였으며, 전원공급과 각 도 조절이 가능한 틸팅 헤드형태의 스탠드를 활용 하였다. Fig. 4는 실험을 위해 구축된 데이터 취 득환경으로서 광원에서 발생하는 열과 카메라 센서간에 발생되는 발열 영향을 최소화 하였고, 조 명은 대상물에 대해 예각이 발생하지 않도록 구성 하였다. 대상물의 주요 측정 지점에 대해 조도계 를 이용하여 조도 값을 기록하였고, 조명과 카메라 렌즈 중심의 높이, 측정 대상물의 중심과 카메라까 지의 거리 등 기하학적 조건을 검토하고, 암실상태 를 유지하여 최적의 촬영 환경을 도출하였다.

Fig. 3. FX10 camera and artificial light for hyperspectral image acquisition

Table 1. Specification of FX 10 Camera

Fig. 4 Image acquisition environment

2.3 초분광영상 취득

촬영환경은 광원 및 카메라 높이 100cm, 관측 대상물의 중심과 카메라까지의 거리 120cm, 조명 과 카메라까지의 거리 100cm로 구성하여 대상물을 촬영하였다. Fig. 5의 촬영 대상물은 297mm× 420mm 크기의 백상지로 검정을 위해서 250∼ 1500nm에서 98%의 반사도를 보이는 32mm 크 기의 원형 레퍼런스를 부착하여 자료처리에 활용하였다. Fig. 5에서 w1은 정밀 방사보정을 위한 화이트 레퍼런스에서의 샘플영역이고, r1∼r4는 광원과의 상대적인 위치에 의해 발생하는 분광왜 곡 보정 평가를 위한 샘플영역, cr1은 왜곡보정의 결과 확인을 위한 기준영역이다.

Fig. 5 Captured object and sampling areas

Fig. 6과 같이 취득된 영상에서 신호잡음이 높 은 400∼500nm, 900∼1000nm 파장대는 분석대 상에서 제외하였으며, 광원과 샘플링 지점과의 거 리 차이에 의해서 r1의 조도는 8,300lux, r3는 5,890lux로써 2,410lux의 차이를 보였다.

Fig. 6 Acquired hyperspectral image

3. 조명효과 보정 전처리 및 분석

3.1 방사보정을 통한 영상정규화

가시광-근적외선 영역을 취득하는 대역은 CCD 센서에 의해서 기록된다. 디텍터(detector)는 센서 의 화소 마다 감도에 차이가 발생하고, 각 화소에 서 취득된 반사강도 역시 주변 분광환경에 따라 감 도에 따른 차이가 발생하므로 스캔라인에 해당하는 화소마다 방사보정이 필요하다. 본 연구에서는 line calibration correction을 통해 각 디텍터의 화이트 레퍼런스의 절대 반사강도를 활용하여 LUT(look up table) 형태의 통합 파일을 만들고 LUT 파일을 보정 도구를 이용해서 보정하였다. 연구 대상물질과 같은 환경에서 특정 반사도(98%) 값을 가지는 화이 트 레퍼런스를 동시에 촬영하고 취득된 분광 자료를 기준으로 대상 시료에 대한 상대 반사도를 나타내는 방법을 적용했다. 정규화 영상변환에서 DN(digital number) 값은 각 밴드가 받아들인 반사광량의 절대 치이므로 이를 반사도로 변환하기 위해서는 특수 제 작된 spectralon 재질의 화이트 레퍼런스를 활용하 여 정규화(normalization)한다. 자료변환에는 원시데 이터 DN, darkcurrent 정보, 광원에 따른 방사왜 곡정보 등을 이용해 정규화 영상으로 변환하며, 이 때의 단위는 반사율로써 0∼100% 또는 0∼1의 단 위를 사용하게 된다. Fig. 7은 방사보정 전 영상에 서의 화이트 레퍼런스 스펙트럼이고, Fig. 8은 방사 보정 후 정규화된 영상에서의 스펙트럼이다. 레퍼런스 영역 스펙트럼의 반사도 형상을 통해 방사보 정의 적정성을 확인할 수 있다.

Fig. 7 Reference area spectrum for DN images before radiometric correction

Fig. 8 Spectrum of the reference area in the normalized image after radiometric correction

3.2 분광왜곡 보정 및 분석

방사보정 된 정규화 영상에서 샘플링 지점별로 일정 크기의 영역에 대해 반사도에 대한 스펙트럼 자료를 추출하였으며, 결과는 Fig. 9와 같다. r1, r2, r3 및 r4 영역은 각 위치에서 동일한 조도일 경우 모두 동일한 스펙트럼의 형태(반사강도 및 형상)를 나타내야 하지만 Fig. 9에서 보듯이 동일 매질의 스펙트럼 기준인 cr1과 비교하였을 때 형 상은 유사하나 반사강도가 투광면의 중심으로부터 멀어짐으로 인해 감소하고 있다. w1은 98%의 반 사도를 가지는 화이트 레퍼런스 영역으로 정밀 방사보정을 통해 전체 파장대역에서 그래프가 일정 하게 유지됨을 볼 수 있다.

Fig. 9 Spectrum of the sample areas in original image

Fig. 10 Spectrums of sample area after preprocessing

cr1은 배경물질에 대한 광원효과 보정 및 정확 도 평가를 위한 기준영역으로 레퍼런스 영역인 w1의 방사보정을 통해 cr1의 배경물질에 대한 고 유 분광자료를 생성하였다. 방사 보정된 cr1의 분 광자료를 기준으로 r1, r2, r3, r4의 배경물질에 대한 전처리를 적용하여 전처리 기법별 성능 분석 에 활용하게 된다.

Fig. 10은 방사보정 된 정규화 영상에 전처리 기법을 적용하여 분광왜곡 보정을 수행한 결과로 서 샘플영역의 스펙트럼이다.

(a)는 continuum removal 기법을 적용한 것으 로서 r1, r2, r3, r4의 스펙트럼을 기준값인 cr1과 비교하였을 때 반사강도와 형태가 비교적 유사하게 조정되었음을 확인할 수 있다. (b)는 derivative 기 법을 적용한 결과로써 r4를 제외하고 반사강도는 유사하나 형상의 유사성이 전반적으로 낮아지는 것을 볼 수 있다. (c)는 log(1/영상)를 적용한 결 과로써 스펙트럼 형태의 유사성은 유지되나 반사 강도에 대해서는 보정효과가 미미한 것으로 나타 났다. (d)는 log(1/영상)의 결과에 derivative 기법을 적용한 결과로써 (b)의 성과와 유사하게 반사강도 는 유사하나 형태의 유사성이 낮아지는 결과를 보 였다. (e)는 cr1과 평균 및 표준편차의 유사성을 가지도록 통계적으로 처리한 것으로 기준값인 cr1 과 비교하였을 때 반사강도와 형태가 적용기법 중 에서 가장 유사하게 조정되는 것으로 나타났다.

연구결과에서 적용 가능한 보정효과를 보인 continuum removal기법과 통계기반 변환에 대한 추가적인 실험 및 분석을 수행하였으며, 보정 스펙 트럼과 기준 스펙트럼의 비율인 유사성과 값의 차이 를 계산하였다. 유사성은 100%에 가까울수록 높고, 멀어질수록 낮아지는 것으로 분석결과 continuum removal기법의 경우 99.68∼102.39%, 통계기반 처리는 99.48∼100.45%의 범위를 보였다(Fig. 11). Fig. 12는 보정값과 기준값의 차이를 계산한 그래프 로서 통계적 변환처리기법이 continuum removal기 법에 비해 값의 변화가 크지 않고 일정함을 보였다.

Fig. 11 Ratio of the preprocessed spectrum to the reference spectrum

Fig. 12 Difference between preprocessed and reference spectrum

4. 결 론

초분광영상은 넓은 파장 범위에서 물체들이 반 사 또는 방출한 빛의 스펙트럼 정보를 기반으로 한 영상으로써 색상, 표면 특성, 조성, 온도 등의 물리적 특성을 분석 및 파악할 수 있으므로 지리 학, 환경, 농업, 식품 및 의학 등 다양한 분야에서 활용가능하다.

그러나 초분광 센서를 이용한 실내외 영상취득 과정에 있어서 광량의 영향으로 측정된 자료의 정 확도가 감소하여 미세한 변화를 분석하는데 오류 가 발생할 수 있으며, 미세한 변화 관측을 위해서 는 이러한 왜곡보정을 위한 적절한 자료처리 방법 이 필요하다. 이에 본 연구에서는 발생하는 다양 한 왜곡 중에서 인공광원에 의한 분광왜곡의 보정 을 복잡한 보조적인 장치 없이 비교적 용이하게 수행할 수 있는 방법에 대한 평가를 수행하였다.

그 결과, 실내 측정환경에서 정밀하게 관측된 기준 자료가 있는 경우 표준편차와 평균을 이용한 통계기반 변환의 적용이 가장 보정효과가 우수한 것으로 평가되었고, 이에 외부 환경에서 측정되는 원격탐사의 경우에도 기준자료의 측정이 가능한 경 우 통계기반 변환처리 방법의 적용이 가능할 것으 로 판단된다. 그러나 외부 환경에서 관측되는 원격 탐사의 경우에는 기준 자료의 측정이 실내처럼 용 이하지 않은 경우가 많으므로 정밀 관측 기준자료 가 없거나 부족한 경우에는 continuum removal 기법도 편위된 광량에 의한 왜곡보정에 적용이 가 능한 것으로 분석되었다. 본 연구에서는 단일광원 에 의해 발생한 왜곡보정에 대한 연구를 수행하였 으며, 추후 복합광원 및 배경에 농도가 다른 경우 와 같이 복잡한 환경에 대한 연구가 추가되어야 할 것으로 사료된다.

감사의 글

이 논문은 2022년도 인하공업전문대학 학술연 구사업 지원에 의하여 연구되었음.