Design of an Infrared Camera using a Dual-band Infrared Detector

이중대역 적외선 검출기를 이용한 적외선 카메라 설계

Abstract

Infrared scenes usually contain also spectral information which cannot be resolved using normal single-band infrared cameras. Multispectral infrared imaging cameras give access to the comprehensive information contained within infrared scenes. A Dual-band infrared Camera, a type of multispectral infrared imaging cameras, has the advantage of simple system. A Dual-band Infrared Camera gives access to the spectral information as wells as the temperature information within infrared scenes. Multispectral imaging generally increases the detection and identification performance of a Dual-band Infrared Camera. This paper describes a design of an infrared Camera using a Dual-band Infrared Detector to simultaneously receive infrared radiation from the medium-wave infrared/long-wave infrared(MWIR/LWIR) bands.

적외선 영상은 온도 정보뿐만 아니라 파장 정보를 포함하고 있으며 이는 단일 파장의 적외선 카메라로는 분석이 불가능하다. 다중 파장 적외선 카메라는 적외선 영상에 포함된 광범위한 정보를 획득할 수 있다. 다중 파장 적외선 카메라의 한 종류인 이중대역 적외선 카메라는 시스템 구성을 쉽게 할 수 있다는 이점이 있다. 이중대역 적외선 카메라는 적외선 영상에 포함된 온도정보 뿐만 아니라 파장 정보를 획득할 수 있고 이를 통해 적외선 카메라의 탐지/식별 성능을 향상시킬 수 있다. 본 논문에서는 중적외선 대역과 원적외선 대역을 동시에 획득할 수 있는 이중대역 적외선 검출기를 이용한 적외선 카메라의 설계에 대하여 기술한다.

Ⅰ. 서론

적외선 카메라는 물체에서 방사되는 복사에너지를 감지하여 영상으로 획득하는 장치로써, 사람의 눈으로 식별하기 힘든 것들을 탐지할 수 있는 특성 때문에 군사적인 목적뿐만 아니라 산업, 의료, 소방 등 다양한 분야에 사용되어지고 있다^[1][2]. 적외선 영상은 온도 정보뿐만 아니라 파장 정보를 포함하고 있으며 이는 단일 파장의 적외선 카메라로는 분석이 불가능하다. 파장별 특성이 다른 적외선 영상의 특징 때문에 단일 파장 영상으로 다른 대역의 영상으로 변환하는 연구도 진행되고 있다.^[3] 다중 파장 적외선 카메라는 적외선 영상에 포함된 광범위한 정보를 획득할 수 있고 이를 통해 적외선 카메라의 탐지/식별 성능을 향상시킬 수 있다. 다중 파장 적외선 카메라는 물체를 식별하는 데 우수하며, 이를 이용해 인공 물체나 유기물, 무기물 물체 등을 인식하고 식별할 수 있다.^[4][5] 초분광 적외선 카메라도 초분광 영상을 획득하여 분광 정보 분석을 통해 물체의 재질 분석이나 분류에 우수한 성능을 가지고 있으며, 획득된 초분광 영상은 딥러닝을 사용한 분류 방법 개발을 위한 학습 데이터로 사용하기도 한다.^[6] 초분광 적외선 카메라는 다중 파장 카메라에 비해 많은 분광 정보를 이용해 물체의 분류에 우수한 성능을 가지나 Frame rate가 낮고 분광을 수행하기 위한 구성품으로 인해 시스템이 복잡하다. 반면 다중 파장 적외선 카메라의 하나인 이중 대역 적외선 카메라는 특성이 다른 두 파장의 영상을 획득하여 합성함으로써 물체 식별 성능이 우수하며, 시스템 구성이 단순하여 사용이 쉽고 다양한 플랫폼에 탑재하여 여러 목적으로 활용이 가능하다.

본 논문에서는 중적외선 대역과 원적외선 대역을 동시에 획득할 수 있는 이중대역 적외선 검출기를 이용한 적외선 카메라의 설계/제작 결과에 대하여 기술한다.

Ⅱ. 이중대역 적외선 카메라 설계

이중대역 적외선 검출기를 이용한 적외선 카메라(이하 이중대역 적외선 카메라)는 이중대역 광학계를 통하여 표적에서 방사되는 중적외선 및 원적외선 에너지를 이중 대역 적외선 검출기에 집광하고, 집광된 적외선 신호는 이중대역 적외선 검출기에서 전기적 신호로 변환된다. 변환된 아날로그 적외선 신호는 영상획득카드에서 디지털 신호로 변환 후 적외선 신호의 각 픽셀 간 불균일성을 보정한 후 Camera-Link 인터페이스를 통해 PC로 전송하여 영상으로 전시 및 저장이 가능하다. 이중대역 적외선 카메라의 주요 사양은 표1과 같다.

표 1. 이중대역 적외선 카메라 사양

Table 1. Specifications of Dual-band Infrared Camera

1. 이중대역 적외선 광학계

이중대역(중적외선/원적외선) 적외선 에너지를 검출기의 FPA(Focal Plane Array)에 집광시키기 위해서는 이중대역의 파장을 투과시킬 수 있는 적외선 광학계를 적용하여야한다. 이를 위해 STINGRAY社의 광대역 광학계를 적용하였으며, 주요 사양은 표2와 같다.

표 2. 광학계 사양

Table 2. Specifications of Lens Assemblies

그림1에서와 같이 선정된 광학계는 3.0um ~ 12.0um 파장의 평균 투과율이 76.9% 이상으로 중적외선 신호와 원적외선 신호를 동시에 획득하기에 적합하다.

그림 1. 광학계 투과율

Fig. 1. Transmission of Lens Assemblies

2. 이중대역 적외선 검출기

광학계에서 집광된 이중대역(중적외선/원적외선) 적외선 에너지를 전기적 신호로 변환하기 위해 Selex社의 이중대역 적외선 검출기를 적용하였다. 선정된 이중대역 적외선 검출기는 CdHgTe 재질의 검출기로 동일 프레임 내에서 동시에 중적외선 신호와 원적외선 신호를 검출가능하다. 이중대역 적외선 검출기의 주요 사양은 아래 표3와 같다.

표 3. 이중대역 적외선 검출기 사양

Table 3. Specifications of Dual Waveband Infrared Detector

3. 이중대역 적외선 영상획득카드

이중대역 적외선 영상획득카드는 이중대역 적외선 검출기를 제어하여 아날로그 적외선 영상 신호를 획득하는 기능을 수행한다. 또한 획득된 아날로그 적외선 영상 신호를 디지털 신호로 변환하여 실시간 불균일보정(NUC : Non Uniformity Correction)을 수행한 후 Camera-Link 인터페이스를 통해 PC로 전송하는 역할을 수행한다. 그림 2.는 이중대역 적외선 영상획득카드의 기능계통도이다.

그림 2. 이중대역 적외선 영상획득카드 블록도

Fig. 2. Block Diagram of Dual-band Infrared Image Acquisition B/D

이중대역 적외선 영상획득카드는 검출기 제어 및 A/D 컨버터 제어, 불균일보정, 영상 포맷 구성 등을 위한 프로세서로 Xilinx社의 FPGA인 ARTIX-7 시리즈를 적용하였다. 그림 3.은 FPGA 내부 블록도이다.

그림 3. FPGA 블록도

Fig. 3. Block Diagram of FPGA

FPGA에서 제어 및 I/F 하는 검출기 제어, 메모리 제어, ADC I/F 등 각 기능별 모듈로 구성하여 설계하였다.

이중대역 적외선 검출기는 전원과 제어신호를 입력하면 8채널의 출력 채널을 통해 획득된 아날로그 적외선 영상 신호를 출력한다. 이를 이중대역 적외선 영상획득 카드에서는 14bit A/D 컨버터를 적용하여 Sampling Rate 10MHz 속도로 디지털 신호로 변환한다. 적외선 영상 신호는 적외선 검출기 각 픽셀간의 반응도 차이, Cos⁴효과, 영상획득카드 내 전송 채널 간의 차이 등에 의해 불균일한 영상 특성을 가지며, 이를 불균일보정을 수행함으로써 영상의 품질을 향상시킬 수 있다. 본 논문에서는 가장 일반적으로 사용되는 기법인 two point correction 기법을 사용하였다.^[7] 이 기법은 균일한 두 온도원을 이용해 검출기 각 소자의 gain과 offset을 획득하는 방법으로, 적외선 검출기가 동일한 양의 적외선 에너지에 노출되면 각 검출기의 반응도는 동일하고, 그 반응도는 선형적이라는 것에 기초한다. 검출기 각 소자의 반응도는 아래의 식(1)과 같이 표현될 수 있다.

r = gf + d       (1)

여기서 r은 검출기의 반응도, f는 적외선 신호 flux, g는 gain, d는 offset을 의미한다. 식 (1)을 f에 대해 풀면 보정된 영상을 획득하기 위한 식 (2)를 유도할 수 있고 이를 FPGA를 이용해 실시간으로 픽셀 단위로 연산을 수행하도록 불균일보정을 구현하였다.

\(\begin{aligned}f=(r-d) \times \frac{1}{g}\\\end{aligned}\)       (2)

그림 4는 FPGA 내부 불균일보정 연산 개념도이다.

그림 4. FPGA 내부 불균일보정 개념도

Fig. 4. Principle Diagram of Non Uniformity Correction in FPGA

실시간 불균일보정을 수행하기 위해 먼저 실험을 통해 구해진 불균일 보정 계수를 SPI FLASH에 저장한다. 전원이 인가되면 FLASH에 저장되어 있는 불균일 보정 계수를 고속 연산을 위해서 DDR3L에 저장한다. 안정적인 불균일보정 연산을 위해 DDR3L에 저장된 불균일 보정 계수는 FPGA 내부 BRAM올 통해 NUC_ALU와 인터페이스하며 80MHz의 속도로 연산을 수행한다. 불균일 보정된 영상은 배드픽셀에 대한 보상을 수행 후 Camera-Link 포맷의 영상으로 생성하여 Camera-Link Transmitter를 통해 외부로 전송 된다.

Ⅲ. 이중대역 적외선 카메라 제작

그림 5.는 제작된 이중대역 적외선 카메라의 형상이다. 이중대역 광학계를 고정하고 이중대역 적외선 검출기와 영상획득카드의 보호를 고려해 케이스를 제작하였다.

그림 5. 이중대역 적외선 카메라

Fig. 5. Dual-band Infrared Camera

그림 6.은 제작된 이중대역 적외선 영상획득카드이다. 두께 1.6T 기준으로 총 14층 Layer로 제작되었으며, 방열을 고려한 부품 배치와 고속 DDR 메모리 관련 Impedance를 고러하여 설계하였다.

그림 6. 이중대역 적외선 영상획득카드

Fig. 6. Dual-band Infrared Image Acquisition B/D

이중대역 적외선 카메라는 중적외선 대역과 원적외선 대역의 영상 동시에 획득하여 Camera-Link 인터페이스를 통해 출력한다. 이를 동시에 전시하고 특성을 분석하기 위해 그림 7.과 같이 영상획득용 SW를 설계/제작하였다. Cameral-Link I/F를 지원하는 Frame Grabber를 통해 이중대역 적외선 영상을 동시에 실시간으로 획득하여 전시 가능하며 각 영상의 Histogram 값과 픽셀값을 분석할 수 있다. 또한 각 전시되는 영상의 전처리(Plateau Equalization, Min-Max, Percent)를 선택하여 적용할 수 있다.

그림 7. 이중대역 적외선 영상획득 SW

Fig. 7. Dual-band Infrared Image Acquisition SW

그림 8.은 제작된 이중대역 적외선 카메라로 동시에 획득한 중적외선 대역(왼쪽)과 원적외선 대역(오른쪽)의 영상이다. 중적외선 대역은 물체로부터 방사되는 에너지와 주변 빛에 의해 반사되는 에너지로 신호가 구성되고, 원적외선 대역의 영상은 물체로부터 방사되는 에너지로만 신호가 구성된다. 각 대역의 특성이 이중대역 적외선 카메라로 획득된 영상에 반영되어 있다.

그림 8. 이중대역 적외선 영상

Fig. 8. Dual-band Infrared Image

Ⅳ. 결론

본 논문에서는 이중대역 적외선 카메라를 설계/제작에 대해여 기술하였다. 이중대역 적외선 광학계와 검출기는 상용품을 선정하여 적용하고, 이중대역 적외선 영상획득카드는 개발하여 카메라를 구성하였다. 이중대역 적외선 영상획득카드는 검출기 제어 및 A/D 컨버터 제어, 불균일보정, 영상 포맷 구성 등을 위한 프로세서로 Xilinx社의 FPGA인 ARTIX-7 시리즈를 적용하고, 외부 메모리로는 SPI FLASH와 DDR3L을 적용하여 실시간으로 불균일보정을 연산을 수행하도록 하였다. 또한 영상 획득용 SW를 설계/제작하여 제작된 이중대역 적외선 카메라의 영상을 동시에 전시하고 특성을 분석하였다.