클러터 환경에서 correlation filter기반 소형 고속 이동 표적 추적 시스템

Small/Fast Moving Target Tracking base on Correlation Filter in Clutter Environment

Abstract

광학시스템에서 가장 중요한 기술 중의 하나는 고속으로 이동하는 표적을 지속적으로 추적할 수 있는 고속 자동 표적 추적 시스템이다. 본 논문은 원거리 소형 표적에 대해서 고속으로 이동하는 표적에 대해서 급격한 형태 변화에도 강인한 상관 트렉커 기반에 자동 표적 추적 시스템을 설계한다. 본 논문은 IR 영상에서 $3{\times}3$ 이상의 표적에 대해서 4ms 내에 고속으로 표적을 추적하기 위한 커널 함수와 correlation filter 설계 최적화 방법을 제시하고, 이를 VxWorks와 같은 실시간 O/S 하에서 짐벌과 함께 연동하여 시험을 수행한다. 제안된 알고리즘의 성능 검증을 위해서 실제로 복잡환경에서 기동하는 드론, 비행체를 대상으로 IR 카메라로 영상을 획득한 후 이를 실시간 보드상에서 시험을 진행한 결과 응답시간 4ms이하에서 약 98% 추적 성공률를 보였다.

On today, optical system are the next generation weapon systems being studied in many countries, starting from USA. One of the most important technologies in optical system is a high-speed automatic target tracking system that can continuously track high-speed moving small targets. This paper designs an automatic target tracking system based on a correlated trekker that is robust against rapid shape changes for fast moving targets and small targets at a distance. The proposed system showed about 98% success rate in response to the targets that are under a complex background such as drone, ranger, etc.

Ⅰ. 서론

오늘날 광학 시스템^[1] 개발은 전 세계적으로 가장 많이 연구되고 있는 기술 중의 하나이다. 광학시스템의 핵심 기술 중의 하나는 표적을 효과적으로 추적하는 표적추적 기술이다.

지상 거치형 광학 시스템은 광학 장치와 영상 장치를 이용하여 표적을 탐지/추적하며, 이러한 경우 표적이 고속으로 기동하기 때문에 매우 빠른 속도로 표적을 탐지 추적해야하는 어려움이 존재한다. 이러한 추적 시간의 문제는 표적 추적 알고리즘을 고도화하기에 매우 큰 제약이 될 수 있다.

표적 자동 추적 시스템의 갖는 기술적은 문제는 다양한 환경에 표적이 노출 될 수 있으며, 표적 이동 간 표적의 형태 및 크기가 변하여 표적을 효과적으로 추적하기에는 매우 어려움이 따른다. 아래는 다양한 환경에서의 표적들에 대한 예제이다. 그림에서 알 수 있듯이 표적의 크기가 작아서 복잡한 환경에 표적이 존재할 때 표적의 형태를 정확하게 파학하기 어려움이 있다.

그림 1. 클러스터 환경에서의 이동 표적

Fig. 1. Moving Target In clutter

기존에 표적 추적 알고리즘은 많은 연구가 진행되어졌다. 그 중 대표적인 알고리즘으로 OAB^[2], IVT^[3], MIL^[4], TLD^[5] 등이 있다. 표적 추적 알고리즘의 주요 기능은 아래와 같다.

그림 2. 표적 추적 알고리즘 주요 기능

Fig. 2. main Function for Target Tracker

Object Modeling 은 입력 영상에서 표적을 모델링하는 방법으로써 Holistic templates(raw intensity value) 나 HOG 나 color histogram 과 같은 visual features 방식 등이 있다[6,7]. Search Mechanism 은Motion 계수나 Gradient Descent Method와 같은 Deterministic 이나 particle filter 와 같은 통계적인방법이 사용되어 진다. Model update 는 표적의 모양이나 크기가 변했을 때 object reference 모델을 갱신시키는 방법으로써, online mixture model, online boosting 그리고 incremental subspace update 등의 방법이 제안되었다. 마지막으로 context and fusion 은 표적 주위에 존재하는 context 정보를 표적추적에 적용함으로써 표적추적의 성능을 높이는 방법이다.

본 논문은 object modeling, search mechanism, model update, 그리고 context and fusion을 적용하여 고속으로 기동하는 작은 표적에 대해서 100Mz 이하에서 자동 표적 추적이 가능한 추적 알고리즘을 개발하여 타겟 보드에 탑재 후 성능 시험을 수행한다.

Ⅱ. 고속 표적 추적기 설계

1. 작은 표적 고속 추적기 설계

본 절에서는 고속으로 기동하는 작은 표적에 대해서 100Mz 이하로 동작하는 model update형 표적 추적 알고리즘을 설계한다. 아래는 제안된 추적기의 구조이다.

그림 3. 고속 표적 추적기 개념도

Fig. 3. fast Target tracking system overview

영상전처리 모듈은 영상에서 노이즈를 제거하거나, 표적에지강화 필터 등을 적용하여 표적을 도드라지게 표현하는 모듈이고, Object Modeling 모듈은 HOG 기반에 표적을 모델링하는 모듈이고, Correlation filter 모듈은주파수 영역에서 reference image 와 input image 간의 Conrrelation 연산을 통해서 표적을 검색하는 모듈이다. 그리고 model update 모듈은 표적의 형태 및 모양이 변했을 때 이를 감지하여 reference image를 갱신하는 모델이다.

그리고 context information 모듈과 고속화 모듈은100Hz 이내로 추적 알고리즘을 구동하기 위한 고속화모듈이다. context Information 모듈은 표적 이동속도, 표적 크기 등을 정보를 이용하여 표적의 검색 영역을 정보화하고, 이를 알고리즘 최적화에 반영하였으며, 고속화모듈은 수학함수, 피라미드 계산 등 다양한 추적 파라미터를 최적화하여 고속으로 표적을 추적할 수 있도록 개발 하였다.

2. Correlation filter 기반 표적 추적기

본 절에서 correlation filter 기반에 표적 추적 알고리즘에 대해서 기술한다. 다음은 추적 알고리즘의 구조도이다.

그림 4. correlation filter기반 표적 추적 알고리즘

Fig. 4. Target Tracker Algorithm using correlation filter

가. 표적 모델링

본 절에는 표적 모델링을 위해서 Histogram of Oriented Gradient(HoG) 기반에 표적 모델링 알고리즘을 개발한다. 아래는 표적 모델링 알고리즘 절차이다.

그림 5. HoG기반 표적 모델링

Fig. 5. HoG based Object Modeling

표적 모델링을 위한 HoG 특징 생성 후 특징을 정규화방식은 아래 수식을 따른다. 여기서 v 는 각 방향의 크기이다. 

\(v(n)=\frac{v(n)}{\sqrt{\left(\sum_{k=1}^{m} v(k)^{2}\right)+1}}\)      (1)

정규화 후 PCA를 통해서 표적의 차원을 축소하게 된다. 이때 Principal Component Analysis(PCA) eigenvalue값을 이용하여 고속으로 연산을 수행한다.

그림 6. 31 차 PCA eigenvalue

Fig. 6. 31’th PCA eigenvalue

나. Correlation filter기반 표적 추적

본 절에서는 correlation filter기반에 표적 추적 알고리즘을 기술한다. 제안된 추적 알고리즘은 학습기반에 표적 추적 방식을 근간으로 한다. 따라서 단위 프레임에서 appearance model을 생성하기 위해서 cyclic matrix를 통해서 학습 데이터를 생성하게 된다. 그림 7은 cyclic matrix를 통해서 학습데이터를 생성하는 방법을 나타낸다.

그림 7. Cyclic Matrix 기반 학습데이터 생성

Fig. 7. Cyclic Matrix based training data generation

그림 7에서 에서 base sample이 하단에 위치하고 이를 쉬프트한 데이터는 상단에 나타나 있다. 그리고 이를 Fourier domain 으로 이동하면 diagonal matrix가 만들어지므로 이후 커널 함수를 적용할 때 고속으로 연산이 가능하게 된다.

x = [x₁,x₂,…,x_n]       (2)

일반적인 표적들은 대부분 선형 운동을 하게 된다. 하지만 드론과 같은 표적은 비선형 운동을 하게 됨으로 선형 추적기로써 이를 추적하는 것은 꽤나 많은 어려움이 있다. 이제 본 기술은 커널 함수를 이용하여 비선형 추적이 가능하도록 한다. 다음은 Radial Basis Function을 이용하여 비선형 표적을 선형 표적으로 이동하는 수식이다.

\(k^{\text {gauss }}=\exp \left(-\frac{1}{\sigma^{2}}\left(\|x\|^{2}+\left\|x^{\prime}\right\|-2 F^{-1}\left(F(x) \odot F^{*}\left(x^{\prime}\right)\right)\right)\right)\)      (3)

표적모델 학습은 RBF 공간상에서 이루어지며 reference pattern인 알파를 생성하는 수식은 아래와 같다. y는 가우시안 이미지이고, k는 cyclic matrix 이며, 람다는over fitting value 이다.

\(\alpha=F^{-1}\left(\frac{F(y)}{F(k)+\lambda}\right)\)      (4)

그리고 본 영상에서 사용하는 가우시안 이미지는 그림8과 같다.

그림 8. 가우시안 이미지

Fig. 8. Gaussian image

입력 프레임이 주어졌을 때 알파를 이용하여 추적결과를 예측하게 된다. 추적 결과 예측은 RBF 공간상에서 예측되어지며, 추적을 예측하기 위한 수식은 아래와 같다.k는 RBF matrix 이고, 알파는 reference patten 이고,y 는 regression 표적이다.

\(\hat{y}=F^{-1}(F(\bar{k}) \odot F(\alpha))\)      (5)

III. 실험 및 결과

제안된 시스템의 성능 검증은 두 가지 방법을 통해서 이루어진다. 하나는 본 장비에 촬영된 영상을 바탕으로Ground Truth(GT)를 생성하고 GT 영상을 대상으로 평균 추적률을 계산한다. 그리고 두 번째는 타겟보드에 표적 추적 알고리즘을 탑재하여 추적 응답률을 측정한다. 아래 그림은 자동 추적 시스템 성능 시험 환경과 실제 성능 측정 결과를 나타내는 시험 영상이다.

그림 9. 자동추적기 시스템 시험 환경

Fig. 9. Tracking System Test Environment

추적기 성능 검증용 시스템은 크게 자동 영상 추적 알고리즘이 탑재되는 Single Board Computer(SBC)와 SBC로 영상을 전달하고 SBC에서 추적된 영상 추적 결과를 화면에 전시하고, 속도를 측정하는 모니터링 PC로 구성되어진다. 그림에서 왼쪽 렉에 있는 컴퓨터가 SBC이고 영상을 전시하는 PC가 모니터링 PC이다.

타겟보드인 SBC에 영상 추적기를 탑재하여 1000frame을 대상으로 표적 추적을 수행한 결과 한 프레임을 처리하는데 평균 4ms의 응답 속도를 유지하였다.

다음은 GT 영상을 대상으로 표적 추적 성능을 측정한 결과이다. GT를 이용한 성능 측정기준은 GT 결과와 추적결과의 겸침 면적 비률이 50%를 넘으면 추적 성공으로 계산하였다.

시험영상은 EO/IR 영상을 함께 사용했으며, 기동장비는 드론과 Ranger를 대상으로 하고 7개의 영상을 대상으로 성능을 측정하였다. 다음은 샘플 영상과 성능 측정결과이다.

그림 10. 성능 검증 샘플 영상

Fig. 10. Sample image for test

표 1. 실험 결과

Table 1. Test Result

Ⅳ. 결론

광학 시스템은 빛을 이용하여 표적을 요격하는 시스템으로써, 기동하는 표적을 에러 없이 고속으로 추적하는 자동 표적 추적 기술은 가중 중요한 기술 중의 하나이다. 광학 시스템에 적용 가능한 자동 표적 추적 시스템은 고속으로 표적이 기동함으로, 고속 표적 처리가 가능해야하며, 소형 표적에 대해서 표적의 형태 및 모양 그리고 다양한 클러터 상에서도 효과적으로 추적이 가능해야한다.

본 논문은 다양한 클러터 환경에서 100Hz로 자동 표적 추적이 가능한 고속 자동 표적 추적기를 개발하고 이를 타겟 보드에 탑재하여 4ms 이하에서 클러터 환경의 표적에 대해서 효과적으로 자동 표적 추적이 가능함을 검증하였다.

성능 검증은 하늘 배경, 산 배경, 건물 배경에서 촬영된 드론, 비행체, 견인 드론 등 8개의 GT 영상에 대해서 성능을 검증하고 약 98%의 높은 추적률을 보임을 확인하였다.