Small UAV tracking using Kernelized Correlation Filter

커널상관필터를 이용한 소형무인기 추적

Abstract

Recently, visual object detection and tracking has become a vital role in many different applications. It spans various applications like robotics, video surveillance, and intelligent vehicle navigation. Especially, in current situation where the use of UAVs is expanding widely, detection and tracking to soot down illegal UAVs flying over the sky at airports, nuclear power plants and core facilities is becoming a very important task. The remarkable method in object tracking is correlation filter based tracker like KCF (Kernelized Correlation Filter). But it has problems related to target drift in tracking process for long-term tracking. To mitigate the target drift problem in video surveillance application, we propose a tracking method which uses KCF, adaptive thresholding and Kalman filter. In the experiment, the proposed method was verified by using monochrome video sequences which were obtained in the operational environment of UAV.

최근 영상 센서를 이용한 물체 탐지 및 추적 기술은 많은 응용분야에서 그 사용이 널리 확대되고 있다. 민수 산업 분야에서 로보틱스, 비디오 감시정찰 및 차량 네비게이션 분야와 같은 영역으로 널리 확대되고 있는 추세이다. 특히, 드론의 사용이 널리 확대되고 있는 현 상황에서 공항, 원자력 발전소 및 중요시설에서는 불법적으로 운용되고 있는 소형무인기를 탐지 및 추적하여 격추시키는 시스템 개발이 매우 중요하다. 최근 영상센서를 활용한 물체 추적 방법으로 이목을 끌고 있는 방법이 학습에 기반을 둔 KCF 방법이다. 그러나 이 방법은 추적 기간이 길어지면 추적 과정에서 표적의 드리프트가 발생하는 문제점이 있다. 비디오 감시정찰 분야에서 표적의 드리프트 문제를 줄이기 위해 우리는 KCF와 적응 임계치설정 및 칼만필터를 적용하여 표적 드리프트 문제를 줄일 수 있는 방법을 제안하였다. 실험을 통해서 실제 무인비행체가 운용되는 실제 환경에서 획득된 흑백 비디오 영상에 제안한 방법과 기존의 KCF 알고리즘을 비교하여 제안한 방법의 우수성을 입증하였다.

Ⅰ. 서론

최근 소형무인기의 발전이 급속도로 진전되어 민수 및 군수 산업 분야에서 그 사용이 널리 확대되고 있다. UAV의 사용이 늘어날수록 불법적인 목적의 사용도 점차 증가되고 있는 추세이다. 따라서 공항, 발전소 등 중요 시설물에 대한 UAV를 활용한 불법 촬영 및 공격적 테러에 대한 우려도 점차 증가되고 있는 추세이다.

이 불법적인 무인기를 자동으로 탐지 및 추적하여 격추시키는 시스템을 무인기대응체계 (CUAV :Counter-Unmanned Aerial Vehicle System) 라고 한다. 이 시스템에서는 UAV를 탐지하기 위해서는 주로 레이더 센서가 사용되고 표적을 추적하기 위해서는 영상센서가 사용된다 ^{[1, 2, 3]} . 최근 컴퓨터비젼 기술을 활용한 물체추적 분야에서 괄목할만한 진전을 보이고 있는 방법이 KCF (Kernelized Correlation Filter)와 같은 상관 필터 기반의 물체 추적기이다 ^[4,5] . 이 KCF 필터를 사용했을 경우 장점은 효율성에 있다. 즉, 알고리즘 수행 시간이  매우 짧아 초 당 200 프레임 수준의 영상 처리 속도가 요구되는 영상 보안 및 감시정찰 응용분야에도 잘 적용된다. 또 한 가지 연구 방향은 딥러닝 기반의 물체 추적 기술이다. 이 방법은 먼저 CNN (Convolutional Neural Network)을 적용하여 특징을 추출하고 딥러닝을 활용한 추적을 수행하는 구조이다. 그러나 이 방법은 초 당 수 프레임 정도의 처리 속도를 갖는 것으로 알려져 있고 고성능의 GPU (Graphics Processing Unit)가 사용된다. 또, 고성능의 추적을 위해서는 많은 양의 학습 데이터가 필요하다. KCF 알고리즘이 on-line 학습기반의 추적기로서 계산시간 및 성능 관점에서 매우 경쟁력이 있을지라도 추적과정에서 표적의 드리프트가 발생하는 단점이 있다. 이것은 형상변화, 부분적인 가려짐, 카메라 흔들림 및 조명변화 등 영상에서 물체의 급격한 형상 변화에 기인한다. 그림 1은 흑백 가시광 영상 시이퀀스에 KCF 추적기를 적용했을 경우 드리프트가 발생한 예를 보인 것이다. 그림에서 노란색 원은 표적 (드론)을 빨간색 십자가는 추적중심을 나타낸다. 그리고 청색의 사각형은 KCF 알고리즘 적용했을 경우의 표적영역을 나타낸다. 그림 1과 같이 실제 표적 영역과 KCF 알고리즘 수행 결과가 점점 차이가 발생하는 것을 표적 드리프트 현상이라고 한다.

그림 1. KCF 추적기를 적용했을 경우 표적 드리프트의 예

Fig. 1. Target drift in case of applying KCF tracker

이 논문에서는 드리프트 문제를 해결하기 위해 KCF 필터 응답이 특정 값보다 작을 경우 영상패치 부분에 적응 임계치설정법을 적용하여 이 문제를 해결하고자 한다.

2 장에서는 기존의 KC 알고리즘을요약하여 설명하고, 3 장에서는 제안한 방법에 대해 상세하게 설명한다. 4 장에서는 표적 추적 오차를 정의하고 이것을 바탕으로 실제 UAV 운용환경에서 획득한 흑백 비디오 영상을 이용하여 기존의 KCF 방법과 제안한 방법을 객관적으로 비교하여 제안한 방법의 유효성을 입증한다. 마지막으로 5 장에서 결론을 언급하고 향후 응용분야에 대해 기술한다.

Ⅱ. 기존의 KCF 추적알고리즘 요약

1. 선형 리지 리그레션[1]

기계학습은 학습 데이터를 이용하여 학습을 수행하고 학습 함수를 사용하여 미지의 데이터를 예측하는 기술이다. 학습의 목표는 식 (1)과 같이 샘플 영상 x_i 와 표적 y_i 와의 MSE (Mean Square Error)를 최소화시키는 함수 f(z)=w^T(z)를 찾는 것이다.

 \(\min _{w} \sum_{i}\left(f\left(\mathbf{x}_{i}\right)-y_{i}\right)^{2}+\lambda\|\mathbf{w}\|^{2}\)       (1)

여기서 λ는 정규화 파라메타이고 W는 식 (2)와 같이 유일 해를 갖는 convex 함수이다.

\(W=\left(X^{T} X+\lambda I)^{-1} X^{T} y\right.\)       (2)

여기서 X는 한 개의 샘플 x_i가 한 개의 행으로 표현되는 데이터 행렬이다. y는 y_i 로 이루어진 벡터이다. I는 단위행렬이다. 식 (2)에서 w는 리그레션 가중치 w에 대한 벡터이고 위첨자 T는 행렬에 대한 전치 연산을 나타낸다.

2. 순환행렬 (cyclic matrix)

물체추적 응용분야에서 리그레션 함수는 한 입력샘플 x 에 대한 순환 쉬프트 (cyclic shift)된 모든 버전에 의해 학습된다. 이것은 추적과정에서 학습된 함수가 병진운동에 둔감해지도록 한다. 순환행렬 C(x)는 x 의 순환 쉬프트 버전으로 구성된 n x n 행렬이다. 식 (3)은 순환행렬 C(x)를 나타낸다.

\(C(\mathbf{x})=\left[\begin{array}{ccccc} x_{1} & x_{2} & x_{3} & \ldots & x_{n} \\ x_{n} & x_{1} & x_{2} & \ldots & x_{n-1} \\ x_{n-1} & x{n} & x_{1} & \ldots & x_{n-2} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ x_{2} & x_{3} & x_{4} & \ldots & x_{1} \end{array}\right]\)       (3)

이 행렬은 입력벡터 x 에 무관하게 DFT (Discrete Fourier Transform) 연산을 수행하면 대각행렬로 되는 유용한 특성을 가지고 있다. 데이터 행렬 X 는 상수 행렬F 을 이용하여 (4)와 같이 표현할 수 있다.

\(X=\operatorname{Fdiag}(\hat{x}) F^{H}\)       (4)

여기서 F는 상수 행렬로서 DFT 행렬로 알려져 있다. 식(4)에서 윗 첨자 H는 Hermitian transpse를 나타내고 \(\hat{x}\)는 x 의 주파수 영역 표현이다. 위 특성들을 사용하면 식 (2)의 리지 리그레션은 식(5)와 같이 표현될 수 있다.

\(\widehat{W}=\frac{\hat{x}^{*} \odot \hat{y}}{\hat{x}^{*} \odot \hat{y}+\lambda}\)       (5)

여기서 ⊙는 내적 연산자 (dot product) 이다.

3. 커널함수

커널함수를 사용해서 리그레션 가중치는 식 (6)과 같이 표현된다.

\(\hat{\alpha}=\frac{\hat{y}}{\widehat{k}^{x x}+\lambda}\)       (6)

여기서 \(\hat{k}^{x x}\)는 커널함수의 푸리에변환이다.k^xx는 커널행렬 K=C(k^xx) 의 첫 번째 행이다. 표적 추적과정에서 리그레션 함수는 여러 후보 영상패치에 대해 계산된다. 이 계산 과정을 나타내는 식이 (7)이다.

\(\hat{f}(z)=\hat{k}^{x z} \odot \hat{\alpha}\)       (7)

이것은 \(\hat{}(z)\)는 커널함수 \(\hat{k}^{x z}\)와 가중치 \(\hat{\alpha}\)의 선형결합으로 고려할 수 있음을 의미한다. 가우시안 커널함수에 대해서 k^xx는 식 (8)과 같이 계산될 수 있다.

\(k^{x z}=\exp \left(\frac{-1}{\sigma^{2}}\left(\|x\|^{2}+\|z\|^{2}-2 F^{-1}(\hat{x} \odot \hat{z})\right)\right)\)       (8)

여기서 F^-1은 역푸리에변환을 의미한다. 리그레션 가중치 \(\hat{\alpha}\)와 모델링된 영상패치 \(\hat{x}\)는 식 (9) 및 (10)을 이용하여 선형 인터폴레이션 방법으로 갱신된다.

\(\hat{\alpha}=\left((1-\gamma) \times \hat{\alpha}+\left(\gamma \times \hat{\alpha}_{c}\right)\right.\)       (9)

\(\hat{x}=((1-\gamma) \times \hat{x})+\left(\gamma \times \hat{x}_{c}\right)\)       (10)

여기서 ϒ는 인터폴레이션 인자이고, \(\hat{\alpha}_{c}\) 및 \(\hat{x}_{c}\)는 각각 현재 프레임에서 갱신된 가중치 및 현재 추적영역에 대한 영상패치 특징벸터의 주파수영역 표현이다. 그림 2는 기존의 KCF 추적기를 개략적으로 표시한 블록도 이다.

그림 2. KCF 추적기 개략적인 블럭도 

Fig. 2. Simple block diagram of KCF tracker

Ⅲ. 제안한 추적 방법

제안하는 추적방법은 KCF 알고리즘에 기반을 둔다. 무인기대응체계의 적용분야에서 입력되는 비디오의 길이가 매우 길고, 영상의 입력 프레임 수는 초 당 약 100 프레임 수준이다. 이와 같이 추적 시간이 긴 응용분야에서 기존의 KCF 알리즘은 표적 드리프트 문제를 일으킨다. 이 문제는 표적의 가려짐, 표적의 움직임 및 배경 클러터로부터 기인된다. 특히, 무인기가 하늘을 날고 있을 경우 표적의 크기 및 형상 변화가 심하게 발생한다. 그림 3은 무인기대응체계에 적용되어 있는 흑백카메라를 이용하여 숲 배경을 비행하고 있는 드론 표적에 대해영상을 획득한 예 이다. 드론 표적의 거리는 약 1∼1.5 Km 이며, 카메라의 시계는 1° 수준이다. 그리고 영상의 크기는 640 x 480 픽셀이다. 그림 3에서 표적은 정사각형으로 표시하였고, 오른쪽 상단에 확대된 표적을 보였다. 그림 1은 KCF 추적 알고리즘을 동일한 비디오에 적용했을 경우 60 번째 영상이다. 그림 1에서 알 수 있는 것처럼 추적결과로부터 생성되는 표적영역에 표적이 존재하지 않는다. 즉, 표적의 드리프트가 발생한 것이다. 그림 1에서 사각형은 추적창이고 빨간 십자선은 추적점이다. 그리고 노란색 원은 표적을 표시한 것이다. 실제 환경에서 획득한 영상에 KCF를 적용할 경우 표적 드리프트가 빈번히 발생한다. 제안한 표적추적방법에서는 KCF와 적응 임계치설정^[6] 및 칼만필터^[7]를 적용하여 드리프트 문제를 해소하고자 한다.

그림 3. 원거리에서 획득된 UAV 표적 영상의 예

Fig. 3. Sample image for UAV at long distance

제안하는 표적추적 방법은 표적탐지가 이루어져서 표적의 위치가 알려져 있다고 가정하였다. 실제로는 레이더 센서가 탐지장치로 사용이 된다. 그림 4는 제안하는 표적 추적방법을 이해하기 쉽게 순서도로 그린 것이다.

그림 4. 제안한 표적추적알고리즘의 순서도

Fig. 4. Flowchart of the proposed target tracking algorithm

첫 번째 영상 프레임에 대해, 

(a) 가우시안 함수를 이용하여 리그레션 함수 y 를 계산한다. 그리고 푸리에변환을 수행하여 \(\hat{y}\)를 구한다.

(b) 영상에서 탐지정보를 기반으로 영상패치을 선정한다. 선택된 영상패치를 HOG (Histogram of Orient Gradient)^[8] 연산자를 이용하여 특징행렬로 변환하고, 이 행렬을 x 라고 하고, \(\hat{x}\)는 푸리에 변환한 것이다.

(c) 영상패치에 대한 특징행렬 \(\hat{x}\)를 이용하여 커널 상관계수 \(\hat{k}^{x x}\)를 구한다. 

(d) 식(6과 같이 \(\hat{k}^{x x}\)와 \(\hat{y}\)을 사용하여 리그레션 가중치 \(\hat{\alpha}\)를 구한다.

(e) 초기 값으로 \(\hat{\alpha}=\hat{\alpha}, \hat{x}=\hat{x}\)​​​​​​​로 세팅한다.

두 번째 영상부터 연속적으로,

(f) 이전 프레임의 추적점을 기반으로 영상패치를 선정하고 HOG 연산자를 사용하여 특징 행렬로 변환하고 z라고 하고, 이것의 푸리에 변환을 ​​​​​​​라고 \(\hat{z }\)한다.

(g) model-​​​​​​​\(\hat{x}\)과 ​​​​​​​\(\hat{z }\)을 이용하여 커널상관계수 ​​​​​​​\(\hat{k}^{x x}\)를 계산한다.

(h) 식 (7)을 사용해서 model-​​​​​​​\(\hat{\alpha}\)과 \(\hat{k}^{x z }\)를 이용하여 ​​​​​​​\(\hat{f }\)을 구하고 이것을 역푸리에변환을 수행하여 f를 구한다.  f의 최대값이 미리 정의된 임계값 T_c보다 큰 경우인지 판단한다. T_c 보다 크면 이 값의 위치를 표적이 있는 위치(추적점)으로 잠정적으로 결정한다. 그리고, (j) 단계로 넘어간다.

(i) f의 최대값이 미리 정의된 임계값 T_c 보다 작거나 같은 경우는 영상치에 대해 적응 임계치설정^[6]을 수행하고 이진 영상에서 레이블링^[9]을 수행하여 최대 크기를 갖는 영역의 중심을 표적의 중심으로 판단한다.

(j) KCF 혹은 적응 임계치설정의 결과가 신뢰할 수준인지를 판단하기 위해 선형 움직임 모델을 사용한 칼만필터를 사용한다. 그림 4에서 P_dist는 이전 프레임에서의 표적의 위치와 현재 프레임에서 KCF 혹은 적응 임계치 설정에 의해 정해진 표적 추적결과와의 거리를 나타낸다. P_dist가 T_d 보다 작으면 표적추적 결과를 신뢰하고 P_dist가 T_d보다 크거나 같으면 칼만필터에 의한 예측 결과를 현재 프레임의 표적 위치로 출력한다. 표적의 움직임 모델은 등속모델을 사용하였다. 적의 상태 방정식과 측정방정식은 식 (11), (12)와 같다.

\(X_{t}=F X_{t-1}+w_{t}\)       (11)

\(z_{t}=H X_{t}+v_{t}\)       (12)

 여기서  w_t와  v_t는 영 평균 가우시안 잡음이다. X_t는 4 상태 (x, y 방향에 대한 위치와 속도)를 나타내는 상태벡터로서 식 (13)과 같이 정의한다.

\(X_{t}=\left[x_{t} \dot{x}_{t} y_{t} \dot{y}_{t}\right]^{T}\)       (13)

여기서 F는 천이행렬이다.

\(F=\left[\begin{array}{cccc} 1 & \Delta t & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & \Delta t \\ 0 & 0 & 0 & 1 \end{array}\right]\)       (14)

여기서 △t 는 샘플링 시간이다. 식 (12)에서 z_t는 측정벡터로서 식 (15)와 같다.

\(z_{t}=\left[x_{t}, y_{t}\right]^{T}\)       (15)

여기서 x_t와 y_t는 시간 t에서 영상 좌표를 나타낸다. H는 관측행렬로서 식 (16)와 같이 정의한다.

\(H=\left[\begin{array}{llll} 1 & 0 & 0 & 0 \\ 0 & 0 & 1 & 0 \end{array}\right]\)   (16)

k) 추적점으로 결정된 위치를 바탕으로 영상 패치를 선택하고, HOG 특징을 사용하여 특징행렬로변환한다. 이 행렬은 x이고 이것의 푸리에변환이 ​​​​​​​\(\hat{x}\)이다.

l) ​​​​​​​\(\hat{x}\)에 대해 커널상관계수  ​​​​​​​\(\hat{k}^{x x}\)를 계산한다.

m) 식 (6)을 이용하여 리그레션 가중치 ​​​​​​​\(\hat{\alpha}\)를 계산한다.

n) 식 (9), (10)과 미리 정의된 인터폴레이션 인자를 사용하여 model-α , model-​​​​​​​\(\hat{x}\)을 갱신한다.

o) 연속 프레임에 대해 f)에서 n)의 과정을 반복한다.

Ⅳ. 실험 및 결과

무인기대응체계에 장착된 카메라를 이용하여 영상을 획득하였다. 입력 영상의 첫 번째 프레임에서 표적의 위치는 레이다 센서에 의해 탐지되거나 수동으로 표적의 위치를 지정해주는 것으로 가정하였다. 학습은 첫 번째 프레임의 초기 표적 위치를 기반으로 학습을 시작한다. 연속 프레임 에서는 인터폴레이션 인자와 식 (9), (10)을 사용하여 학습 샘플과 리그레션 가중치를 연속적으로 갱신한다. 각 프레임에서 영상 패치에 대해 HOG 특징을 사용하였다.

실제 운용환경에서 획득된 4 개의 영상 시퀀스를 사용하여 제안한 방법을 실험하였다. 카메라와 약 1∼1.5Km의 거리를 두고 하늘을 날고 있는 드론 표적에 대해 100 Hz의 속도로 촬영된 영상이다. 표 1은 실험에 사용된 영상 시퀀스에 대한 특성을 보여주고 있다.

표 1. 실험 영상 기술

Table 1. Discription of the experimental images

객관적으로 추적 성능을 평가하기 위해 각각의 영상에서 표적의 실제 위치를 에워싼 사각형으로 표시하였다. 이 사각형의 중심을 ground truth 표적 중심 (X_c, Y_c)로 정하고, 추적 알고리즘에 의한 추적결과를 (X_r, Y_r)로 정의하였다. 각 영상 프레임에서의 추적오차 e(i)를 식 (17)과 같이 정의하고, 식(18)를 이용하여 평균 추적오차 P_e를 비교하였다.

\(e(i)=\sqrt{\left(X_{r}(i)-X_{c}(i)\right)^{2}+\left(Y_{r}(i)-Y_{c}(i)\right)^{2}}\)   (17)

\(P_{e}=\frac{1}{N} \sum_{i=1}^{N} e(i)\)   (18)

그림 5는실험 영상에 제안한 추적방법을 적용했을 경우 추적결과 (660번째 프레임) 이다.

그림 5. 제안한 방법의 추적 결과 ( set 1 : 660 번째 프레임)

Fig. 5. Tracking result of proposed method ( set 1 : 660^th )

그림 6는 실험영상에 대한 각 프레임 별 추적오차를 분석한 그래프이다. X 축은 프레임 번호를 나타내고 Y축은 식 (15)로 계산 된 추적오차를 나타내고 있다. 파란색실선은 제안한 추적 방법이며 빨간색 점선은 KCF을 이용한 추적 방법이다. Set 1에서 KCF의 경우 120 번째 프레임 근방에서의 추적 오차가 이미 50 픽셀을 넘어섰다. 그림 6 (a)에서 알 수 있는 것처럼 KCF 알고리즘을 적용했을 경우는 추적오차가 점차적으로 증가하지만 제안한 방법을 적용했을 경우는 매우 안정된 추적 결과를 보이고 있다. 제안한 방법을 적용했을 경우는 식 (17), (18)을 적용하여 평균 추적오차를 계산 했을 경우는 1.6 픽셀 이었다. Set 2의 경우에는 KCF 및 제안한 방법 모두 표적의 드리프트는 발생하지 않았으나 그래프에서 알 수 있는 것처럼 제안한 방법이 보다 우수한 추적 성능을 갖는다. KCF의 경우 평균 추적 오차는 5.9 픽셀이며, 제안한 방법은 2.7 픽셀이다. 표 2는 4 영상시이퀀스에 대한 추적오차 비교를 나타낸다.

그림 6. 제안한 방법과 KCF의 추적오차 : (a) set 1, (b) set 2

Fig. 6. Tracking error of the proposed and KCF : (a) set 1, (b) set 2

표 2. 평균 추적오차 비교

Table 2. Comparison of average tracking errors

Ⅴ. 결론

이 논문에서는 소형무인기 (드론)의 사용이 날로 증가하면서 대두되는 상황에서 불법적인 소형무인기 대응체계에 필수적으로 요구되는 소형무인기 영상추적 알고리즘을 제안하였다. KCF 추적기를 바탕으로 KCF 추적기의 약점으로 알려져 있는 장시간 추적 (long term tracking)에서 발생하는 표적 드리프트 현상을 최소화하는 방법을 제안하였다. 제안한 방법과 KCF 추적기를 실제 영상을 사용하여 비교하고, 제안방법의 유효성을 입증하였다. 제안한 추적방법은 최근 관심이 증가하고 있는 무인기 대응체계, 무인기를 활용한 감시정찰 체계의 영상 추적 알고리즘으로 활용 가능하다.