Loitering Behavior Detection Using Shadow Removal and Chromaticity Histogram Matching

그림자 제거와 색도 히스토그램 비교를 이용한 배회행위 검출

Abstract

Proposed in this paper is the intelligent video surveillance system to effectively detect multiple loitering objects even that disappear from the out of camera's field of view and later return to a target zone. After the background and foreground are segmented using Gaussian mixture model and shadows are removed, the objects returning to the target zone is recognized using the chromaticity histogram and the duration of loitering is preserved. For more accurate measurement of the loitering behavior, the camera calibration is also applied to map the image plane to the real-world ground. Hence, the loitering behavior can be detected by considering the time duration of the object's existence in the real-world space. The experiment was performed using loitering video and all of the loitering behaviors are accurately detected.

본 논문에서는 감시영역을 벗어난 후 다시 돌아온 객체에 대한 배회행위를 효과적으로 인식 할 수 있는 지능형 배회행위 검출 시스템을 제안한다. 전경과 배경을 가우시안 혼합 모델을 이용하여 분리하고 그림자를 제거하여 객체를 인식한 후, 객체의 색도 히스토그램을 이용하여 감시영역을 벗어난 후 돌아온 객체들을 판단하고 감시영역에 존재하는 시간을 보전한다. 배회행위를 판단하기 위해 카메라 캘리브레이션을 통해 실세계 배회패턴과 같은 행태의 매크로 블록을 영상좌표에 도입한 후 배회궤적을 추출하고, 감시영역에 객체가 존재하는 시간을 함께 고려하여 배회행위를 판단한다. 제안하는 방법은 실험에 사용된 모든 배회행위 프레임에서 정확하게 배회행위를 검출하여 그 효과를 입증하였다.

I. 서론

전통적 영상 감시시스템의 경우 이를 모니터링하는 감시자가 이상행동으로 간주할 수 있는 부분은 월담, 폭발물과 같은 위험물 투기 및 방치, 쓰레기 투기, 폭력 행위 그리고 학교 앞이나 지하 주차장과 같은 장소에서 범행대상을 물색하는 배회행위 등을 들 수 있다. 이러한 행위 중 대부분의 범죄 발생 시 가장 먼저 보이게 되는 행위는 주로 이상행동 직전 주변 환경을 파악하는 배회행위이다. 따라서 배회행위를 하고 있거나 그런 경향을 보이는 사람들에게 더 많은 주의를 둔다면 더 높은 신뢰성을 갖고 경계를 강화할 수 있게 된다. 그러나 전통적 감시자의 집중적 모니터링을 통한 방식의 경우 배회행위는 그 행동이 일반적 행동과 유사하여 고도의 집중력으로 각각의 사람들에 대해 궤적을 추적하지 않는다면 이를 배회로 판단하기 어렵다. 일반적으로 한 사람은 두 대의 모니터를 통해 10분 후 발생하는 사건의 45%를 인식하지 못하며, 22분 후에는 95%를 인지하지 못한다[1].

이러한 문제를 해결하기 위해 배회행위를 자동으로 검출할 수 있는 지능형 배회행위 검출 시스템이 개발되었다. 그러나 현존하는 배회행위 검출 시스템은 한 대의 카메라 영상에서 배회 행동을 감지하는데 그치고 있어 검출 객체가 감시구역에서 다른 감시 구역으로 이동하였을 경우 이동궤적의 인식 및 추적이 어려울 뿐만 아니라, 동일한 객체가 감시구역에서 사라졌다가 다시 등장하였을 경우에도 동일한 객체로 판별하여 추적하는데 큰 어려움을 겪고 있다. 또한 이를 해결하기 위한 지능형 배회 감시시스템의 경우에도 그림자와 같은 잡음성분을 객체로 판단하여 정확한 이동궤적 추적에 어려움을 겪고 있으며, 단순 영상영역에 기반한 이동궤적만을 검출함으로써 실세계 공간에서의 이동 궤적과는 다른 결과를 나타내어 신뢰도가 낮은 배회검출 결과를 나타내고 있다[2].

본 논문에서는 이러한 문제점을 해결하고자 색상과 명도(hue and intensity)기반 객체의 그림자 제거기술과 색도(chromaticity)기반 히스토그램 매칭 기술을 이용한 객체정보 저장 기술을 이용하여 정확하고 효율적인 실시간 배회행위 비디오 분석 시스템을 제안한다. 또한 본 시스템은 지면 기반의 카메라 캘리 브레이션(calibration) 기술을 적용하여 실세계 좌표와 유사한 배회패턴을 인식할 수 있도록 하였다. 제안하는 배회행위검출 시스템은 [그림 1]과 같이 인식모듈 (recognition module), 객체추적 모듈 (tracking module), 상황분석 모듈(situation analysis module)의 세 가지로 구성된다. 인식 모듈에서는 가우시안 혼합 모델을 이용하여 배경과 전경을 모델링하고, 전경 영상 내에 검출되는 그림자 영역과 잡음을 제거한 후 영상내의 배회 패턴을 나타낼 수 있는 객체들을 검출한다. 객체추적 모듈에서는 추출된 인식 객체의 움직임 특징정보를 이용한 실시간 추적을 수행하고, 색도 히스토그램 정보를 이용하여 이전에 등장한 객체와의 동일성을 판단하여 상황분석 모듈에 필요한 객체의 이동경로와 추적시간을 측정한다. 마지막 상황분석 모듈에서는 배회패턴을 정의하고 객체의 이동궤적이 정의된 실세계 공간과 맵핑된 매크로 블록을 지나면서 배회패턴을 나타낼 경우 이를 감지하여 경보를 발생시키도록 하였다. 제안하는 모듈을 통한 배회행위 검출 시스템은 각 단계별 높은 인식률을 나 타냈고, 실시간으로 배회행위를 검출할 수 있음을 보였다.

[그림 1] 시스템 전체 순서도

본 논문의 Ⅱ장에서는 배회행위 검출 시스템 관련 연구 내용, Ⅲ장에서는 제안하는 배회행위 검출 모듈, Ⅳ장에서는 실험환경 및 결과를 설명하며 Ⅴ장에서 결론을 짓는다.

II. 배회행위 검출 관련 연구

일반적으로 배회행위 검출 시스템은 배경과 전경을 분리하는 것으로부터 시작한다. 배경과 전경을 분리할 때 가장 많이 사용되는 알고리즘은 가우시안 혼합모델(Gaussian mixture model)이다[3]. 이 방법은 고정된 감시 카메라를 사용할 경우 적합하며 배경에 해당하는 각각의 픽셀을 가중치를 갖는 적응적 가우시안 분포로 모델링한다. 만약 해당 픽셀이 모델링된 가우시안 분포에 적합하지 않다고 판단될 경우 이는 전경으로 분리되게 된다. 논문[4]와 [5]는 이 가우시안 혼합 모델 알고리즘을 응용하여 좋은 성능의 배경분리 알고리즘을 개발하였다.

전경으로 분리된 객체는 대부분의 경우 실루엣, 행동특성, 움직임, 색상정보를 이용하여 객체를 정의하고 패턴화한 후 검출, 추적 및 인식과정을 거치게 된다. 기존의 객체분석을 위해 자주 사용되는 방법으로 능동 형태모델(active shape model)[6]과 능동 윤곽모델(active contour model)[7] 그리고 커널추적(kernel-tracking)방법[8]등이 사용된다. 능동 형태모델과 능동 윤곽모델의 경우 사전에 객체를 정의할 때 형태 정보를 모델화하여 영상 내에 동일한 형태를 갖는 대상을 찾는 것으로 모델링 과정에서 객체위치와 크기가 카메라 위치에 따라 다르게 표현되기 때문에 객체에 표현된 형태 정보를 위해서 지속적으로 갱신이 필요하다. 이 방법들은 추적을 위한 영역과 배경의 차이가 클 경우에는 좋은 성능을 낼 수 있고, 커널추적 방법은 복잡한 배경과 전경에서도 강인한 추적이 가능하다.

추적된 객체들을 배회행위로 판단하기 위한 연구로 논문 [9]과 [10]의 대중교통 관제 시스템에서의 배회 행위 검출 알고리즘이 있다. [9]에서는 객체의 추적을 위하여 밝기 값과 움직임 정보를 이용하였으며 배회를 특정 시간동안의 움직임이 작은 객체로 간주하여 검출한다. 그러나 실험환경을 실내로 구성하였기 때문에 조명 변화 및 그림자로 인해 발생될 수 있는 잡음이 많은 실외환경까지 강인하게 적용될 수 없다. [10]에 서는 움직이는 사람의 색상 성분을 이용하여 물체를 추적하게 되고 이를 통하여 배회를 검출한다. 서있는 사람의 검출영역을 10등분으로 나눈 후 HSI (Hue, Saturation, Intensity) 색상영역에서의 특징들을 이용하게 되며 이를 기반으로 일정시간 검출된 사람을 배회하는 객체로 간주한다. 그 밖에 논문[11]은 컬러 기반 베이지안(Bayesian) 추적기를 이용하여 객체를 추적하고 방문자 테이블을 생성하는 방법으로 배회 상황을 판단하는 알고리즘을 제시하였고, 논문 [12]는 마르코프 랜덤워크모델(Markov random walk model)과 모양기반 추적을 통해 배회 상황을 판단하였다. 이러한 관련 연구들은 배회의 정의를 단순히 특정시간 동안 머물러 있는 객체로 한정하는 경향이 있으며 실세계의 배회패턴을 고려하지 못하고 있다. 논문 [13]은 인식된 객체의 위치, 무게중심, 실루엣 등의 다양한 특징들을 이용하여 다양한 이상행위에 대해 좋은 성능을 보임을 증명하였다. 이상행위 중 배회를 검출하기 위해 영상을 임의의 매크로 블록으로 나눈 후 객체가 블록에 반복적으로 발생 할 때 배회행위로 간주하여 이를 분류하였다. 그러나 배회행위 객체가 영상에서 사라진 후 다시 나타났을 때 이를 그 이전 객체와 같은지를 판단 할 수 없으며 매크로 블록을 단순히 영상에 사각형으로 적용하였기 때문에 실제 신뢰도 높은 배회패턴을 획득하기 힘든 단점이 있다.

본 논문에서 제시하는 방법은 그림자 제거 및 잡음 제거 방법을 이용하여 움직이는 객체를 정확하게 찾아내며, 색도 히스토그램을 이용하여 감시 영역을 벗어난 후 되돌아 온 객체에 대한 추적을 포함하기 때문에 기존의 연구와의 차별성을 갖는다. 또한 카메라 매트릭스를 이용한 실세계 매크로 블록 생성으로 신뢰도 높은 배회행위를 검출 할 수 있도록 하였다.

III. 배회행위 검출 시스템

[그림 1]은 제안하는 배회행위 검출 시스템의 구성인 인식모듈, 객체추적 모듈, 상황분석 모듈과 각 모듈에서 처리되어야 할 과정을 나타내고 있다. 본 장에서는 이러한 각 모듈에서 필요로 하는 처리 방법을 구체적으로 설명한다.

3.1 배경/전경 분리 모델

입력받은 컬러영상에서 배경/전경을 구분하기 위한 모델링 과정은 [그림 2]와 같다. 첫 번째로 가우시안 혼합 모델을 이용하여 배경을 분리한 후 전경으로 분리 된 영역에서 색상과 명도 정보를 이용한 그림자와 잡음 제거 과정을 거쳐 정확한 객체를 추출해 낸다.

[그림 2] 배경/전경 모델링 순서도

3.1.1 적응적 배경 차 연산

전경과 배경을 분리하는 방법으로 Stauffer와 Grimson[3]이 제안한 적응적 배경 차 연산(adap-tive background subtraction)방법을 이용한다. 기본적으로 배경 화소는 특정 값을 갖고 있고 그 값의 변화가 조명의 변화나 영상 취득 장치의 잡음에 의해 약간의 변화를 보인다. 이러한 배경의 각 화소 값은 가우시안을 혼합모델로 표현될 수 있으며, 가우시안의 평균과 분산은 매 프레임마다 새로 입력되는 값을 학습함으로써 조명의 변화와 같은 환경의 변화에 적응해간다. 가우시안 분포들의 평균과 분산, 혼합 비율을 식(1), (2)와 같이 재귀적인 측정을 통해 갱신할 수 있으며, 이를 통해 배경의 색 정보가 확률적으로 모델링된다[14].

 μ_t + 1 = αμ_t + (1-α)z_t+1  (1)

#

#(2)

위 식 (1), (2)에서 μ_t , #, μ_t+1, #은 각각 t프레임과 t+1프레임에서의 가우시안 평균과 분산이며, α는 혼합비율을 결정해주는 상수로(0<α<1) 실험적으로 구해진다. α는 프레임률(frame rate)과 장면 변화의 예측된 비율에 의존하며, 배경 모델의 수렴 속도와 안정도를 결정한다. z_t+1은 t+1 프레임에서 측정된 픽셀 값이다.

생성된 가우시안 배경모델을 이용하여 식 (3)과 같이 차 연산을 수행한다.

DA(t) = |I(t)-B(t)|       (3)

위 식에서 I(t)는 t프레임에서의 입력이미지 영상이며, B(t)는 t프레임에서의 배경영상이다. DA(t)는 입력이미지에서 배경이미지를 빼준 이미지이며, 식 (4)를 이용하여 설정한 임계값을 기준으로 이진화를 수행한다.

#(4)

위 식 (4)에서 DA(x, y)_t는 t프레임에서의 차 연산 이미지의 화소값이며, 이 값이 설정한 임계값 보다 작거나 같으면 0값을 부여하고, 임계값 보다 크면 1의 값을 부여하여 이진화가 수행된 이미지 FG(x, y)_t를 얻을 수 있다. 최종적으로 FG(x, y)_t에서 1로 표시된 영역을 입력 이미지의 전경으로 정의하고, 0으로 표시된 영역을 배경으로 정의하여, 입력 영상의 배경과 전경을 분리한다.

3.1.2 그림자 제거

일반적으로 입력영상에서 검출된 전경영역은 객체 뿐만 아니라, 그림자 영역이 함께 검출된다. 따라서 그림자 영역의 색상정보와 밝기정보를 이용하여 이를 제거하는 방법을 제안한다. 객체와 함께 전경영역으로 검출되는 그림자 영역은 배경영역과 비교하였을 때 색상변화가 작고, 배경영역보다 밝기가 어두운 영역으로 정의할 수 있다[15]. 그림자 영역 추출을 위해 RGB (Red, Green, Blue)영상을 HSI 컬러 공간으로 변환한 후, H(Hue)와 I(Intensity)를 이용하여 전경영역과 배경영역의 색상과 밝기를 측정한다. 그림자 영역은 아래 식 (5)에 의해 검출되며, 이를 통해 전경영역에서 검출된 그림자 영역을 제거한다.

#(5)

위 식 (5)에서 S(x, y)은 전경영역 중 그림자 영역을 나타내며, IH(x, y), BH(x, y)는 각각 입력 이미지와 배경이미지의 색상 값을 나타내며, II(x, y), BH(x, y)는 입력 이미지와 배경이미지의 밝기 값을 나타낸다. 식 (5)의 threshold1은 실험적으로 결정된 최적 값을 사용한다.

3.1.3 노이즈 제거

적응적 배경 차 연산이 수행된 이진 영상에는 잘못 검출된 작은 객체와 같은 여러 종류의 잡음이 존재한다. 또한 전경으로 검출된 객체 영역 내에 전경으로 검출되지 못한 작은 빈 공간 영역이 존재한다. 이를 제거하기 위해 모폴로지 연산인 열림(opening)연산을 이용하여 전경으로 잘못 검출된 작은 크기의 잡음을 제거하고 닫힘(closing)연산을 이용하여 검출된 객체내의 빈 공간을 채운다. 검출에 사용된 열림과 닫힘의 마스크는 5×5 크기이다. 노이즈 제거까지 완료된 객체 영역에는 8-연결 요소를 이용한 레이블링(labeling)이 적용된다. 레이블링된 각각의 객체마다 서로 다른 레이블을 부여하여 화면 내에서 다중 객체를 분리한다.

[그림 3(a)]는 시스템에 입력된 이미지이며, [그림 3(b)]는 적응적 배경 차 연산과정이 적용된 이미지로, 전경영역에 그림자 영역과 잡음이 함께 검출되는 모습을 확인할 수 있다. [그림 3(c)]는 그림자 제거 과정이 수행된 이미지로 전경영역에서 발생한 그림자 영역이 제거되었음을 확인할 수 있다. [그림 3(d)]는 잡음제거 과정이 적용된 이미지로 객체 영역 내 빈 공간을 메워지며 잡음이 제거됨을 최종적으로 확인할 수 있다.

[그림 3] 노이즈 제거의 수행 과정 (a) 입력 영상, (b) 적응적 배경 차 연산 수행 영상, (c) 그림자 제거 수행 영상, (d) 노이즈 제거 수행 영상

3.2 객체 추적

인식 모듈을 통해 검출된 객체영역의 정보는 객체 추적 모듈로 입력된다. 객체 추적 모듈에서는 추적을 위한 특징 추출과정, 움직임 추적과정, 색도 히스토그램 매칭과정, 새로운 객체 판단과정을 거친다.

3.2.1 특징 추출

레이블링된 각각의 객체에 대해 영역을 포함하는 최근접 사각형을 그려 추출된 객체를 표현해주고, 객체의 무게중심과 크기를 측정한다. 객체의 무게중심은 객체 영역에 속하는 모든 좌표를 더한 후, 이를 영역에 포함되는 총 픽셀수로 나누어 측정한다. 객체 크기는 최근접 사각형의 가로와 세로 크기를 측정하여 각각 객체의 폭과 높이를 추출한다.

3.2.2 움직임 추적

객체의 추적 방법은 Omer Javed의 방법[16]과 마찬가지로 검출된 영역의 무게중심과 속도 그리고 최근접 사각형의 크기 변화를 이용한다. 이는 식 (6)과 같이 비용함수를 이용하여 표현할 수 있다.

#(6)

식 (6)의 X는 검출된 객체의 무게중심을 의미하며, S는 최근접 사각형의 크기를 의미한다. 그리고 V는 무게 중심의 이동속도를 의미하며 ∇S는 S의 크기 변화를 의미한다. 위첨자로 표현된 t는 해당 프레임을 의미하고 아래 첨자 L은 객체 추적과정을 통해 얻게된 레이블 번호를 의미하며, i는 객체 추적과정 이전에 부여 받은 레이블 번호로 N개의 객체가 검출되었다면 1≤ i ≤ N 범위에서 표현된다. 따라서 #의 경우 현재 처리될 t프레임에서 객체추적 과정을 거치지 않은 레이블 번호가 i인 무게중심을 의미하고, #의 경우 이전에 처리 된 t-1 프레임에서 추적과정을 통해 부여받은 레이블 L의 무게 중심을 의미한 다. ρ는 비용 함수의 가중치를 조절해주는 변수이다. 비용함수는 C는 모든 (L, i) 짝에 대해서 계산되어지고 이를 최소로 하는 짝의 레이블을 i에 부여하게 된다. 또한 객체끼리 서로 겹침 현상이 발생할 경우 해당하는 레이블이 하나로 합쳐져 기존에 가지고 있던 레이블번호를 잃어버리는 경우가 발생할 수 있는데, 이는 겹침 발생을 인식하여 이 상황이 발생할 경우 정해진 레이블 정보와 무게중심, 속도, 최근접 사각형의 크기변화를 그대로 보존하는 방식을 이용하여 해결한다.

추적되는 객체의 이동궤적은 검출된 영역의 최 하단 중심점을 이용한다. 이는 배회패턴 판단 시 객체가 바닥면을 밟고 지나간 실제적인 패턴을 측정하기 위함이다.

3.2.3 히스토그램 매칭

기존의 객체와 새롭게 등장한 객체를 판단하기 위한 히스토그램 매칭 기법은 HSI 컬러 공간의 색상과 채도 성분, 즉 색도성분을 이용한다. 밝기 값의 경우 조명 변화에 크게 값이 변하는 반면, 색도 성분은 조명의 영향을 비교적 덜 받는다. 제안하는 방법은 [그림 4]와 같이 객체를 인체의 일반적 신체 비율에 맞게 머리, 몸통, 다리로 분할하고 이 중 몸통과 다리의 영역의 색도 성분을 추출한다. 이 영역의 색상과 채도 성분에 대하여 각각 18개의 값의 범위에 대한 정규화된 히스토그램을 생성한다. [그림 4(a)]는 관심 객체이고, [그림 4(b)]는 관심 객체의 색상 히스토그램을 각각 상의와 하의로 분리하여 나타낸 것이다. 색상과 채도의 종합적인 정보인 색도 히스토그램을 객체의 고 유 정보로 저장한다. 그 후 [그림 5]와 같이 색도 히스토그램을 각각 바타차야 거리 (Bhattacharyya distance)를 이용하여 유사도가 60% 이상일 경우에는 기존의 존재하였던 객체로 판단하게 하고 데이터베이스에 저장된 색도 정보를 업데이트 한다. 그리고 그 객체가 과거의 감시영역에 머물렀던 저장된 시간정보에 새롭게 머무르는 시간을 측정한 후 객체가 사라지면 이를 다시 데이터베이스로 업데이트한다. 만약 색도 히스토그램 매칭결과 새로운 객체로 판단된다면 데이터베이스에 이 정보를 입력하고 객체가 감시영역에 존재하는 시간을 측정한다. 그리고 일정시간 객체가 나타나지 않는다면 데이터베이스에서 이 객체의 정보를 삭제한다.

[그림 4] 관심 객체의 히스토그램 추출 (a) 관심객체 (b) 관심 객체의 상·하의 색상 히스토그램

3.3 배회 행위 정의 및 검출

본 논문에서 배회 행위를 아래와 같이 두 가지 패턴으로 정의하였다. 첫째, 영상 내에 객체가 영상 내의 정의된 동일한 블록을 반복적으로 움직인다. 둘째, 영상 내에 객체가 임계시간 이상 존재한다. 이 두 가지 상황 중에 적어도 한 가지 상황이 일어나게 되면 배회 행위로 경보를 발생하게 하며 객체가 정의된 시간 이상 존재하지 않으면 저장된 정보를 초기화한다.

[그림 5] 색도 히스토그램 매칭 및 데이터베이스 처리과정

첫 번째 배회패턴인 이동궤적을 알아내기 위해 영상 내에 매크로 블록을 설정하는데 이때 실세계의 배회패턴과 가장 유사한 패턴을 검출하기 위해서 카메라 캘리브레이션을 이용한다. 카메라로 획득한 영상은 3차원 실세계의 2차원 투영이기 때문에 획득 영상에서 단순한 정사각형 형태의 블록을 이용할 경우 이동거리에 대한 오차가 발생하여 신뢰성 높은 움직임 패턴을 획득하기 힘들다. 실제 지면과 같은 형태의 매크로 블록을 설정하기 위해 실세계 좌표와 영상 좌표에 대한 대응 관계를 이용해 카메라 매트릭스[17]를 획득하고 이를 이용해 [그림 6]과 같은 매크로 블록을 영상 좌표계에서 정의한다. 실험에서는 배회를 검출하기 위한 매크로 블록의 크기를 실세계 좌표에서 2.25m × 2.25m의 크기로 정하였다.

[그림 6] 카메라 매트릭스를 이용한 매크로 블록의 생성

객체가 블록에 포함되는지의 여부는 실제 공간에서 객체의 발밑 좌표가 해당 블록에 포함될 경우로 하고, 각 블록마다 객체가 지나간 횟수를 저장하게 된다. 블록에 저장된 횟수에 따라 객체가 한 번 지나간 블록 영역을 객체의 보행궤적이라고 정의하며, 두 번 지나간 블록 영역을 객체의 배회궤적으로 정의하였다. 이때, 객체의 배회궤적을 나타내는 블록이 3개 이상 생성되었을 경우 배회 상황으로 검출하였다. 배회 상황의 기준이 되는 블록의 수는 감시자가 변경할 수 있도록 구성하였다.

배회의 두 번째 패턴은 객체가 설정한 임계시간 이상 존재하게 되면 배회행위로 검출하는 것인데, 이는 시간측정으로 간단하게 구현될 수 있다. 또한 모든 객체정보를 저장할 수 없기 때문에 객체가 화면에서 정해진 임계시간 이상 존재하지 않을 경우에 저장되어 있는 객체 정보를 초기화하게 된다. 배회 행동의 실험 결과는 [그림 7] 및 [그림 8]과 같다. [그림 7]은 배회의 첫 번째 패턴인 블록 영역에 객체가 배회패턴을 보일 때의 결과 영상이고, [그림 8]은 배회의 두 번째 패턴인 임계시간 이상 객체가 머물러있을 때의 결과를 보여준다.

[그림 7] 배회궤적 블록을 이용한 첫 번째 배회패턴의 검출

[그림 8] 임계시간 이상 머물러있을 때의 배회패턴의 검출

[그림 7(a)]의 붉은색 객체는 배회행위로 검출 되었으며 파란색 객체는 배회패턴을 나타내지 않아 검출되지 않은 것을 확인할 수 있다. [그림 7(b)]는 매크로 블록의 구조를 보여주며 진한 붉은색으로 표현된 블록이 배회궤적 블록이다. 배회궤적에 속하는 블록의 개수가 3개 이상일 경우 [그림 7(a)]에서처럼 배회행 위를 모니터 상에서 글자로 표현될 수 있도록 하여 감시자가 배회행위 객체에 더 주의를 집중 할 수 있도록 하였다. [그림 8]은 두 번째 배회패턴인 임계시간 이상 객체가 머물러 있을 경우 검출된 배회행위를 나타낸다. [그림 8(b)]의 매크로 블록은 보행궤적을 보이고 있지만, 객체가 매우 천천히 움직이며 장시간 동안 감시영역 내에 머물러 있기 때문에 [그림 8(a)]에 서 배회행위로 판단하고 있다.

IV. 실험환경 및 성능평가

4.1 실험 환경구성

제안하는 배회행위 검출 방법에는 제약사항이 존재한다. 색도 히스토그램 매칭 방법을 수행하기 때문에 조명 시설이 없는 야간환경, 조명의 색상이 뚜렷하여 다른 객체의 색상을 비슷하게 표현하게 되는 환경에서는 다른 배회객체와의 구분이 힘들다. 이는 모든 색상 기반 추적 방법에서 동일하게 발생되는 문제이며 극복해야 할 과제이다. 제안하는 방법의 검증을 위해 샘플 영상들은 맑은 날 그림자가 존재하는 주간에 촬영 되었다. 실외에 설치된 카메라의 모델은 SDC-415S이며 획득되는 영상의 크기는 704×480의 크기이다. 원활한 실시간 처리를 위하여 24 frame/sec의 속도로 영상을 취득하게 되며 취득된 영상의 배회행위를 검출하기 위해 Intel Core 2.0 Duo 프로세서, 4GB 메모리가 탑재된 데스크탑 PC가 사용되었다. 시스템의 메모리가 허락하는 범위에서 모든 배회객체에는 레이블이 부여된다.

배회행위를 검출하기 위해 생성한 샘플 영상들은 다음과 같은 제한 조건을 가지고 촬영되었다. 전경으로 검출되는 객체는 사람으로 한정하며, 영상에 나타난 사람들은 동일한 색상의 옷을 입지 않았다. 또한 사람은 손을 잡거나 그룹을 형성하여 움직이지 않으며 바른 자세로 이동하는 것으로 한정한다. 그리고 촬영 장소에 눈이나 비가 내리지 않는다. 이러한 제약 조건을 갖고 배회행위를 검출하기 위한 6개의 샘플 영상들을 촬영하였다.

4.2 배회행위 시나리오 테스트

배회행위를 검출하기 위해 시나리오를 구성하여 이에 맞게 실행해보았다. 첫 번째 시나리오는 다음과 같이 구성하였다. 1)객체가 영상 내에서 동일한 블록을 반복적으로 움직이는 경우. 2)객체가 배회 임계시간보다 오래 영상 내에 존재할 경우. 3)객체가 배회 임계시간 보다 짧게 존재한 후 영상 밖으로 나갔다가 다시 들어온 후 또 다시 임계기준 시간 보다 짧게 머물러 있은 후 사라지지만, 총 머물러 있는 시간은 배회 임계시간을 초과하는 경우이다. 첫 번째의 행위의 경우 객체가 동일 블록을 반복적으로 움직였을 때, 정의된 배회의 첫 번째 패턴으로 검출 되었다. 또한 임계시간 이상 머물러 있을 경우 정의된 두 번째 배회패턴으로 인식되어 배회행위로 검출되었다. 세 번째인 감 시영역에서 사라진 후 다시 나타났을 경우 제안하는 시스템은 다시 나타난 객체를 이전에 사라진 객체와 동일객체로 인식하는데 성공하였으며, 다시 나타난 경우의 배회시간이 이전과 누적되어 배회행위로 검출되었다. 배회행위로 검출된 객체가 다시 사라져서 정의된 시간동안 나타나지 않을 경우 이 객체의 색도 히스토그램 정보는 성공적으로 삭제되었다. 다중 객체에 대해서도 위와 같은 시나리오를 적용하였는데 모두 성공적으로 테스트를 수행함을 확인 할 수 있었다.

두 번째의 시나리오에서 객체 A는 인근 영역을 보행궤적으로 움직이고 B는 배회 임계시간 보다 짧게 머물러 있게된다. 두 객체는 감시 영역에서 벗어난 후 곧 돌아와 서로 역할을 바꿔서 행동한 후 다시 감시영역에서 벗어난다. 그러나 객체 A와 B가 감시영역에 머물러 있는 총 시간은 배회임계시간을 초과한다. 이 시나리오는 객체 A, B 모두 다시 나타났을 경우 정확 하게 인식되어 누적 된 배회시간이 계산되어 졌기에 배회로 검출됨을 확인 할 수 있었다.

제안하는 배회행위 검출 시스템은 배회 임계시간 보다 짧게 머물러 있지만 배회궤적을 보인 객체에 대한 테스트와 보행궤적을 나타내지만 배회임계시간 보다 오래 머물러있는 객체에 대한 테스트를 함께 수행하고 이 정보를 저장해 놓기 때문에 제한된 감시영역에서 보다 강인하게 배회행위를 찾아냈으며, 두 가지 배회패턴을 나타내는 객체를 모두 경고하기 때문에 의심스러운 배회행위를 하는 모든 객체들을 효율적으로 검출해 냄을 확인 할 수 있었다.

4.3 성능평가

배회검출 시스템의 인식, 객체추적 , 상황 분석 모듈에 대한 각각의 성능과 처리시간을 제시한다. 먼저 객체 검출 단계에서의 성공적인 검출은 [그림 9(a)]와 같이 관심영역이 객체 전체를 나타내었을 경우로 하였고, [그림 9(b)]와 같이 실패한 경우는 관심영역 이 객체를 부분적으로 나타내거나 아예 나타내지 못한 경우로 측정하였다. 이를 토대로 앞서 설명한 6개의 샘플 영상에서 객체가 영상에 존재하는 전체프레임을 기준으로 객체의 추출률을 측정하였으며 그 결과는 [표 1]과 같다.

[그림 9] 객체 검출 성공과 실패 예시 (a) 성공프레임 (b) 실패프레임 

[표 1] 객체 검출 성능평가

객체 추적 단계에서는 객체가 영상에 존재하고 있는 동안 인식된 객체와 이를 추적한 이동경로를 프레임별로 측정하였다. [표 2]는 각각의 샘플 영상에서 [표 1]에서의 방법과 같은 방식으로 객체의 추적률을 측정한 것이다. 실험 결과는 높은 추적 성공률을 나타냈는데 이는 정확한 그림자 및 노이즈 제거기술로 추적 이전의 객체검출이 효과적으로 이루어 졌으며, 겹침 상황 시 레이블 및 특징 보전 방법을 사용했기 때문이다.

[표 2] 객체 추적 성능평가

[표 3]은 상황 분석에 단계에서의 성능평가이다. 전체프레임은 객체가 영상에서 배회 행동을 하는 총 프레임 수를 의미하며 성공프레임은 시스템에서 배회 상황이 검출된 프레임 수를 의미한다. 6개의 샘플 영상에서 모두 상황 분석이 성공하였다.

 [표 3] 상황 분석 성능평가

마지막으로 [표 4]는 본문에서 제안한 시스템의 처리 속도에 관한 평가이다. 24프레임으로 이루어진 여섯 가지 샘플 영상의 평균 처리 속도가 69ms로 측정 되었다. 현재 시중에서 사용되는 시스템의 처리 속도는 100ms 이내이며 본 연구에서는 그보다 빠른 처리 속도를 가지며 실시간으로 처리가 가능한 모습을 확인하였다.

[표 4] 처리 속도 성능평가

V. 결론

기존에 제안된 배회행위 검출 알고리즘은 영상의 감시 시점에서만 배회행위를 감지하는데 초점을 맞춘 경우가 많아 동일한 객체가 카메라 영상에서 사라졌다가 다시 등장하였을 경우 이를 배회로 판단하는데 어려움이 많았으며 실세계에서의 배회패턴 모델이 아닌 2차원 영상에 투영된 배회패턴 모델을 사용하여 그 신뢰도가 높지 않았다. 본 논문에서는 이러한 문제점을 해결하기 위한 배회행위 검출 시스템을 제안하였다. 제안하는 시스템은 그림자 제거를 통한 강인한 객체 인식모듈, 색도 히스토그램 정보를 이용하여 동일 객체를 판단하는 객체 추적 모듈, 카메라 캘리브레이션을 이용한 실세계 배회패턴 매크로 블록생성과 두 가지의 배회패턴을 검사하는 상황분석 모듈로 구성된다. 각 모듈은 6개의 샘플 영상을 통해 그 성능을 분석하였는데 객체인식 모듈에서 약 94%,, 객체 추적모듈에서 100%,, 상황분석 모듈에서는 모든 프레임에서 배회행위를 검출하는 결과를 나타내어 제안하는 시스템이 좋은 성능을 나타냄을 입증하였다.

그러나 데이터베이스에 기존 객체의 정보를 오랜 기간 지속하여 저장할 수 없다는 점과 옷의 색상에 기반한 특징 추출로 인해 교복과 같은 비슷한 객체들의 경우 이전과 동일한 객체로 인식하기 어려운 점이 존재한다는 한계점이 있다. 그럼에도 불구하고 배회행위를 배회패턴과 배회지속 시간 두 가지 경우로 검사하기 때문에 많은 경우 동일 객체로 인식하지 못한 경우에도 배회패턴을 검출해 낼 수 있음을 확인하였다. 제안하는 배회검출 시스템을 학교 앞이나 동네 놀이터 같은 아이들이 많이 다니는 장소, 공공 주차장 등에 적용하여 범죄 예방에 큰 효과를 가져 올 수 있을 것으로 기대한다. 향후 보다 다양하고 정확한 객체 특징 추출과 다양한 환경 및 시나리오에서 알고리즘을 테스 트하여 더욱 강인한 배회검출 알고리즘을 개발하며 배회가 아닌 다른 이상행위에 대하여도 연구를 진행할 예정이다.