Activity-based key-frame detection and video summarization in a wide-area surveillance system

광범위한 지역 감시시스템에서의 행동기반 키프레임 검출 및 비디오 요약

In this paper, we propose a video summarization system which is based on activity in video acquired by multiple non-overlapping cameras for wide-area surveillance. The proposed system separates persons by time-independent background removal and detects activities of the segmented persons by their motions. In this paper, we extract eleven activities based on whose direction the persons move to and consider a key-frame as a frame which contains a meaningful activity. The proposed system summarizes based on activity-based key-frames and controls an amount of summarization according to an amount of activities. Thus the system can summarize videos by camera, time, and activity.

본 논문에서는 광범위한 지역을 감시하기 위해 설치된 여러 대의 카메라로부터 획득된 비디오에 대해 행동을 기반으로 한 비디오 요약 시스템을 제안한다. 제안된 시스템은 시야가 겹쳐지지 않은 다수의 CCTV 카메라를 통해서 촬영한 비디오들을 30분 단위로 나누어 비디오 데이터베이스를 구축하여 시간별, 카메라별 비디오 검색이 가능하다. 또한 30분 단위로 나눈 비디오에서 키프레임을 추출하여 카메라별, 행동별로 비디오를 요약할 수 있도록 하였다. 행동 검출과 관련된 11가지(in, out, stay, left, right, forward, backward, left_forward, left_backward, right_forward, right_backward)에 대한 요약된 정보를 가지고 현재 사람의 행동이 어떤 영역에서 어떤 방향으로 움직이고 있는 지에 대한 정보를 행동별 비디오 요약을 통해 보여줌으로써 더 자세히 행동 추적된 결과를 볼 수 있다. 또한 카메라 3대에 대한 전체적인 키프레임에 대한 행동별 통계를 통해서 감시지역의 행동기반 이벤트들을 한 눈에 간단히 확인해 볼 수 있다.