Video Story Segmentation using Nearest Neighbor Clustering Method

Nearest Neighbor 클러스터링 방법을 이용한 비디오 스토리 분할

비디오 데이터의 효율적인 검색, 요약 등에 활용하기 위해서 대용량의 비디오 데이터를 프레임(Frame), 샷(Shot),스토리(Story)의 계층적인 구조로 표현하는 방법들이 요구되고 있으며, 이에 따라 비디오를 샷, 스토리 단위로 분할하는 연구들이 수행되고 있다. 본 논문은 비디오가 샷 단위로 분할되어 있다고 가정한 후, 인접한 샷들을 결합하여 의미 있는 최소 단위인 스토리를 분할하는 방법을 제안한다. 제안하는 방법은 각 샷에서 추출된 대표 프레임들을 비교하기 위한 CCV(Color Coherence Vector) 영상 특징을 추출한다. CCV 특징의 시각적인 유사도의 초기임계값과 일정한 시간 안에 반복되는 프레임들을 찾기 위한 시간적인 유사도의 시간 임계값을 설정하여NN(Nearest Neighbor) 클러스터링 방법을 이용하여 클러스터링을 한다. 클러스터링된 정보와 같은 장면이 한번이상 반복되는 스토리의 특성을 이용해 비디오를 스토리로 분할한다. 영화 비디오 데이터를 이용한 실험을 통해 제안하는 방법의 유효성을 검증하였다.