Abstract
In this paper we propose an effective method to represent, store, and retrieve video streams efficiently from a video database. We extract features from each video frame, normalize the feature values, and represent them as values in the range [0,1]. In this way a video frame with f features can be represented by a point in the f-dimensional space $[0,1]^f$, and thus the video stream is represented by a trail of points in the multidimensional space. The video stream is partitioned into video segments based on camera shots, each of which is represented by a trend vector which encapsulates the moving trend of points in a segment. The video stream query is processed depending on the comparison of those trend vectors. We examine our method using a collection of video streams that are composed of sports, news, documentary, and educational videos. Experimental results show that our trend vector representation reduces a reconstruction error remarkably (average 37%) and the retrieval using a trend vector achieves the high precision (average 2.1 times) while maintaining the similar response time and recall rate as existing methods.
본 논문에서는 비디오 스트림을 효과적으로 표현하고 저장하며, 저장된 비디오 스트림을 효율적으로 검색하는 기법을 제안한다. 각 비디오 프레임으로부터 특징(feature)들을 추출하고, 각 특징들의 수치값을 정규화 하여 [0,1] 사이의 값으로 표현하면, f 개의 특징으로 표현된 비디오 프레임은 f 차원의 공간 $[0,1]^f$ 상의 한 점으로 나타낼 수 있다. 따라서 비디오 스트림은 다차원 공간에서 점들의 궤적으로 표현될 수 있으며 이 궤적은 카메라 샷을 기준으로 비디오 세그먼트로 분할된다. 비디오 세그먼트는 세그먼트 내의 점들의 움직임 등의 정보를 나타내는 경향 벡터(trend vector)로 표현되며, 비디오 스트림 검색은 이러한 경향 벡터에 대하여 수행된다. 스포츠, 뉴스, 기록영화, 교육용 비디오 등의 비디오 스트림에 대하여 제안한 기법을 검증하였으며, 실험 결과 기존의 방법에 비하여 복원 오차율(reconstruction error rate)이 평균37% 감소되었고, 검색의 정밀도(precision)는 비슷한 수준의 재현율(recall) 및 응답 시간을 유지하면서 평균 2.1 배까지 향상되었음을 관찰할 수 있었다.
