Fast Video Detection Using Temporal Similarity Extraction of Successive Spatial Features

연속하는 공간적 특징의 시간적 유사성 검출을 이용한 고속 동영상 검색

  • 조아영 (인하대학교 전자공학과 멀티미디어 연구실) ;
  • 양원근 (인하대학교 전자공학과 멀티미디어 연구실) ;
  • 조주희 (인하대학교 전자공학과 멀티미디어 연구실) ;
  • 임예은 (인하대학교 전자공학과 멀티미디어 연구실) ;
  • 정동석 (인하대학교 전자공학과)
  • Received : 2010.09.06
  • Accepted : 2010.10.21
  • Published : 2010.11.30

Abstract

The growth of multimedia technology forces the development of video detection for large database management and illegal copy detection. To meet this demand, this paper proposes a fast video detection method to apply to a large database. The fast video detection algorithm uses spatial features using the gray value distribution from frames and temporal features using the temporal similarity map. We form the video signature using the extracted spatial feature and temporal feature, and carry out a stepwise matching method. The performance was evaluated by accuracy, extraction and matching time, and signature size using the original videos and their modified versions such as brightness change, lossy compression, text/logo overlay. We show empirical parameter selection and the experimental results for the simple matching method using only spatial feature and compare the results with existing algorithms. According to the experimental results, the proposed method has good performance in accuracy, processing time, and signature size. Therefore, the proposed fast detection algorithm is suitable for video detection with the large database.

멀티미디어 기술이 발전함에 따라 대용량의 데이터베이스의 관리와 불법 복제물 검출을 위한 동영상 검색의 필요성이 커지고 있다. 본 논문에서는 이러한 요구에 맞춰 대용량 데이터베이스에서 고속 동영상 검색을 수행할 수 있는 방법을 제안한다. 고속 동영상 검색 방법은 프레임의 휘도 분포를 이용하여 공간적 특징을 추출하고, 동영상의 시간적 유사성 지도를 생성하여 시간적 특정을 추출한다. 동영상의 공간적 특정과 시간적 특정을 식별자로 구성하고 단계적인 정합 방법을 수행한다. 실험에서는 원본 동영상과 밝기 변화, 압축률 변환, 자막/로고 삽입과 같은 다양한 변형을 이용하여 정확성, 추출 및 정합 속도, 식별자 크기를 측정하여 성능을 평가하였다. 또한, 제안한 방법의 파라미터를 실험적으로 선택한 과정을 기술하고 비교 알고리즘과 공간적 특정만을 이용한 단순 정합 결과를 제시하였다. 정확성, 경색 속도 식별자 크기의 모든 결과에서, 제안한 고속 검색 방법이 대용량 데이터베이스의 동영상 경색에 가장 적합한 기술임을 보였다.

Keywords

References

  1. J. Law-To, L. Chen, A. Joly, I. Laptev, O. Buisson, V. Gouet-Brunet, N. Boujemaa, and F. Stentiford, "Video Copy Detection: a Comparative Study," Conference on Image and Video Retrieval, 2007.
  2. X.-S. Hua, X. Chen, and H.-J. Zhang, "Robust Video Signature Based on Ordinal Measure", International Conference on Image Processing, 2004.
  3. C. Kim and B. Vasudev, "Spatiotemporal Sequence Matching for Efficient Video Copy Detection," IEEE Transactions on Circuits and Systems for Video Technology, 1(15):127-132, Jan., 2005.
  4. L. Chen, F.W.M. Stentiford, "Video sequence matching based on temporal ordinal measurement," Pattern Recognition Letter, 29(13), 1824-1831, Oct., 2008. https://doi.org/10.1016/j.patrec.2008.05.015
  5. A. Joly, O. Buisson, and C. Frelicot, "Content-based copy retrieval using distortionbased probabilistic similarity search," IEEE Trans. Multimedia, Vol.9, No.2, Feb., 2007.
  6. J. Law-To, O. Buisson, V. Gouet-Brunet, and N. Boujemaa, "Robust voting algorithm based on labels of behavior for video copy detection," ACM Multimedia, 2006.
  7. J. Sivic and A. Zisserman, "Video Google: A Text Retrieval Approach to Object Matching in Video," Proceedings of IEEE ICCV, 1470- 1477, Oct., 2003.
  8. C.-Y. Chiu, C.-C. Yang, and C.-S. Chen, "Efficient and Effective Video Copy Detection Based on Spatiotemporal Analysis," Proceedings of IEEE Symposium on Multimedia, 2007.
  9. D. G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints," International Journal of Computer Vision, Vol.60, No.2, pp.91-110, Nov., 2004.
  10. H. Bay, T. Tuytelaars, and L. Van Gool, "SURF: Speeded Up Robust Features," Journal of Computer Vision and Image Understanding, 110, 3, 346-359, 2008. https://doi.org/10.1016/j.cviu.2007.09.014
  11. I. H. Cho, A. Y. Cho, J. W. Lee, J. K. Jin, W. K. Yang, W. G. Oh, and D. S. Jeong, "Very Fast Concentric Circle Partition-Based Replica Detection Method", LNCS, Advances in Image and Video Technology, Vol.4872, 2007, pp.905- 918.
  12. www.open-video.org
  13. D. P. Heyman, and T. V. Lakeshman, "Source Models for VBR Broadcasst-Video Traffic," IEEE/ACM Trans. Networking, Vol.4, No.1, Feb., 1996.