Journal of the Institute of Electronics Engineers of Korea CI (전자공학회논문지CI)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

A Semantics-based Video Retrieval System using Annotation and Feature

주석 및 특징을 이용한 의미기반 비디오 검색 시스템

  • Published : 2004.07.01
Download PDF
⟨ Previous Next ⟩

Abstract

In order to process video data effectively, it is required that the content information of video data is loaded in database and semantic-based retrieval method can be available for various query of users. Currently existent contents-based video retrieval systems search by single method such as annotation-based or feature-based retrieval, and show low search efficiency md requires many efforts of system administrator or annotator because of imperfect automatic processing. In this paper, we propose semantics-based video retrieval system which support semantic retrieval of various users by feature-based retrieval and annotation-based retrieval of massive video data. By user's fundamental query and selection of image for key frame that extracted from query, the agent gives the detail shape for annotation of extracted key frame. Also, key frame selected by user become query image and searches the most similar key frame through feature based retrieval method and optimized comparison area extracting that propose. Therefore, we propose the system that can heighten retrieval efficiency of video data through semantics-based retrieval.

비디오 데이터를 효율적으로 처리하기 위해서는 비디오 데이터가 가지고 있는 내용에 대한 정보를 데이터베이스에 저장하고 사용자들의 다양한 질의를 처리할 수 있는 의미기반 검색 기법이 요구된다. 기존의 내용기반 비디오 검색 시스템들은 주석기반 검색 또는 특징기반 검색과 같은 단일 방식으로만 검색을 하므로 검색 효율이 낮을 뿐 아니라 완전한 자동 처리가 되지 않아 시스템 관리자나 주석자의 많은 노력을 요구한다. 본 논문에서는 주석기반 검색과 특징기반 검색을 이용하여 대용량의 비디오 데이터에 대한 사용자의 다양한 의미검색을 지원하는 에이전트 기반에서의 자동화되고 통합된 비디오 의미기반 검색시스템을 제안한다. 사용자의 기본적인 질의와 질의에 의해 추출된 키 프레임의 이미지를 선택함으로써 에이전트는 추출된 키 프레임의 주석에 대한 의미를 더욱 구체화시킨다. 또한, 사용자에 의해 선택된 키 프레임은 질의 이미지가 되어 제안하는 특징기반 검색 기법과 최적 비교 영역 추출을 통해 가장 유사한 키 프레임을 검색한다. 따라서 의미기반 검색을 통해 비디오 데이터의 검색의 효율을 높일 수 있도록 시스템을 제안한다.

Keywords

References

  1. Sibel Adali, et. al., 'The Advanced Video Information System: data structure and query processing,' Multimedia System, pp.172-100, 1996 https://doi.org/10.1007/s005300050021
  2. N. Dimitrova, A. Zakhor and T. Huang, 'Applications of video-content analysis and retrieval,' IEEE Multimedia, Vol.9, No.3, pp,42-55, 2002 https://doi.org/10.1109/MMUL.2002.1022858
  3. C. W. Ngo, T. C. Pong, H. J. Zhang, 'Clustering and retrieval of video shots through temporal slices analysis,' IEEE Trans on Multimedia, Vol. 04, No.04, pp.446-453, 2002 https://doi.org/10.1109/TMM.2002.802022
  4. M. S. Kankanhalli and T. S. Chua, 'Video mode -ling using strata-based annotation,' IEEE Multimedia, Vol.7, No.1, pp.68-74, 2000 https://doi.org/10.1109/93.839313
  5. Myron Flickner and et. al, 'Query by Image and Video Content : The QBIC system,' IEEE Computer, Vol. 28, No. 9, 1995 https://doi.org/10.1109/2.410146
  6. J. R. Smith and S. F. Chang, 'VisualSEEK : a fully automated content-based image query system,' ACM Multimedia, Boston, 1996 https://doi.org/10.1145/244130.244151
  7. Tony C. T. Kuo and Arbee L. P. Chen, 'A Content Based Query Language for Video Database,' IEEE M.M. '96, pp. 200-214, 1996
  8. Sibel Adali, et. al., 'The Advanced Video Information System: data structures and query processing,' Multimedia System, pp. 172-186, 1996 https://doi.org/10.1007/s005300050021
  9. R. Hjelsvold, 'VideoSTAR-A Database for Video Information Sharing,' Ph.D. Thesis, Norwegian Institute of Technology, 1995
  10. Eitetsu Oomoto, Katsumi Tanaka, 'OVID : Design and Implementation of a Video Object Database System,' IEEE TKDE, Vol. 5, No.4, pp. 629-643, 1993 https://doi.org/10.1109/69.234775
  11. D. Shasha and T.L. Wang, 'New Techniques for Best-match Retrieval,' ACM TOIS, Vol. 8, No. 2, pp.140-158, 1990 https://doi.org/10.1145/96105.96111
  12. G. Salton and M. J. McGill, 'Introduction to Modem Information Retrieval,' McGraw-Hill, 1983