Video Indexing for Efficient Browsing Environment

효율적인 브라우징 환경을 위한 비디오 색인

  • 고병철 (연세대학교 컴퓨터과학과) ;
  • 이해성 (연세대학교 컴퓨터과학과) ;
  • 변혜란 (연세대학교 컴퓨터과학과)
  • Published : 2000.01.15

Abstract

There is a rapid increase in the use of digital video information in recent years. Especially, user requires the environment which retrieves video from passive access to active access, to be more efficiently. we need to implement video retrieval system including video parsing, clustering, and browsing to satisfy user's requirement. In this paper, we first divide video sequence to shots which are primary unit for automatic indexing, using a hybrid method with mixing histogram method and pixel-based method. After the shot boundaries are detected, corresponding key frames can be extracted. Key frames are very important portion because they help to understand overall contents of video. In this paper, we first analyze camera operation in video and then select different number of key frames depend on shot complexity. At last, we compose panorama images from shots which are containing panning or tilting in order to provide more useful and understandable browsing environment to users.

최근 멀티미디어에 대한 관심이 증가하면서 그에 따른 기술 또한 매우 빠른 속도로 증가하고 있다. 특히 비디오 영상 검색 기능에 대한 사용자들의 욕구는 비디오에 대한 수동적인 접근 방식에서, 자신이 원하는 부분만을 선택적으로 검색할 수 있는 보다 편리한 환경을 요구하고 있다. 이를 위해서는 대용량의 비디오 데이타를 의미 있는 단위로 나누기 위한 비디오 파싱(Parsing)과 클러스터링(Clustering), 브라우징(Browsing)등을 포함하는 비디오 인덱싱 시스템의 구현이 필요하다. 본 논문에서는 우선 비디오 시퀀스를 히스토그램과 화소단위 비교법을 혼합한 하이브리드 방법을 통해서 자동 인덱싱을 위한 기본 단위인 샷(shot)으로 나눈다. 비디오 분할 후에 각 샷들로부터 대표 프레임을 검출한다. 대표 프레임은 사용자로 하여금 비디오의 전체적인 내용을 이해할 수 있도록 도와줌으로써 그 중요성이 크다고 할 수 있다. 따라서 본 논문에서는 웨이블릿 변환을 이용하여 우선적으로 샷 내에 포함된 카메라의 움직임을 분석하고, 각 프레임들의 변화량을 측정하여 샷의 복잡성에 따라 각기 다른 수의 대표 프레임을 선출하도록 하였다. 마지막으로 카메라 움직임중 패닝, 혹은 틸팅이 포함된 샷에 대해서 파노라마 영상을 합성함으로써 사용자에게 보다 편리하고 이해하기 쉬운 브라우징 환경을 제공할 수 있도록 하였다.

Keywords

References

  1. 고병철, 변혜란, '비디오 샷 경계면 분할기법 비교를 통한 대표 프레임 추출' '98 정보과학회 가을 학술발표 논문집(II), pp. 512-514
  2. 허승, 김우생, '윤곽선과 컬러 분포를 이용한 비디오 분할과 비디오 브라우징', 정보처리학회논문지 제4권 제9호('97.9), pp. 2197-2207, 1997
  3. Anita Komlodi, Gary Marchionini, 'Key frame preview techniques for video browsing,' in Proc. ACM conference on Digital Libraries(Digital Libraries '98), pp 118-125, 1998 https://doi.org/10.1145/276675.276688
  4. HongJiang Zhang, J.Y.A Wang and Y. Altunbasak, 'Content-based video retrieval and compression: A unified solution,' in Proc. IEEE Int. Conf. on Image Proc., 1997 https://doi.org/10.1109/ICIP.1997.647372
  5. Yong Rui,Thomas S. Huang and Sharad Mehrotra, 'Exploring Video Structure Beyond the Shots,' IEEE Multimedia System '98, pp237-240, 1998 https://doi.org/10.1109/MMCS.1998.693648
  6. Thomas S. Huang, Yong Rui, Trausti Kristjansson, Milind Naphande and Yueting Zhuang, 'Video Analysis and Representation,' Proposal of University of Illinois at urbana-champaign. 1998
  7. 이재현, 장옥배 '움직임 벡터를 사용한 점진적 장면전환 검출', 정보과학회 논문지(C) 제3권 제2호(97.4), 1997
  8. John S. Boreczky and Lawrence A. Rowe, 'Comparison of Video Shot boundary Detection Techniques,' Ph.D. dissertion, University of Califonia at Berkeley, 1996
  9. Myron Flicker et al. 'A Query by Image and Video Content: The QBIC System' Intelligent Multimedia Information Retrieval, pp. 7-22, 1997
  10. H. Zhang, J. Wu, D. Zhong, and S. W. Smoliar, 'An integrated system for content-based video retrieval and browsing,' Pattern Recognition, vol.30, no. 4, pp. 643-658, 1997 https://doi.org/10.1016/S0031-3203(96)00109-4
  11. W. Wolf, 'Key frame selection by motion analysis,' in Proc. IEEE Int. Conf. Acoust., Speech, and Signal Proc., 1996 https://doi.org/10.1109/ICASSP.1996.543588
  12. HongJiang Zhang, Chein Yong Low and Stephen W.Smoliar, 'Video Parsing and Browsing Using Compressed Data,' Multimedia Tools. and Application, vol 1, pp 89-111, 1995 https://doi.org/10.1007/BF01261227
  13. F. Idris and S. Panchanathan, 'Review of Image and Video Indexing Techniques', Journal of Visual Communication and Image Representation Vol. 8, No 2, June, pp. 146-166, 1997 https://doi.org/10.1006/jvci.1997.0355
  14. 고병철, 이해성, 변혜란, '웨이블릿 변환을 이용한 비디오 파노라마 영상 구성' HCI '99 학술대회 발표 논문집, pp187-190 1999. 2
  15. 이용현, 강행봉, 박용진, '영역 정보를 이용한 비디오 데이터의 카메라 모션 검출 및 대표 프레임 선택 방법' 98 가을 학술 발표 논문집(II) 제25권 2호, pp. 315-317. 1998
  16. Brown, L.G. 'A Survey of Image Registration Techniques,' ACM Computing Surveys, Vol. 24, No. 4, pp 325-376, 1992 https://doi.org/10.1145/146370.146374
  17. Yukinobu Taniguchi, Akihito Akutsu, Yoshinobu Tonomura, 'PanoramaExcerpts: Extracting and Packing Panoramas for Video Browsing,' ACM Multimedia-Electronic Proceeding 97, 1997 https://doi.org/10.1145/266180.266396
  18. 이재연, 전병태, 배영래, '복수의 검출기를 사용하는 동영상의 샷 경계 자동 검출 알고리즘,' 정보과학회 논문지(B), 제25권 제9호(98.9) p.1352-1360