Journal of Korea Multimedia Society (한국멀티미디어학회논문지)

Korea Multimedia Society (한국멀티미디어학회)
권호 표지

Shot Change Detection Technique Using Adaptive Threshold Setting Method on Variable Reference Block and Implementation on PMP

가변 참조 구간에서의 적응적 임계값 설정 방법을 이용한 장면 전환 검출 기술과 PMP에서의 구현

  • 김원희 (부경대학교 대학원 컴퓨터공학과) ;
  • 문광석 (부경대학교 전자컴퓨터정보통신공학부) ;
  • 김종남 (부경대학교 전자컴퓨터정보통신공학부)
  • Published : 2009.03.30
Download PDF
⟨ Previous Next ⟩

Abstract

Shot change detection is the main technique in the video segmentation which requirs real-time processing and automatical processing in hardware. Until now, there were few research reports about real-time shot change detection for applying to hardware terminals with low performance such as PMPs(Portable Media Player) and cellular phones. In this paper, we propose shot change detection technique using adaptive threshold setting method on variable reference block. Our proposed algorithm determines shot change detection by comparing the feature value of current frame and a mean of a feature value on variable reference blocks. The proposed method can be used independently from the feature value of frame, can adaptively set thresholds using a mean of a feature value on variable reference blocks. We obtained better detection ratio than the conventional methods maximally by precision 0.146, recall 0.083, F1 0.089 in the experiment with the same test sequences. We verified real-time operation of shot change detection by implementing our algorithm on the PMP from some company of H. Therefore, our proposing algorithm will be helpful in searching video data on portable media players such as PMPs and cellular phones.

장면 전환 검출은 비디오 분할의 주요 기술로서 하드웨어에서 구현하기 위해서는 실시간 및 자동적 처리가 만족되어야 한다. 현재까지 PMP나 핸드폰 같은 낮은 하드웨어 성능의 단말기에서 실시간으로 적용 가능한 장면 전환 검출 기술은 거의 없다. 이와 같은 단말기들에서 장면 전환 검출의 실시간 적용을 위하여, 본 논문에서는 가변 참조 구간의 적응적 임계값 설정 방법을 이용한 장면 전환 검출 기술을 제안한다. 제안하는 방법은 현재 프레임의 특징값과 가변 참조 구간의 평균 특징값을 비교하여 장면 전환 유무를 결정한다. 제안하는 방법은 프레임의 특징값에 독립적으로 사용할 수 있으며, 가변 참조 구간 동안의 평균 특징값을 이용하여 자동적인 임계값 설정이 가능하다. 동일한 영상에 대한 실험을 통하여 기존의 방법들보다 최고 정확도(precision)에서 0.146, 회수도(recall)에서 0.083, F1에서 0.089 이상 결과가 향상된 것을 확인하였다. 제안한 실시간 SCD 모델을 H사의 PMP에 적용하여 실시간 장면 전환 검출이 가능한 것을 검증하였다. 제안한 방법은 PMP나 핸드폰 같은 휴대용 미디어 재생 장치에서 비디오 데이터를 검색할 때 유용하게 사용될 수 있다.

Keywords

References

  1. C. Cotsaces, N. Nikolaldis and I. Pitas, "Video Shot Detection and Condensed Representation," IEEE Signal Processing Magazine, Vol.23, pp. 28-37, 2006. https://doi.org/10.1109/MSP.2006.1621446
  2. S. W. Smoliar and H. J. Zhang, "Content-Based Video Indexing and Retrieval," IEEE Multimedia, Vol.1, No.2, pp. 62-72, 2006. https://doi.org/10.1109/93.311653
  3. H. J. Zhang, A. Kankamhalli, and S. W. Smoliar, Automatic partitioning of full-motion video, ACM Multimedia Systems, New York, 1993.
  4. A. Hampapur, R. Jain, and T. Weymouth, "Digital Video Segmentation," Proc. ACM Multimedia 94, pp. 357-364, 1994.
  5. J. Yu and M. D. Srinath, "An dfficient method for scene cut detection," Pattern Recognition Letters, Vol.22, pp. 1379-1391, 2001. https://doi.org/10.1016/S0167-8655(01)00085-X
  6. B. Shahraray, "Scene Change Detection and Content-Based Sampling of Video Sequences," Proc. in Digital Video Compression: Algorithms and Technologies, Vol. SPIE-2419, pp. 2-13, 1995.
  7. W. Xiong, J. C. M. Lee, and D. G. Shen, "Net Comparison: An Adaptive and Effective Method for Scene Change Detection," SPIE, 1995.
  8. Y. Tonomura, "Video handing based on structured information for hypermedia system," Proc. ACM International Conference Multimedia Information Systems, pp. 333-344, 1991.
  9. A. Nagasaka and Y. Tanaka, "Automatic Video Indexing and Full Video Search For Object Appearances," Proceedings of the IFIP TC2/WG 2.6 Second Working Conference on Visual Database Systems II, pp. 113-127, 1991.
  10. H. Ueda, T. Miyatake, and S. Yoshizawa, "ImPACT: An Interactive Natural-motion-picture Dedicated Multimedia Authoring System," in Proceedings of CHI, pp. 343-350, 1991.
  11. J. Meng, Y. Juan, and S. F. Chang, "Scene change detection in a MPEG compressed video sequence," Digital Video Compression: Algorithms and Technologies, Vol. SPIE-2419, pp. 14-25, 1995.
  12. Y. K. Seong, Y. Choi, J. Park, and T. Choi, "A hard disk drive embedded digital satellite receiver with scene change detector for video indexing," IEEE Transactions on Consumer Electronics, Vol.48, No.3, pp. 776-782, 2002. https://doi.org/10.1109/TCE.2002.1037074
  13. I. K. Sethi and N. Patal, "A statistical approach to scene change detection," Storage and Retrieval for Image and Video Databases III, Vol.SPIE-2420, PP. 329-338, 1995.
  14. J. R. Kim, S. J. Suh, and S. H. Sull, "Fast scene change detection for personal video recorder," IEEE Transactions on Consumer Electronics, Vol.49, pp. 683-688, 2003. https://doi.org/10.1109/TCE.2003.1233802
  15. J. Bescos, G. Cisneros, J. M. Menendez, and J. Cabrera, "A unified model for techniques on video-shot transition detection," IEEE Transactions on Multimedia, Vol.7, pp. 293-307, 2005. https://doi.org/10.1109/TMM.2004.840598
  16. G. Boccignone, A. Chinaese, V. Moscato and A. Picariello, "Foveated Shot Detection for Video Segmentation," IEEE Transactions on Circuits and Systems for Video Technology, Vol.15, pp. 365-377, 2005. https://doi.org/10.1109/TCSVT.2004.842603
  17. Y. Cheng, X. Yang and D. Xu, "A Method for Shot Boundary Detection With Automatic Threshold," Proceedings of IEEE TENCON, Vol.1, pp.582-585, 2002.
  18. 고경철, 이양원, “비디오 분할을 위한 자동 임계치 결정 알고리즘,” 한국컴퓨터정보학회논문지, 제10권, 제6호, pp. 65-73, 2005.