DOI QR코드

DOI QR Code

Development of Interactive Video Using Real-time Optical Flow and Masking

옵티컬 플로우와 마스킹에 의한 실시간 인터렉티브 비디오 개발

  • 김태희 (영산대학교 게임컨텐츠학과)
  • Received : 2011.03.09
  • Accepted : 2011.05.31
  • Published : 2011.06.28

Abstract

Recent advances in computer technologies support real-time image processing and special effects on personal computers. This paper presents and analyzes a real-time interactive video system. The motivation of this work is to realize an artistic concept that aims at transforming the timeline visual variations in a video of sea water waves into sound in order to provide an audience with an experience of overlapping themselves onto the nature. In practice, the video of sea water waves taken on a beach is processed using an optical flow algorithm in order to extract the information of visual variations between the video frames. This is then masked by the silhouette of an audience and the result is projected on a gallery space. The intensity information is extracted from the resulting video and translated into piano sounds accordingly. This work generates an interactive space realizing the intended concept.

최근의 기술발달은 개인용 컴퓨터를 이용하여 실시간 영상처리 및 특수효과 처리를 가능하게 하였다. 본 논문에서는 개인용 컴퓨터를 이용하여 제작하고 시연한 실시간 인터렉티브 비디오 시스템을 기술하고 분석한다. 본 작품의 동기는 해변에서 파도가 부서지는 시각적 모습으로 부터 파도소리를 대체하는 사운드를 생성하고 자연과 하나가 되어가는 경험을 제공하기 위한 것이다. 이를 위하여 해변의 모습을 촬영한 실사 영상을 컴퓨터 비젼 기법인 옵티컬 프로우(Optical Flow)에 의하여 처리함으로써 프레임간의 변화에 대한 정보를 얻어 이를 카메라에서 실시간으로 캡쳐 받은 관객의 실루엣 이미지와 마스킹(masking)에 의하여 결합하고 그 결과를 프로젝터를 통하여 보여준다. 결과 이미지의 특성을 반영하여 미디 피아노 사운드가 함께 생성된다. 이는 하나의 인터렉티브 비디오 작품으로써 의도된 개념을 반영하여 상호작용 공간을 창출한다.

Keywords

References

  1. C. Paul, Digital Art, 2nd ed., Thames & Hudson, 2008.
  2. D. Marr, Vision, W.H. Freeman and Company, 1982.
  3. 최유주, "데스크탑 환경에서의 3차원 상호작용을 위한 비전기반 인터랙션 도구의 설계", 정보처리학회 논문지 B, 제15-B권, 제5호, 2008. https://doi.org/10.3745/KIPSTB.2008.15-B.4.421
  4. S. Wilson, Information Arts, pp.730-732, The MIT Press, 2002.
  5. 신민진, "미디어 퍼포먼스를 위한 실시간 영상 표현에 관한 연구", 동서대학교 석사논문, 2009.
  6. 정세원, "Max/MSP&Jitter에서의 비디오 트랙킹을 이용한 인터렉티브 뮤직" , 부산대학교 석사논문, 2009.
  7. C. Cherrett, "Making Training More Cognitively Effective: Making Video Interactive," British Journal of Educational Technology, Vol.40, No.6, pp.1124-1134, 2009. https://doi.org/10.1111/j.1467-8535.2009.00985.x
  8. H. Mushkin and S. Barnet, "Mario's Furniture: A Wireless Interactive Video Installation and Game," Leonardo, Vol.41, No.3, pp.306-307, 2008. https://doi.org/10.1162/leon.2008.41.3.306
  9. http://homepage.mac.com/davidrokeby/ mirrors.html
  10. http://www.smoothware.com/danny/
  11. http://camilleutterback.com/
  12. http://www.lozano-hemmer.com/ body_movies.php
  13. http://cycling74.com/