Journal of KIISE:Computer Systems and Theory (한국정보과학회논문지:시스템및이론)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

A Stereo Video Avatar for Supporting Visual Communication in a $CAVE^{TM}$-like System

$CAVE^{TM}$-like 시스템에서 시각 커뮤니케이션 지원을 위한 스테레오 비디오 아바타

  • 이선민 (이화여자대학교 컴퓨터학과) ;
  • 박지영 (이화여자대학교 컴퓨터학과) ;
  • 김명희 (이화여자대학교 컴퓨터학과)
  • Published : 2006.06.01
Download PDF
⟨ Previous Next ⟩

Abstract

This paper suggests a method for generating high qualify stereo video avatar to support visual communication in a CAVE$^{TM}$-like system. In such a system because of frequent change of light projected onto screens around user, it is not easy to extract user silhouette robustly, which is an essential step to generate a video avatar. In this study, we use an infrared reflective image acquired by a grayscale camera with a longpass filter so that the change of visible light on a screen is blocked to extract robust user silhouette. In addition, using two color cameras positioned at a distance of a binocular disparity of human eyes, we acquire two stereo images of the user for fast generation and stereoscopic display of a high quality video avatar without 3D reconstruction. We also suggest a fitting algorithm of a silhouette mask on an infrared reflective image into an acquired color image to remove background. Generated stereo images of a video avatar are texture mapped into a plane in virtual world and can be displayed in stereoscopic using frame sequential stereo method. Suggested method have advantages that it generates high quality video avatar taster than 3D approach and it gives stereoscopic feeling to a user 2D based approach can not provide.

본 논문에서는 CAVE$^{TM}$-like 시스템에서 시각 커뮤니케이션 지원을 위한 고화질 스테레오 비디오 아바타 생성 기법을 제안한다. CAVE$^{TM}$-like 시스템에서는 사용자를 둘러싸고 있는 스크린으로 투사되는 빛의 잦은 변화 때문에 비디오 아바타 생성에 필수적인 사용자 추출이 쉽지 않다. 본 연구에서는 가시광선 차단 필터를 부착한 흑백 카메라로 획득된 적외선 반사 영상을 이용함으로써 스크린 상 빛의 변화를 차단하여 강건하게 사용자를 추출할 수 있도록 하였다. 또한, 사람의 양안차 간격으로 배치한 두 대의 컬러 카메라를 사용하여 삼차원 기하 정보의 재구성 없이 고화질 비디오 아바타를 빠르게 생성하고 입체 디스플레이 하기 위한 양안용 사용자 영상을 획득하였다. 획득된 영상에서 배경을 제거하기 위하여 적외선 반사 영상으로 정의된 실루엣 마스크와의 피팅 알고리즘을 제안한다. 생성된 비디오 아바타 스테레오 영상은 가상공간 내 평면 상에 텍스처 매핑하여 프레임 순차 스테레오 방식를 이용하여 입체 디스플레이할 수 있도록 하였다. 제안된 방식은 기존의 3D 비디오 아바타보다 고화질의 결과를 빠르게 생성할 수 있으며, 2D 기반 방식에서 제공해주지 못하던 입체감을 제공해준다.

Keywords

References

  1. T. Ogi, T. Yamada, Y. Kurita, Y. Hattori, M. Hirose, 'Usage of Video Avatar Technology for Immersive Communication,' First International Workshop on Language Understanding and Agents for RealWorld Interaction, 2003
  2. 김익재, 이상엽, 안상철, 권용무, 김형곤, '가상환경에서 다수의 실시간 비디오 아바타 생성기법'. HCI 2003, 2003
  3. 이원우, 우운택, 'Network 가상환경을 위한 단순화 된 2.5D 비디오 아바타 생성', HCI2004, 2004
  4. Youngjung Suh, Dongpyo Hong, Woontack Woo, '2.5D Video Avatar Augmentation for VR Photo,' ICAT 2003, 2003
  5. T. Ogi, T. Yamada, K. Tamagawa, M. Kano, M. Hirose, 'Immersive Telecommunication Using Stereo Video Avatar,' IEEE VR200l, 2001
  6. V. Rajan, S. Subramanian, D.Keenan, A. Johswon, D. Sandin, T. Defanti, 'A Realistic Video Avatar System for Networked Virtual Environments,' IPT 2002, 2002
  7. K.M. Cheung, S. Baker, and T. Kanade, 'Shape-From-Silhouette of Articulated Objects and its Use for Human Body Kinematics Estimation and Motion Capture,' Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, June, 2003 https://doi.org/10.1109/CVPR.2003.1211340
  8. M. Gross, S. Wuemlin, M. Naef, E. Lamboray, C. Spagno, A Kunz, E.Koller-Meier, T. Svoboda, L. V. Gool, S. Lang, K. Strehlke, M. A. Vande, O. Staadt, 'blue-c: A Spatially Immersive Display and 3D Video Portal for Telepresence,' in Proceedings of ACM SIGGRAPH 2003, pp, 819-827, 2003
  9. P. Debevec, C. Tchou, A. Wenger, T. Hawkins, A. Gardner, B. Emerson and A. Panday, 'A Lighting Reproduction Approach to Live-Action Compositing,' In Proceedings of the ACM SIGGRAPH 2002, 2002 https://doi.org/10.1145/566570.566614
  10. Yasuda, K,Naemura, T,Harashima, H, 'Thermo-Key: Human Region Segmentation from Video, IEEE Computer Graphics and Applications,' Vol 24, No, 1, pp, 26-30, 2004 https://doi.org/10.1109/MCG.2004.1255805
  11. Sang-Yup Lee, Ig-Jae Kim, Sang C Ahn, Heedong Ko, Myo-Taeg Lim, Hyoung-Gon Kim, 'Real Time 3D Avatar for Interactive Mixed Reality,' In Proceedings of the ACM SIGGRAPH International Conference on Virtual Reality Continuum and its Applications in Industry (VRCAI '04), Singapore, 16-18 June 2004 https://doi.org/10.1145/1044588.1044602
  12. 박지영, 이선민, 김명희, '혼합현실환경을 위한 능동적외선 기반 동적배경 제거', 2004 한국정보과학회 추계학술발표대회 논문집, 2004
  13. Matusik, Wojciech, 'Image-Based Visual Hulls,' Master of Science Thesis, Massachusetts Institute of Technology, 2001
  14. R. Y. Tsai, 'An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision,' In proceedings of IEEE Computer Vision and Pattern Recognition, 1986
  15. A Fusiello et al., 'A Compact algorithm for rectification of stereo pairs,' Machine Vision and Application vol.12 pp.16-22, 2000 https://doi.org/10.1007/s001380050003
  16. S. Savarese, Camera Model and Triangulation, 'Notes for EE-148 : 3D Photography,' 2001
  17. Rudolph E. Kalman, 'An Introduction to Kalman Filter,' University of North Carolina at Chapel Hill, Department of Computer Science, TR 95-041, 1995
  18. M. Naef, O. Staadt, and M. Gross. blue-c api: A multimedia and 3d video enhanced toolkit for collaborative vr and telepresence. In Proc. ACM SIGGRAPH Int'l Conference on Virtual Reality Continuum and its Applications in Industry (VRCAI'04), 2004 https://doi.org/10.1145/1044588.1044590