The Journal of Korean Institute of Communications and Information Sciences (한국통신학회논문지)

The Korean Institute of Commucations and Information Sciences (한국통신학회)
권호 표지

Stereo-video Synchronization for 3D Video Transmission

3차원 비디오 전송을 위한 스테레오비디오 동기화 방법

  • 이동진 (광운대학교 컴퓨터공학과 영상처리시스템연구실) ;
  • 이선오 (광운대학교 컴퓨터공학과 영상처리시스템연구실) ;
  • 심동규 (광운대학교 컴퓨터공학과 영상처리시스템연구실) ;
  • 이혁준 (광운대학교 컴퓨터공학과 이동컴퓨팅연구실)
  • Published : 2009.04.30
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose a stereo-video transmission method for reduction of delay and maximization of 3D effect. Conventional multimedia synchronization algorithms were designed to achieve minimum delay and synchronize multiple video and audio streams, however, they could not be effective for 3D video transmission. In this paper, we proposed a synchronization algorithm by considering the minimum error of time difference between streams for 3D effect. The minimum error of time difference for 3D effect was derived based on a 3D subjective quality test. We compute display time of the delivered videos within the allowed time-difference and the video are displayed according to the display time. To evaluate the performance of the proposed algorithm, we implemented a real-time video communication system and subjective quality test has been conducted with the proposed system. We found that video quality displayed by the proposed system. We found that video quality displayed by the proposed algorithm ranks 'good' and 'excellent' in the DMOS (Differential Mean Opinion Score) scale, based on the MOS (Mean Opinion Score) test.

본 논문에서는 3차원 효과의 최대화를 위한 스테레오 비디오 전송 방법을 제안한다. 기존의 다중스트림 동기화 기술은 단일 비디오와 오디오간의 지연을 최소화 하는 것으로, 둘 이상의 비디오가 동시에 필요한 3차원 비디오스트림 동기화에는 적합하지 않다. 본 논문에서는 인간에게 자연스럽고, 입체적으로 느껴지는 3차원 영상을 만들어 낼 수 있는 시간 차이의 허용 범위를 고려하여 다중 영상을 합성하는 기준을 제시하였고, 이를 위한 비디오 스트림 간의 동기화 방법을 제안하였다. 본 연구에서는 주관적 화질 평가를 통하여 스테레오 비디오를 3차원으로 느낄 수 있는 시간 차이의 허용범위를 측정하였다. 스테레오 비디오의 동기화를 위해, 전송된 각 비디오 스트림들의 취득 시간을 구하고, 시간 차이 허용 범위 안에 포함된 비디오 스트립을 이용하여 3차원 영상으로 합성한 뒤, 디스플레이 장치를 통해 재생한다. 제안한 기술의 성능을 평가하기 위해 실시간 다중 비디오 통신 시스템을 구현하였고, 주관적 화질 평가를 통해 제안한 동기화 제어 기술의 성능을 평가하였다. MOS (Mean Opinion Score) 측정 결과, 제안하는 기술을 통하여 3차원 디스플레이 장치에 재생한 영상은 DMOS (Differential Mean Opinion Score) 실험 스케일 중 매우 좋음과 좋음 범위에 속하는 것을 확인하였다.

Keywords

References

  1. 김은수, 이승현, 3차원 영상의 기초, 技多利, 1998
  2. ISO/IEC MPEG & ITU-T VCEG, "Common test condition for multiview video coding," JVT-T207, Klagenfurt, Austria, July, 2006
  3. ITU-R Recommendation BT.500-11, 'Methodology Methodology for the subjective assessment of the quality of television pictures,' International Telecommunication Union, Geneva, Switzerland, Jan. 2002
  4. I. Kouvelas, V. Hardman, and A. Watson, 'Lip synchronization for use over the Internet: analysis and implementation,' IEEE Global Telecommunications Conference, vol. 2, pp. 893-898, London, UK, Nov. 1996
  5. K. H. Lee, D. H. Kim, M. G. Kang, K. H. Han, S. M. Park, and S. H. Kung, 'An implementation of control protocol for multipoint audio-video teleconferencing systems,' Proceedings of ICOIN-12. pp. 38-41, Tokyo, Japan, Jan. 1998
  6. 김찬우, 박성준, 서광덕, '화상 전화 단말기에서의 효율적인 오디오/비디오 동기화 방법,' 한국컴퓨터종합학술대회, vol. 32, no. 1(A), pp. 355-357, 2005
  7. 'RTP profile for audio and video conferences with minimal control,' Internet Engineering Task Force, RFC 3551, July 2003
  8. 'RTP: A transport protocol for real-time applications,' Internet Engineering Task Force, RFC3550, July. 2003
  9. Ralf Steinmetz, 'Human prception of jtter and media synchronization,' IEEE Journal on Selected Areas in Communications, vol. 14, no. 1, Jan. 1996 https://doi.org/10.1109/49.481694
  10. H. Jinzenji and K. Hagishima, 'Real-time audio and video broadcasting of IEEE GLOBECOM'96 over the Internet using new software,' IEEE Communications Magazine, vol. 35, no. 4, pp. 34-38, Apr. 1997 https://doi.org/10.1109/35.570717
  11. Gerold Blakowski and Ralf Steinmetz, 'A media synchronization survey : Reference model, specification, and case studies,' IEEE Journal on Selected Areas in Communications, vol. 14, no. 1, Jan. 1996 https://doi.org/10.1109/49.481691
  12. M. Narbutt and L. Murphy, 'Adaptive playout buffering for audio/video transmission over the Internet,' Proceedings of the 17th IEE UK Teletraffic Symposium, vol. 27, pp. 1-6, May 2001
  13. Orion Hodson, Colin Perkins, and Vicky Hardman, 'Skew detection and compensation for Internet audio applications,' Proceedings of the IEEE International Conference on Multimedia and Expo, vol. 3, pp. 1687-1690, New York, NY, July 2000
  14. J.-C. Bolot, 'End-to-end packet delay and loss behavior in the Internet,' Computer Comm. Review, vol. 23, no. 4 pp. 289-298, Sept. 1993 https://doi.org/10.1145/167954.166265
  15. 김병용, 이동진, 심동규, 권재철, '초저지연 비디오 통신을 위한 RTP 기반 립싱크 제어 기술에 관한 연구,' 한국멀티미디어학회, vol. 10, no. 8, Aug. 2007