Reconstruction of Transmitted Frames for Visual Quality Assessment of Streaming Video

스트리밍 비디오 화질 평가를 위한 수신 영상 복원

  • 박수경 (광운대학교 컴퓨터공학과) ;
  • 심동규 (광운대학교 컴퓨터공학과)
  • Published : 2009.01.25

Abstract

In this paper, we proposed an reconstruction algorithm of transmitted frames from displayed image on video terminal. For image quality assessment of the video streaming in the wireless network, we need information of the image that is transmitted to the end-user's device. Generally, subjective methods are widely used to evaluate the image quality by human beings because it is difficult to extract the transmitted image from the end-user's device. This paper presents an image reconstruction algerian based on the displayed image in video terminal for the extraction of the transmitted image. In the proposed method, we acquired the displayed image on video terminal using the camera. Camera-acquired images exhibit geometric and color distortions caused by characteristics of cameras and display devices. Therefore we correct the geometric distortion by exploiting the homography and color distortion by pre-computed look-up table. The experimental results show that the proposed measurement system yields promising estimation performance in terms of PSNR of $27{\sim}28dB$. We also carried out performance evaluation of the proposed method in terms of EPSNR and the quality of the estimated images by the proposed algerian was in fairly good range of MOS test scale.

본 논문에서는 단말기상의 출력영상을 기반으로 한 수신영상 복원 방법을 제안한다. 무선 네트워크를 통해 전송되는 비디오 스트리밍의 화질을 평가하기 위해서는 단말기로 전송된 수신 영상에 대한 정보가 필요하다. 그러나 실제 전송된 스트리밍 데이터를 단말기로부터 얻기가 용이하지 않기 때문에 일반적으로 다수의 사람이 직접 화질을 평가하는 방법이 많이 사용된다. 본 논문에서는 단말기로 수신된 스트리밍 영상을 획득하기 위하여 단말기 상에서 출력되는 영상을 기반으로 전송영상을 재구성한다. 이를 위하여 제안한 방법에서는 단말기를 통해 출력되는 영상을 카메라를 이용하여 획득하고, 획득된 영상에서 나타나는 카메라와 단말기 사이의 기하학적 왜곡과 컬러 왜곡을 모델링하여 제거함으로써 전송받은 영상을 재구성하였다. 실험 결과에서는 원영상과 재구성한 영상사이의 PSNR을 측정하여 알고리즘의 성능을 평가하였다. 그 결과 제안한 알고리즘을 통해 $27{sim}28dB$의 PSNR을 얻을 수 있었다. 또한 EPSNR을 이용하여 제안한 알고리즘의 성능을 분석한 결과, 제안한 알고리즘을 통하여 예측된 영상이 MOS 테스트 스케일에서 비교적 좋은 범위에 속하는 것을 확인하였다.

Keywords

References

  1. C. Lee, S. Cho, J. Choe, T. Jeong, W. Ahn W, and E. Lee, "Objective video quality assessment," Optical Engineering, vol. 45, issue. 1, pp. 1-11, January 2006 https://doi.org/10.1117/1.2160515
  2. Video Quality Experts Group (VQEG), “Final report from the video quality experts group on the validation of objective models of video quality assessment,” http://www.vqeg.org/, Mar. 2001
  3. ITU-T Recommendation J.144 "Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference," International Telecommunication Union, March 2004
  4. Zhou Wang, Alan C. Bovik, and Brian L. Evans, "Blind measurement of blocking artifacts in images," IEEE International Conference on Image Processing, vol. 3, pp. 981-984, Vancouver, Canada, Sep. 2000
  5. Sukthankar R., Stockton R.G., and Mullin M.D., "Smarter Presentations: Exploiting Homography in Camera-Projector system," Proc. IEEE Conf. Computer Vision, vol. 1, pp. 247-253, Vancouver, Canada, July 2001 https://doi.org/10.1109/ICCV.2001.10045
  6. Okaiani K., and Dequchi K., "Autocalibration of a projector-screen-camera system: theory and algorithm for screen-to-camera homography estimation," Proc. IEEE Conf. Computer Vision, vol. 2, pp. 774-781, Beijing, China, Oct. 2003 https://doi.org/10.1109/ICCV.2003.1238427
  7. Rafael C. Gonzalez, and Richard E. woods, "Digital image processing," Addison-Wesley, 1987
  8. Zhang Z., "On the epipolar geometry between two images with lens distortions," Proc. Int. Conf. Pattern Recognition, vol. 1, pp. 407-411, Vienna, Austria, Aug. 1996 https://doi.org/10.1109/ICPR.1996.546059
  9. Graham D.F., Steven D.H., and Paul M.H., "Color by correlation: A simple, unifying framework for color constancy," IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 23, no. 11, pp. 1209-1221, Nov. 2001 https://doi.org/10.1109/34.969113