Journal of the Korea Institute of Information and Communication Engineering (한국정보통신학회논문지)

The Korea Institute of Information and Commucation Engineering (한국정보통신학회)
권호 표지
DOI QR코드

DOI QR Code

Depth map temporal consistency compensation using motion estimation

움직임 추정을 통한 깊이 지도의 시간적 일관성 보상 기법

  • Received : 2012.09.25
  • Accepted : 2012.10.24
  • Published : 2013.02.28
Download PDF
⟨ Previous Next ⟩

Abstract

Generally, a camera isn't located at the center of display in a tele-presence system and it causes an incorrect eye contact between speakers which reduce the realistic feeling during the conversation. To solve this incorrect eye contact problem, we newly propose an intermediate view reconstruction algorithm using both a color camera and a depth camera and applying for the depth image based rendering (DIBR) algorithm. In the proposed algorithm, an efficient hole filling method using the arithmetic mean value of neighbor pixels and an efficient boundary noise removal method by expanding the edge region of depth image are included. We show that the generated eye-contacted image has good quality through experiments.

본 논문에서는 컬러 영상에서 추정된 움직임 벡터를 이용하여 움직이는 객체와 움직이지 않는 객체로 영상을 분리하여 깊이 영상의 시간적 일관성을 보상하는 기법을 제안한다. 제안하는 기법에서는 광류(optical flow) 추정 기법을 이용하여 연속되는 컬러 영상의 움직임 벡터를 추정하고 초기 움직임 객체 영역을 생성한다. 이를 바탕으로 그랩컷(grabcut) 기법을 통해 움직임이 있는 객체와 움직임이 없는 객체 영역을 분리한다. 그리고 움직임이 없는 객체 영역의 깊이 값을 이전 프레임의 깊이 지도와 정합 창 기반 절대평균오차(sum of absolute differences)를 통해 비교하여 일정 임계값보다 클 경우 이전 프레임의 깊이 값으로 현재 프레임의 깊이 값을 대체함으로써 시간적 상관성을 보상한다. 움직임이 있는 객체 영역의 경우 시간 축으로 확장된 결합형 양방향 필터링을 수행하여 시간적 상관성을 보상한다. 제안하는 기법으로 보상된 깊이 지도를 이용하여 가상 시점을 합성할 시 화질 향상 뿐 아니라 최근 표준화가 진행 중인 HEVC에서도 부호화 효율 또한 증가한다는 것을 실험을 통하여 확인하였다.

Keywords

References

  1. ISO/IEC JTC1/SC29/WG11, "Introduction to 3D video," M9784, May 2008.
  2. ISO/IEC JTC1/SC29/WG11, "Applications and requirements on FTV," N9466, Oct. 2007.
  3. M. Tanimoto, M. P. Tehrani, T. Fujii, and T. Yendo, "Free-viewpoint TV," IEEE Signal Processing Magazine, vol.28, pp.67-76, Jan. 2011. https://doi.org/10.1109/MSP.2010.939077
  4. Y. Mori, N. Fukushima, T. Yendo, T. Fujii, and M. Tanimoto, "View generation with 3D warping using depth information for FTV," Signal Processing: Image Communication, vol.24, pp.65-72, Jan. 2009. https://doi.org/10.1016/j.image.2008.10.013
  5. 서용석, 유지상, "영상 분할을 이용한 다이내믹 프로그래밍 기반의 스테레오 정합," 한국통신학회논문지, 제35권, 제8호, pp.680-688, 2010.
  6. 김태준, 유지상, "영상의 컬러 정보를 이용한 계층적 스테레오 정합," 한국통신학회논문지, 제34권, 제3호, pp.279-287, 2009.
  7. 최미남, 윤정환, 유지상, "다시점 동영상의 중간시점영상 생성을 위한 변이 예측 기법," 한국방송공학회논문지, 제13권, 제6호, pp.915-929, 2008. https://doi.org/10.5909/JBE.2008.13.6.915
  8. 김태준, 장은영, 허남호, 김진웅, 유지상, "다시점 카메라 모델의 기하학적 특성을 이용한 가상시점 영상 생성 기법," 한국통신학회논문지, 제34권, 제 12호, pp.1154-1166, 2009.
  9. T. J. Kim, Y. H. Seo, D. W. Kim and J. S. Yoo, "A Feature-based and hierarchical stereo matching method," International Journal of Innovative Computing, Information and Control, vol.7, no.12, pp.6785-6797, Dec. 2011.
  10. 호요성, 이상범, "결합형 양방향 필터를 이용한 깊이 영상의 후처리 필터링 방법," 한국멀티미디어학회지 제15권, 제4호, pp.25-32. Dec. 2011.
  11. B. D. Lucas, T. Kanade, "An iterative image registration technique with an application to stereo vision," Proceedings of the 7th International Joint Conference on Artificial Intelligence (IJCAI '81), pp.674-679. Apr. 1981.
  12. J. Y. Bouguet, "Pyramidal implementation of the Lucas-Kanade feature tracker," Tech. Report, Intel Corporation, Microprocessor Research Labs, 1999.
  13. C. Rother, V. Kolmogorov, and A. Blake, "GrabCut: Interactive foreground extraction using iterated graph cuts," ACM Trans. Graph, vol.23, pp.309-314, 2004. https://doi.org/10.1145/1015706.1015720
  14. M. Bleyer and M. Gelautz, "Graph-based surface reconstruction from stero pairs using image segmentation," in Proceedings of SPIE EI, Vol.5665, pp.288-299, 2005.
  15. P. Lai, D. Tian, and P. Lopez, "Depth map processing with iterative joint multilateral filtering," in Proceedings of Picture Coding Symposium, pp.9-12, 2010.
  16. Y. Zhao, L. Yu, "Temporal consistency enhancement on depth sequences," Picture Coding Symposium 2010, pp.342-345, Dec. 2010.
  17. X. Han, M. Chen, Z. Zhao, Z. Fan, and L. Ma, "Stereoscopic video coding based on depth compensated temporal filtering," Cross Strait Quad-Regional Radio Science and Wireless Technology Conference, vol.2, pp.1379-1382, July 2012.
  18. ISO/IEC JTC1/SC29/WG11, "View synthesis software and assessment of its performance," M15672, July 2008.
  19. HEVC reference software version 8.0, https://hevc. hhi.fraunhofer.de/svn/svn_HEVCSoftware/tags/HM -8.0.