Progressive Residual Motion Estimation for Constructing Seamless Mosaics

이음매없는 모자이크 구성을 위한 단계적 잔여 움직임 추정

  • 이청우 (삼성전자 시스템 LSI) ;
  • 최재각 (동의대학교 컴퓨터공학과) ;
  • 이시웅 (한밭대학교 정보통신컴퓨터공학부)
  • Published : 2005.06.01

Abstract

In this paper an algorithm of image alignments for constructing seamless mosaics is proposed. After the global alignment has been run, there may still be localized mis-registrations present in the mosaic. Due to mis-registrations, there may be seams in the mosaic, such as breaking, blurring, and doubling of lines. To solve this problem, we need an algorithm of residual motion estimation, which minimizes mis-registrations. In the conventional algorithms of residual motion estimation, computational powers are too heavy and estimators of camera parameters are additionally needed such as focal lengths. In the proposed algorithm, residual motion vectors are estimated with the adequate size of estimation and measurement windows and with adjustment of initial vectors according to the established priority. By construction of mosaics with the proposed algorithm, we demonstrate the removal of seams by mis-registrations.

본 논문에서는 이음매없는 모자이크 구성을 위한 영상 정렬 방법을 제안한다. 모자이크 구성을 위한 전역 움직임 추정 후, 전역 움직임 계수를 이용하여 모자이크를 구성하려면, 정렬이 올바르게 수행되지 않은 국부 영역이 존재하게 되고, 이러한 국부 영역에서는 선분의 끊김, 흐려짐, 겹침 현상이 일어난다. 전역 움직임 계수에 의해서 정렬되지 않은 국부 영역을 정렬하기 위해서는 잔여 움직임 추정 알고리즘이 필요하다. 그러나, 잔여 움직임 추정을 위해서는 카메라의 초점 거리나 조도 변화와 관계된 변수를 추정해야 하고, 또한 이에따른 많은 계산량을 요구하게 된다. 이러한 문제점을 해결하기 위해서, 본 논문에서는 추가적인 외부 변수의 추정 과정 없이 효율적으로 잔여 움직임을 추정할 수 있는 알고리즘을 제안한다. 제안된 방법에서는 잔여 움직임 추정 과정에서 사용되는 측정 및 추정 윈도우의 크기를 효율적으로 설정함으로써 잔여 움직임 정보를 효과적으로 추정할 수 있다. 제안된 단계적 잔여 움직임 알고리즘을 적용하여 모자이크를 구성함으로써, 전역 움직임 계수에 의해서 정렬되지 않았던 국부 영역의 흐려짐, 겹침 현상을 해결할 수 있음을 실험적으로 확인하였다.

Keywords

References

  1. S. Mann and R. W. Picard, 'Virtual bellows: Constructing high-quality images from video,' ICIP, Vol.1, pp. 363-367, Nov. 1994 https://doi.org/10.1109/ICIP.1994.413336
  2. R. Szeliski, 'Video mosaics for virtual environments,' IEEE Computer Graphics and Applications, pp. 22-30, March 1996 https://doi.org/10.1109/38.486677
  3. H. S. Sawhney, R. Kumar, 'True Multi-Image Alignment and its Application to Mosaicing and Lens Distortion Correction,' IEEE Trans. on PAMI Vol. 21, No.3, pp. 235-243, March 1999 https://doi.org/10.1109/34.754589
  4. R. Kumar, P. Anandan, Keith Hanna, 'Direct recovery of shape from multiple views: a parallax based approach,' ICPR, pp. 685-688, 1994
  5. H. S. Sawhney, '3D Geometry from planar parallax', CVIP, Vol. 1, pp. 929-934, June 1994 https://doi.org/10.1109/CVPR.1994.323927
  6. Eun-Young Kang, I. Cohen, G. Medioni, 'A graph-based global registration for 2D mosaics,' pp. 257-260, ICPR, 2000
  7. R. Szeliski, P. Anandan, S. Baker, 'From 2D images to 2.5D sprites: a layered approach to modeling 3D scenes,' Multimedia Computing and Systems, 1999. IEEE International Conference on, Vol. 1, pp. 44-50, 1999 https://doi.org/10.1109/MMCS.1999.779118
  8. Amnon Shashua, 'Projective depth: A geometric invariant for 3D reconstruction from two perspective/orthographic views and for visual recognition,' ICCV, pp. 583-590, 1993 https://doi.org/10.1109/ICCV.1993.378158
  9. H. Y. Shum, R. Szeliski, 'Construction and refinement of panoramic mosaics with global and local alignment,' ICCV, pp. 953-956, 1998 https://doi.org/10.1109/ICCV.1998.710831
  10. R. Szeliski, H. Y. Shum, 'Creating full view panoramic image mosaics and texture-mapped models,' SIGGRAPH'97, pp. 251-258, August 1997
  11. H. S. Sawhney, R. Kumar, 'True Multi-Image Alignment and its Application to Mosaicing and Lens Distortion Correction,' IEEE Trans. on PAMI Vol. 21, No.3, pp. 235-243, March 1999 https://doi.org/10.1109/34.754589
  12. W.H. Press, B. P. Flannery, S. A. Teukolsky, W. T. Vetterling, Numerical Recipes in C: The Art of Scientific Computing, Cambridge University Press, Cambridge, England, 2nd edition, 1992
  13. J. R. Bergen, P. Anandan, K. J. Hanna, R. Hingorani, 'Hierarchical model-based motion estimation,' ECCV, pp. 237-252, 1992