Fast Panoramic Video Generation Method Using Morphological Corner Detection

모폴로지 코너 검출을 이용한 고속 파노라마 비디오 제작 기법

  • 이정호 (인하대학교 전자공학과 멀티미디어 연구실) ;
  • 이관수 (인하대학교 전자공학과 멀티미디어 연구실) ;
  • 양원근 (인하대학교 전자공학과 멀티미디어 연구실) ;
  • 진주경 (인하대학교 전자공학과 멀티미디어 연구실) ;
  • 정동석 (인하대학교 전자공학과 멀티미디어연구실)
  • Published : 2006.04.01

Abstract

This Paper Proposes a method of building a panoramic video from several videos captured from adjacent cameras. The panoramic image which constructed from adjacent and overlapped images is used for photogrammetry, satellite photo or many computer graphic applications. The perspective transformation, which is estimated from the appropriate corresponding pairs of images, can be used to construct the panoramic image without unwarranted distortion and its quality is decided by how to find the features needed for transform estimation. We used the corner points for the corresponding features, and morphological structures were utilized for fast and robust corner detection. We used the criterion of the corner strength, which guarantees the robust detection of the corner in most situations. For the transformation, 8 parameters were estimated from perspective equations which use matched points of adjacent images, and bilinear color blending was used to construct a soapless panoramic video. The experiments showed that the proposed method yields fast results with good quality under various conditions.

본 논문은 다수의 카메라로부터 입력받은 동영상을 하나의 파노라마 동영상으로 합치는 기법을 제안한다. 서로 인접하면서 겹치는 영상들을 하나의 큰 영상으로 만들어주는 파노라마 영상은 사진 측량법, 위성사진, 컴퓨터 그래픽 등의 분야에서 응용된다. 일반적으로 영상을 모자이크할 때 발생하는 왜곡을 최소화를 위해 투시 변환(perspective transformation)을 사용하는데, 변환 추정에 필요한 특징점을 얻어내는 방법이 결과물의 품질을 결정하게 된다. 본 논문에서는 코너점을 특징점으로 사용했으며, 결과물의 품질이 우수하고 연산 속도가 빠르게 하기 위해 모폴로지 구조를 사용해서 코너점을 추출하였다. 그리고 거의 모든 상황에서 안정적으로 코너점을 검출하기 위해 코너점의 강도를 구분하는 방법을 이용했다. 인접한 영상의 대응점으로부터 추정한 8-변수 투시 변환 값으로 영상 모자이크를 했으며, 결과 영상의 잔상을 제거하기 위해 쌍일차 색상혼합을 적용했다. 실험결과 제안한 방법은 여러 조건에서 빠른 속도와 좋은 화질의 결과를 보였다.

Keywords

References

  1. Kenney, C.S., Manjunath B.S., 'A condition number for point matching with application to registration and postregistration error estimation,' IEEE Transaction on Pattern Analysis and Machine Intelligence(PAMI), Vol. 25, pp. 1437-1454, 2003 https://doi.org/10.1109/TPAMI.2003.1240118
  2. M.Hansen, P.Anandan, K.Dana, G.van der Val, P.Burt, 'Real-time scene stabilization and mosaic construction,' IEEE Workshop on Application of Computer Vision, pp. 54-62, 1994
  3. A. John, R. Peter, 'Electric Communication Development,' Communications of the ACM, 40, pp. 71-79, May 1997
  4. M.Irani, S.Hsu, P.Anandan, 'Video compression using mosaic representations,' Signal Processing: Image Communication, Vol. 7, pp. 529-552, 1995 https://doi.org/10.1016/0923-5965(95)00022-1
  5. S.Mann, R.W.Picard, 'Virtual bellows: Constructing high quality images from video' International Conference on Image Processing, Vol. I, pp. 363-367, 1994
  6. J.Meehan, Panoramic Photography, Watson-Guptill, 1990
  7. Hui Chen, Wenping Wang, Ralph Martin, 'Building Panoramas from Photographs Taken with an Uncalibrated Hand-held Camera,' Proceedings of Vision, Modeling and Visualization 2000(VMV00), pp. 221-230, 2000
  8. Smolic A, Wiegand T., 'High-resolution video mosaicing,' Image Processing Proceedings International Conference on, Vol. 3, pp. 872-875, 2001
  9. Chiou-Ting Hsu, Tzu-Hung Cheng, Beuker, R.A., Jyh-Kuen Horng, 'Feature-based video mosaic,' Image Processing Proceedings International Conference on, Vol. 2, pp. 887-890, 2000
  10. Whichello A.P., Hong Yan, 'Document image mosaicing,' Pattern Recognition Proceedings Fourteenth International Conference on, Vol. 2. pp. 1081-1083, 1998
  11. Laganiere R., 'Morphological comer detection,' Computer Vision Sixth International Conference on, pp. 280-285, 1998
  12. Jun-Wei Hsieh, 'Fast stitching algorithm for moving object detection and mosaic construction,' Image and Vision Computing, Vol. 22, Issue 4, pp. 291-306, 2004 https://doi.org/10.1016/j.imavis.2003.09.018
  13. H.Y. Shum, R. Szeliske, 'Construction of Panoramic Image Mosaics with Global and Local Alignment,' Panoramic Vision, SpringerVerlag New York, pp. 227-268, 2001
  14. Dong-Keun Kim, Byung-Tae Jang, Chi-Jung Hwang, 'A planar perspective image matching using point correspondences and rectangle-to-quadrilateral mapping,' Image Analysis and Interpretation 2002 Proceedings, pp. 87-91, 2002