Journal of the Institute of Electronics Engineers of Korea SP (대한전자공학회논문지SP)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

3D Panoramic Mosaiciking to Silppress the Ghost Effect at Long Distance Scene for Urban Area Visualization

도심영상 입체 가시화 중 발생하는 원거리 환영현상 해소를 위한 3차원 파노라믹 모자이크

  • Published : 2005.07.01
Download PDF
⟨ Previous Next ⟩

Abstract

3D image mosaicking is useful for 3D visualization of the roadside scene of urban area by projecting 2D images to the 3D planes. When a sequence of images are filmed from a side-looking video camera passing long distance areas, the ghost effect in which same objects appear repeatively occurs. To suppress such ghost effect, the long distance range areas are detected by using the distance between the image frame and the 3D coordinate of tracked optical flows. The ghost effects are suppressed by projecting the part of image frames onto 3D multiple planes utilizing vectors passing the focal point of frames and a virtual focal point. The virtual focal point is calculated by utilizing the first and last frames of the long distance range areas. We demonstrate algorithm that creates efficient 3D Panoramic mosaics without the ghost effect at the long distance area.

3차원 영상 모자이크 방법은 도심지의 도로를 따라 움직이는 카메라로부터 취득된 영상을 3차원 다중 투영평면에 투영하여 도심지를 입체적으로 가시화하기 위한 것이다. 카메라가 교차로와 같은 원거리 가시 지점을 통과할 때, 취득된 영상에 대해 3차원 영상 모자이크 방법을 적용 하면, 모자이크 된 영상에서 동일한 대상물의 영상이 반복하여 나타난다. 이 현상을 환영현상(ghost effect)이라고 하는데, 이 환영현상을 줄이기 위해서 원거리 대상물이 있는 곳의 영상 프레임을 찾고, 이 곳에 나타나는 환영현상을 효과적으로 제거하는 알고리즘을 제안하였다. 제안한 알고리즘은 3차원 공간에서 계산된 가상의 초점과 영상 프레임의 초점을 지나는 벡터를 이용하여 영상 프레임들을 3차원 다중평면에 투영 하는 것이다. 이를 위한 가상 초점은 원거리 대상물이 보이기 시작하는 영상 프레임과 원거리 대상물이 사라지기 시작하는 영상 프레임을 이용하여 계산된다. 본 논문에서는 원거리 대상물 지역에 제안한 방법을 적용했을 때, 환영현상이 효과적으로 제거될 수 있음을 실험적으로 보였다

Keywords

References

  1. Zhao, H. and R. Shibasaki, 'A vehicle-borne urban 3D acquisition system using single-row laser range scanners,' IEEE Transaction onSMC Part B: Cybernetics, vol.33, no. 4, 2003 https://doi.org/10.1109/TSMCB.2003.814280
  2. Fruh, C. and A.Zakhor, 'Data processing algorithms for generating textured 3D building facade meshes from laser scans and camera images,' Proc. 3D Data Processing, Visualization and Transmission 2002, Padua, Italy, 2002
  3. Pollefeys, M., R. Koch, M. Vergauwen, L. Van Gool, 'Automated reconstruction of 3D scenes from sequences of images,' ISPRS Journal Of Photogrammetry And Remote Sensing vol. 4, no. 55, pp. 251-267, 2000 https://doi.org/10.1016/S0924-2716(00)00023-X
  4. Sato, T., M. kanbara and N. yokoya, ' Dense 3D reconstruction of an outdoor scene by hundreds-baseline stereo using a hand-held video camera. In IJCV, vol. 47, no. 1/2/3, pp. 119-129, 2002 https://doi.org/10.1023/A:1014537706773
  5. 전재춘, 김형석, '3D image mosaics using multiple planes for urban visualization', 전자공학회지, 제42권, SP편, 제3호, pp. 41-50, 2005년 5월
  6. Kearney, J. K, W. B. Thompson, and D. L. Boley, 'Optical flow estimation: An error analysis of Gradient-based methods with local optimization,' IEEE Tr. on PAMI, Vol.9, No. 2, pp. 229-244, 1987 https://doi.org/10.1109/TPAMI.1987.4767897
  7. Adelson ,E. H. and J. R. Bergen, 'Spatiotemporal energy models for the perception of motion,' Journal of Optical Society of America, A, Vol. 2, No. 2, pp. 284-299, 1985 https://doi.org/10.1364/JOSAA.2.000284
  8. Smith, S.M. and J. M. Brady, 'Real-Time Motion Segmentation and Shape Tracking,' IEEE Tr. on PAM, vol. 17, no. 8, 1995 https://doi.org/10.1109/34.400573
  9. Horn BKP, Schunck BG, 'Determining Optical Flow,' Artificial Intelligence, pp 185-203, 1981 https://doi.org/10.1016/0004-3702(81)90024-2
  10. Harris, G., 'Determination of Ego-Motion from Matched Points,, 1987
  11. Kitchen, L. and A. Rosenfeld, 'Gray Level Corner Detection,' Pattern Recognition Letters, pp. 95-102, 1982 https://doi.org/10.1016/0167-8655(82)90020-4
  12. Farzin Mokhatarian and Riku Suomela, 'Robust Image Corner Detection Through Curvature Scale Space,' IEEE Tr. on PAM, VOL. 12, 1998 https://doi.org/10.1109/34.735812
  13. Smith, S.M., J.M. Brady, 1997. SUSAN - a new approach to low level image processing. International Journal of Computer Vision, 23(1), pp. 45-78, 1997 https://doi.org/10.1023/A:1007963824710
  14. 전재춘, 김형석, '가변 분해능을 가진 2차원 히스토그램을 이용한 강건한 광류인식,' 전자공학회지, 제42권, SP편, 제 3호, pp. 51-64, 2005년 5월
  15. Hartley, R.I., 1997,' In defense of the eight-point algorithm, ' IEEE Tr. on PAMI, Vol. 19 , No. 6, pp.580 593 https://doi.org/10.1109/34.601246
  16. 전재춘, 김형석, '적응 정합 값 변환을 이용한 영상 모자이크 과정에서의 최적 seam-line 결정,' 대한전기학회논문지, 제 54D권, 3호, pp.148-155, 2005년 3월