DOI QR코드

DOI QR Code

A Moving Camera Localization using Perspective Transform and Klt Tracking in Sequence Images

순차영상에서 투영변환과 KLT추적을 이용한 이동 카메라의 위치 및 방향 산출

  • 장효종 (SFA DSP설비연구소) ;
  • 차정희 (숭실대학교 정보미디어기술연구소) ;
  • 김계영 (숭실대학교 컴퓨터학부)
  • Published : 2007.06.30

Abstract

In autonomous navigation of a mobile vehicle or a mobile robot, localization calculated from recognizing its environment is most important factor. Generally, we can determine position and pose of a camera equipped mobile vehicle or mobile robot using INS and GPS but, in this case, we must use enough known ground landmark for accurate localization. hi contrast with homography method to calculate position and pose of a camera by only using the relation of two dimensional feature point between two frames, in this paper, we propose a method to calculate the position and the pose of a camera using relation between the location to predict through perspective transform of 3D feature points obtained by overlaying 3D model with previous frame using GPS and INS input and the location of corresponding feature point calculated using KLT tracking method in current frame. For the purpose of the performance evaluation, we use wireless-controlled vehicle mounted CCD camera, GPS and INS, and performed the test to calculate the location and the rotation angle of the camera with the video sequence stream obtained at 15Hz frame rate.

이동차량 혹은 이동로봇의 자율 주행에 있어서 주변 환경의 인식을 통하여 산출되는 자기위치확인은 가장 핵심적인 요소이다. 일반적으로 GPS나 INS를 통합하여 이동차량 혹은 이동로봇에 장착된 카메라의 위치와 방향을 얻을 수 있지만, 이 경우 정확한 자기위치인식을 위해서는 충분한 지상 기준점을 이용해야만 한다. 본 연구에서는 기존의 호모그래피 방법이 2차원 특징점의 상관관계를 이용하는 것과는 다르게 GPS와 INS 입력값을 이용하여 이전 시점 영상과 중첩된 3차원 모델로부터 얻어진 3차원 좌표를 투영 변환함으로써 예측한 위치와 현재 시점 영상으로부터 KLT 추적방법을 사용하여 산출된 대응 특징점의 위치 사이의 관계로부터 카메라의 위치와 방향을 산출하는 방법을 제안한다. 제안하는 방법의 성능을 평가하기 위해 무선으로 운행되는 간이실험장치 내에 CCD카메라, GPS, INS 등을 장착하였으며, 영상은 15Hz의 프레임율로 획득한 비디오시퀀스를 사용하여 실시간으로 카메라 위치와 방향을 산출하는 실험을 수행하였다.

Keywords

References

  1. F. Stein and G. Medioni, 'Map-based localization using the panoramic horizon', In IEEE International Conference on Robotics and Automation, Nice, France, May 1992 https://doi.org/10.1109/ROBOT.1992.220045
  2. William B. Thompson, Bonnie H. Bernnett, Karen T. Sutherland, 'Geometric Reasoning for Map-based Localization', University of Utah Department of Computer Science Technical Report UUCS-96-006, May, 1996
  3. W.B. Thompson, H.L.Pick Jr, B.H. Bennet, M.R. Heinrichs, S.L. Savitt, and K. Smith, 'Map-based localization: The 'drop-off' problem', Proc, DARPA Image Understanding Workshop, 1990
  4. William B. Thompson, Thomas C. Henderson, 'Vision-Based Localization', Proceedings of the ARPA Image Understanding Workshop, April, 1993
  5. M.D. Ernst and B.E. Flinchbaugh. 'Image/map correspondence using curve matching', AAAI Symposium on Robot Navigation, pp.15-18, March 1989
  6. R. Talluri and J,K. Aggarwal, 'Image/map correspondence for mobile robot self-location using computer graphics', IEEE Trans. Patt. Anal. Mach. Intel., vol. 15, no. 6, pp. 597-601, 1993 https://doi.org/10.1109/34.216729
  7. Christos I. Colis, Panos E. Trahanias, A framework for visual landmark identification based on projective and point-permutation invariant vectors,Robotics and Autonomous Systems 35(2001) 37-51 https://doi.org/10.1016/S0921-8890(00)00129-9
  8. Cramer, M.Stallmann, D.Haala, 'Direct Georeferencing Using GPS/Inertial Exterior Orientations For Photogrammetric Applications', International Archivers of Photogrammetry and Remote Sensing(2000), Vol. XXXI, Part B3, pp.198-205
  9. Carlo Tomasi and Takeo Kanade, 'Detection and Tracking of Point Features', Carnegie Mellon University Technical Report CMU-CS-91-132, April 1991
  10. Harris, C. and Stephens, M., 'A combined comer and edge detector', In Forth Alvey Vision Conference, Menchester, UK, pp. 147-151, 1988
  11. Robert M Haralick, 'Determination camera parameters from the perspective projection of a rectangle,' Pattern Recognition, Vol. 22, No.3, pp.225-230, 1989 https://doi.org/10.1016/0031-3203(89)90071-X
  12. Berthold K.P.Horn, Closed-form solution of absolute orientation using unit quaternions, Journal of the Optical Society of America, Vol. 4, April 1987, pp.629-642 https://doi.org/10.1364/JOSAA.4.000629
  13. Hartley, R., Zisserman, A., 'Multiple View Geometry in Computer Vision,' Cambridge University Press, Cambridge, UK, 2000