동일 평면상의 자연 특징점 검출 및 추적을 이용한 증강현실 시스템

Augmented Reality System using Planar Natural Feature Detection and Its Tracking

  • 이아현 (중앙대학교 첨단영상대학원 영상학과) ;
  • 이재영 (중앙대학교 첨단영상대학원 영상학과) ;
  • 이석한 (중앙대학교 첨단영상대학원 영상학과) ;
  • 최종수 (중앙대학교 첨단영상대학원 영상학과)
  • Lee, A-Hyun (Graduate School of Advanced Imaging Science, Multimedia, and Film, Chung-Ang University) ;
  • Lee, Jae-Young (Graduate School of Advanced Imaging Science, Multimedia, and Film, Chung-Ang University) ;
  • Lee, Seok-Han (Graduate School of Advanced Imaging Science, Multimedia, and Film, Chung-Ang University) ;
  • Choi, Jong-Soo (Graduate School of Advanced Imaging Science, Multimedia, and Film, Chung-Ang University)
  • 투고 : 2010.11.11
  • 심사 : 2011.02.23
  • 발행 : 2011.07.25

초록

일반적으로 사용되는 마커 기반의 증강현실 시스템은 카메라 입력영상 내에 마커가 항상 존재해야 한다는 제한 때문에 사용자의 접근에 불편을 준다. 때문에 최근 배경 영상에서 취득할 수 있는 객체를 자연 마커로 생성한 시스템이나 배경 영상의 특징을 이용해 기하학적 지도를 작성하여 가상의 객체 정합에 이용한 증강현실 시스템들이 관심을 끌고 있다. 본 논문에서는 카메라 입력 영상에서 동일 평면상에 존재하는 특징들을 검출하고, 이를 추적함으로써 카메라 위치 정보를 추정하는 증강현실 시스템을 제안한다. 또한 특징점 추적에 사용된 추적 방법은 카메라에서 취득한 영상 밖으로 특징점이 벗어날 경우 더 이상 추적할 수 없는 문제점을 가지고 있어, 이를 보완하기 위해 새로운 특징점을 재검출하여 객체의 정합을 유지하는 방법도 제시한다. 제안된 방법은 미리 지정된 마커를 사용하지 않기 때문에 사용자의 접근이 편리하고, 특정한 형태의 마커를 사용하지 않는 다른 시스템보다 비교적 간단하게 구현할 수 있어 다양한 모바일 환경에서 유용하게 이용될 수 있다.

Typically, vision-based AR systems operate on the basis of prior knowledge of the environment such as a square marker. The traditional marker-based AR system has a limitation that the marker has to be located in the sensing range. Therefore, there have been considerable research efforts for the techniques known as real-time camera tracking, in which the system attempts to add unknown 3D features to its feature map, and these then provide registration even when the reference map is out of the sensing range. In this paper, we describe a real-time camera tracking framework specifically designed to track a monocular camera in a desktop workspace. Basic idea of the proposed scheme is that a real-time camera tracking is achieved on the basis of a plane tracking algorithm. Also we suggest a method for re-detecting features to maintain registration of virtual objects. The proposed method can cope with the problem that the features cannot be tracked, when they go out of the sensing range. The main advantage of the proposed system are not only low computational cost but also convenient. It can be applicable to an augmented reality system for mobile computing environment.

키워드

참고문헌

  1. S.H. Lee, S.K. Lee and J.S. Choi, "Real-time camera tracking using a particle filter and multiple feature trackers," Games Innovations Conference, 2009. ICE-GIC 2009. International IEEE Consumer Electronics Society's, pp. 29-36, Aug. 2009.
  2. Peter Keitler, "Mobile Augmented Reality based 3D Snapshots," in Proc. IEEE and ACM International Symposiumon Mixedand Augmented Reality, pp. 199-200, 2009.
  3. R. Azuma, Y. Baillot, R. Behringer, S. Feiner, S. Julier and B. Macintyre, "Recent Advances in Augmented Reality," IEEE Computer Graphic and Applications, pp. 34-47, 2001.
  4. 박형민, 이재영, 이석한, 최종수, "반 깜박임 선택을 이용한 응시 상호작용과 착용형 AR 시스템," 전자공학회논문지, 제46권, 제5호, 91-100쪽, 2009년 9월.
  5. A. Davison, I. Reid, N. Morton and O. Stasse, "Monoslam: Real-time single camera slam," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 29, no.6, pp. 1052-1067, Jun. 2007. https://doi.org/10.1109/TPAMI.2007.1049
  6. G. Klein and D. Murray, "Parallel tracking and mapping for small AR workspaces," in Proc. IEEE and ACM International Symposiumon Mixedand Augmented Reality, pp. 225-234, Sep. 2007.
  7. D. Wanger, T. Langlotz and D. Schmalstieg, "Robust and Unbtrusive Marker Tracking on Mobile Phones," in Proc. IEEE and ACM International Symposiumon Mixedand Augmented Reality, pp. 225-234, Sep. 2008.
  8. J. Shi and C. Tomasi, "Good features to track," IEEE Proc. Conf Computer Visionand Pattern Recognition, pp. 293-600, Jun. 1994.
  9. Dazhi Chen, Guangjun Zhang, "A New Sub-Pixel Detector for X-Corners in Camera Calibration Targets," International Conference in Central Europe on Computer Graphics, Visualization and Computer Vision, 2005.
  10. J-Y. Bouguet, "Pyramidal Implementation of the Lucas Kanade Feature Tracker," Intel Corporation, Microprocessor ResearchLabs, 2000.
  11. J. Barron, N. Thacker, "Computing 2D and 3D Optical Flow," Tina-Vision, 2005.
  12. G. Bradski, A. Kaehler, "Learning Opencv: Computer Vision with the Opencv Library," O'REILLY, 2008.
  13. Z. Zhang, "Flexible New Technique for Camera Calibration," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 19, no. 7, pp. 1330-1334, Nov. 2000.
  14. 이석한, 최종수, "단일 카메라를 이용한 보행자의 높이 및 위치 추정 기법." 전자공학회논문지, 제45권, 제3호, 20-31쪽, 2008년 8월.
  15. R. Hartley and A. Zisserman, "Multiple View Geometry in Computer Vision," Cambridge Univ. Press, 2003.
  16. O. Faugeras, "Three-Dimensional Computer Vision," The MIT Press, 1993.
  17. H. Kato, M. Billinghurst, I. Poupyrev, K. Imamoto, K. Tachibana, "Virtual Object Manipulation on a Table-Top AR Environment," Augmented Reality, 2000. (ISAR 2000). in Proc. IEEE and ACM International Symposiumon on, pp. 111-119, 2000.
  18. D. G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints," International Journal of Computer Vision, vol. 60, no. 2, pp. 91-110, 2004. https://doi.org/10.1023/B:VISI.0000029664.99615.94
  19. T. Lee and T. Höllerer, "Multithreaded Hybrid Feature Tracking for Markerless Augmented Reality," IEEE Trans. Visualization and Computer Graphics, vol. 15, no. 3, pp.355-368, May/June. 2009. https://doi.org/10.1109/TVCG.2008.190