Journal of the HCI Society of Korea (한국HCI학회논문지)

The HCI Society of Korea (한국HCI학회)
권호 표지

Viewer Tracking in 3D Environment and Bare-hand Interaction using the Binocular Augmented Reality System with Smartphones

스마트폰을 이용한 양안식 증강현실 시스템의 3차원 공간에서의 시점 위치 추적 및 맨손 인터랙션 기술

  • Received : 2015.07.17
  • Accepted : 2015.10.14
  • Published : 2015.11.30
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we present binocular augmented reality system with smartphones. With improvements of performance and resolution of recent smartphones, various virtual reality devices using smartphones and applications are appearing in the market. But the augmented reality system with smartphones are not that popular because of the lack of required technologies. In our work, we discuss about 3D mapping and tracking using computer vision. Also, we provide hybrid tracking using sensors in the smartphone which can handle the computer vision failure cases. Bare hand 3D interaction method in our system will be also presented.

이 논문에서는 스마트폰을 이용하여 양안식 증강현실에 필요한 기술들인 스마트폰 기반 시점 추적 및 인터랙션에 대해서 소개한다. 최근 들어 스마트폰의 해상도 및 성능의 향상으로 스마트폰을 이용한 가상현실 장치들이 일반화 되고 있는 상황에서 스마트폰을 이용한 양안식 증강현실에 대한 개발이 절실히 필요한 상태이다. 스마트폰을 이용한 양안식 증강현실에서 필요한 3차원 추적 및 맨손 기반 인터랙션을 구현한 방법을 본 논문에서는 설명하고자 한다. 환경 영상의 분석을 통해 3차원 특징점 지도를 생성하고 그를 이용해서 3차원 공간 추적에 이용한다. 또한 센서를 함께 사용하여 추적 실패의 경우에도 대응하는 방법에 대해서도 다룬다. 맨손을 사용한 3차원 인터랙션을 이런 환경에서 구현하는 방법에 대해서도 논한다.

Keywords

References

  1. FOV2GO, http://projects.ict.usc.edu/mxr/diy/fov2go/
  2. Samsung Gear VR. http://www.samsung.com/global/microsite/gearvr/
  3. Klein, G. and Murray, D. Parallel Tracking and Mapping for Small AR Workspaces. In Proceedings of Sixth IEEE and ACM International Symposium on Mixed and Augmented Reality. 2007.
  4. Klein, G. and Murray, D. Parallel Tracking and Mapping on a Camera Phone. In Proceedings of Eighth IEEE and ACM International Symposium on Mixed and Augmented Reality. 2009.
  5. Sharp, T. et al. Accurate, Robust, and Flexible Real-time Hand Tracking. In Proceedings of ACM CHI '15. 2015.
  6. Rekimoto, J. Matrix: A Realtime Object Identification and Registration Method for Augmented Reality". In Proceedings of APCHI '98. pp. 63-68. 1998.
  7. Wagner, D. and Schmalstieg, D. ARToolKitPlus for Pose Tracking on Mobile Devices. In Proceedingsof 12th Compter Vision Winter Workshop (CVWW'07). Sankt Lambrecht. Austria. February 2007.
  8. Lowe, D. G. Object recognition from local scale-invariant features, In Proceedings of ICCV '99. pp. 1150-1157. 1999.
  9. Lowe, D. G. Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision. 16(2). pp. 91-110. 2004.
  10. Snavely, N., Seitz, S. M. and Szeliski, R. Photo Tourism: Exploring image collections in 3D. ACM Transactions on Graphics. 25(3). pp. 137-154. 2006.
  11. Rosten, E. and Drummond, T. Fusing points and lines for high performance tracking. In Proceedings of ICCV '05. pp. 1508-1511. 2005.
  12. Rosten, E. and Drummond, T. Machine learning for high-speed corner detection. ECCV '06. pp. 430-443. 2006.