Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지
DOI QR코드

DOI QR Code

Algorithm to Improve Accuracy of Location Estimation for AR Games

AR 게임을 위한 위치추정 정확도 향상 알고리즘

  • Han, Seo Woo (Department of Electronic Engineering, Kyung Hee University) ;
  • Suh, Doug Young (Department of Electronic Engineering, Kyung Hee University)
  • Received : 2018.11.10
  • Accepted : 2019.01.10
  • Published : 2019.01.30
Download PDF
⟨ Previous Next ⟩

Abstract

Indoor location estimation studies are needed in various fields. The method of estimating the indoor position can be divided into a method using hardware and a method using no hardware. The use of hardware is more accurate, but has the disadvantage of hardware installation costs. Conversely, the non-hardware method is not costly, but it is less accurate. To estimate the location for AR game, you need to get the solution of the Perspective-N-Point (PnP). To obtain the PnP problem, we need three-dimensional coordinates of the space in which we want to estimate the position and images taken in that space. The position can be estimated through six pairs of two-dimensional coordinates matching the three-dimensional coordinates. To further increase the accuracy of the solution, we proposed the use of an additional non-coplanarity degree to determine which points would increase accuracy. As the non-coplanarity degree increases, the accuracy of the position estimation becomes higher. The advantage of the proposed method is that it can be applied to all existing location estimation methods and that it has higher accuracy than hardware estimation.

실내에서 위치를 추정하는 연구는 다양한 분야에서 필요하다. 실내에서 위치를 추정하는 방법은 하드웨어를 이용하는 방법과 하드웨어를 이용하지 않는 방법으로 나눌 수 있다. 하드웨어를 사용하는 방법은 정확도가 높지만, 하드웨어 설치비용이 든다는 단점이 있다. 반대로 하드웨어를 사용하지 않는 방법은 설치비용이 들지 않지만, 정확도가 떨어진다. AR 게임을 위한 위치추정에 제일 중요한 목표는 정확도를 높이는 것이다. 위치를 추정하기 위해서는 Perspective-N-Point (PnP)의 해를 얻어야 한다. PnP 문제의 해를 구하기 위해서는 위치를 추정하고 싶은 공간의 삼차원 좌표와 그 공간에서 찍은 영상이 필요하다. 삼차원 좌표와 매칭 되는 이차원 좌표 6쌍을 통해 위치를 추정할 수 있다. 해의 정확도를 높이기 위해 어떤 점들을 선택하면 정확도가 높아지는지 확인할 비공면도(non-coplanarity degree)를 추가로 사용할 것을 제안했다. 점 6개 이상인 상황에서 비공면도가 커질수록 위치추정 정확도가 높아질 확률이 높다. 제안한 방법의 장점은 모든 기존 위치추정 방법에 적용할 수 있다는 것과 하드웨어를 사용하여 위치를 추정하는 것보다 더 높은 정확도를 보인다.

Keywords

BSGHC3_2019_v24n1_32_f0001.png 이미지

그림 1. 고스트버스터즈월드 게임 Fig. 1. The ghostbusters world game

BSGHC3_2019_v24n1_32_f0002.png 이미지

그림 2. 3DSD 값에 따른 점들의 위치 분포 Fig. 2. Distribution of points position according to 3DSD value: (a) 3DSD = 0.308095; (b) 3DSD = 0.53084

BSGHC3_2019_v24n1_32_f0003.png 이미지

그림 3. 공면 실험 결과 Fig. 3. A result of a coplanar test

BSGHC3_2019_v24n1_32_f0004.png 이미지

그림 4. 비공면도의 설명 그림 Fig. 4. An illustration of a non-coplanarity degree (Points 2, 4, and 6 are on the same plane, from which distance of Point 1 is h.)

BSGHC3_2019_v24n1_32_f0005.png 이미지

그림 5. 점 선택 알고리즘을 위한 실제 실험 환경 Fig. 5. An real experimental environment for point selection algorithm

BSGHC3_2019_v24n1_32_f0006.png 이미지

그림 6. OpenGL에서 20개의 점들 위치 Fig. 6. A picture of 20 points in OpenGL

BSGHC3_2019_v24n1_32_f0007.png 이미지

그림 7. OpenGL에서 10개의 점과 카메라의 위치 Fig. 7. A position of 10 points and camera in OpenGL

표 1. 오차가 1 이상인 점 데이터 표 Table 1. Table of the point data of error≥1

BSGHC3_2019_v24n1_32_t0001.png 이미지

표 2. 거리에 대한 테스트들의 정보 Table 2. Information of tests about distance

BSGHC3_2019_v24n1_32_t0002.png 이미지

표 3. 거리에 대한 테스트들의 결과 Table 3. Results of tests about distance

BSGHC3_2019_v24n1_32_t0003.png 이미지

표 4. 하드웨어 방법과 제안하는 방법의 비교 Table 4. A comparison of hardware method and proposed method

BSGHC3_2019_v24n1_32_t0004.png 이미지

References

  1. F. Wei, L. Zheng, H. Deng, and H. Zhang, "Real-time motion tracking for mobile augmented/virtual reality using adaptive visual-inertial fusion," Sensors Vol.17, No. 5, p.1037, May 2017, doi: 10.3390/s17051037.
  2. Y. Ma, X. Wu, G. Yu, Y. Xu, and Y. Wang, "Pedestrian detection and tracking from low-resolution unmanned aerial vehicle thermal imagery," Sensors, Vol.16, No. 4, p.446, March 2016, doi: 10.3390/s16040446.
  3. Ming, M, Song, Q, Y. Gu and Z. Zhou, "Use of Magnetic Field for Mitigating Gyroscope Errors for Indoor Pedestrian Positioning," Sensors, Vol.18, No.8, p.2592, August 2018, doi: 10.3390/s18082592.
  4. J. Bang, D. Lee, Y. Kim and H. Lee, "Camera Pose Estimation Using Optical Flow and ORB Descriptor in SLAM-Based Mobile AR Game," 2017 International Conference on Platform Technology and Service (PlatCon), Busan, Korea, pp.1-4, 2017, doi: 10.1109/PlatCon.2017.7883693.
  5. Y. Alexander, N. Lo and D. Winata, "An Indoor Positioning-Based Mobile Payment System Using Bluetooth Low Energy Technology," Sensors, Vol.18, No.4, p.974, March 2018, doi: 10.3390/s18040974.
  6. S. Benfano, I. Faahakhododo and F. Gunawan, "Increasing the accuracy of distance measurement between access point and smartphone," 11th International Conference on Knowledge, Information and Creativity Support Systems (KICSS), Yogyakarta, Indonesia, pp.1-6, 2016, doi: 10.1109/KICSS.2016.7951423.
  7. H. Robert, G. Schroth, S. Hilsenbeck, F. Schweiger and E. Steinbach, "Virtual reference view generation for CBIR-based visual pose estimation," Proceedings of the 20th ACM international conference on Multimedia, Nara, Japan, pp.993-996, 2012.
  8. L. Wen, D. Wei, Q. Lai, X. Li and H. Yuan, "Geomagnetism-Aided Indoor Wi-Fi Radio-Map Construction via Smartphone Crowdsourcing," Sensors, Vol.18, No.5, p.1462, May 2018, doi: 10.3390/s18051462.
  9. F. Martin A and R. C. Bolles, "Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography," Communications of the ACM Vol.24, No.6, pp.381-395, June 1981, doi: 10.1145/358669.358692.
  10. H. Yingming, F. Zhu, J. Ou, Q. Wu, J. Zhou and S. Fu, "Robust analysis of P3P pose estimation," 2007 IEEE International Conference on Robotics and Biomimetics (ROBIO), Sanya, China, pp.222-226, 2007.
  11. L. Vincent, F. Moreno-Noguer, P. Fua, "Epnp: An accurate o (n) solution to the pnp problem," International journal of computer vision Vol.81, no.2, pp.155-166, February 2009, doi: 10.1007/s11263-008-0152-6.
  12. S. Li, C. Xu, and M. Xie, "A robust O(n) solution to the perspective-n-point problem," IEEE TPAMI, Vol.34, No.7, pp.1444-1450, July 2012, doi: 10.1109/TPAMI.2012.41.
  13. R. Hartley and A. Zisserman, Multiple View Geometry in Computer Vision, Cambridge Univ. Press, 2nd edition, 2003.
  14. S. Han, Y. Lee, J. Yun, C. Han, D. Lee and D. Suh, "Perspective Projection Algorithm Enabling Mobile Device's Indoor Positioning," Journal of Computer and Communications, Vol.6, No.1, p.159, December 2017, doi: 10.4236/jcc.2018.61017.