Abstract
This paper presents an online partial 3D modeling methodology that uses a mobile augmented reality system and aerial photographs, and a tracking methodology that compares the 3D model with a video image. Instead of relying on models which are created in advance, the system generates a 3D model for a real building on the fly by combining frontal and aerial views. A user's initial pose is estimated using an aerial photograph, which is retrieved from a database according to the user's GPS coordinates, and an inertial sensor which measures pitch. We detect edges of the rooftop based on Graph cut, and find edges and a corner of the bottom by minimizing the proposed cost function. To track the user's position and orientation in real-time, feature-based tracking is carried out based on salient points on the edges and the sides of a building the user is keeping in view. We implemented camera pose estimators using both a least squares estimator and an unscented Kalman filter (UKF). We evaluated the speed and accuracy of both approaches, and we demonstrated the usefulness of our computations as important building blocks for an Anywhere Augmentation scenario.
본 논문에서는 모바일 증강 현실 시스템 및 항공사진을 이용하여 건물의 부분적 3D 모델을 생성하고, 이를 비디오 영상과 비교하여 사용자의 위치를 실시간으로 추적하는 방법을 제안한다. 제안된 시스템은 미리 생성된 모델을 사용하는 대신, 시스템 동작 중에 사용자 뷰와 항공 뷰를 결합하여 3D 모델을 생성한다. 우선 GPS의 위치에 따라 데이터베이스로부터 검색된 항공사진과, 피치를 추정하는 관성 센서를 이용하여 사용자의 초기 자세를 계산한다. 그리고 그래프 컷을 이용하여 건물의 상단의 에지를 검출하고, 제안된 비용 함수를 최소화함으로써 하단의 에지와 모퉁이 위치를 찾는다. 실시간으로 사용자의 자세를 추적하기 위해, 사용자가 관촬 중인 건물의 에지 및 벽면에서의 특이점을 이용하여 추적을 수행한다. 본 논문에서는 최소 자승 추정법과 언센티트 칼만 필터를 사용하여 카메라 자세 추정 방법을 구현하고 비교하였다. 또한 두 방법에 대하 속도와 정확도를 비교하고, Anywhere Augmentation 시나리오에 대한 중요한 기본 구성 요소들로서 실험결과의 유용성을 보였다.