Real-Time Place Recognition for Augmented Mobile Information Systems

이동형 정보 증강 시스템을 위한 실시간 장소 인식

  • 오수진 (이화여자대학교 디지털미디어학부) ;
  • 남양희 (이화여자대학교 디지털미디어학부)
  • Published : 2008.07.15

Abstract

Place recognition is necessary for a mobile user to be provided with place-dependent information. This paper proposes real-time video based place recognition system that identifies users' current place while moving in the building. As for the feature extraction of a scene, there have been existing methods based on global feature analysis that has drawback of sensitive-ness for the case of partial occlusion and noises. There have also been local feature based methods that usually attempted object recognition which seemed hard to be applied in real-time system because of high computational cost. On the other hand, researches using statistical methods such as HMM(hidden Markov models) or bayesian networks have been used to derive place recognition result from the feature data. The former is, however, not practical because it requires huge amounts of efforts to gather the training data while the latter usually depends on object recognition only. This paper proposes a combined approach of global and local feature analysis for feature extraction to complement both approaches' drawbacks. The proposed method is applied to a mobile information system and shows real-time performance with competitive recognition result.

이동 중 사용자에게 필요한 정보를 제공하기 위해서는 장소를 인지하는 기술이 필요하다. 본 논문에서는 건물 내에서 이동하면서 카메라에 의해 포착된 영상 정보를 분석하여 현재 장소를 파악하고 카메라 영상에 관련 정보를 증강하는 비디오 기반 실시간 장소인식 시스템을 제안한다. 영상의 전역적 특징을 이용한 기존 연구들은 장면의 부분적인 폐색이나 잡음에 민감하고, 물체인식을 행하는 지역적 특징 의존 방식은 계산량이 많아 실시간 적용이 어렵다. 또한, 그러한 특징들로부터 장소인식 결과를 도출하기 위해서는 통계적 그래프 기반 모델이나 베이시안 네트웍등이 이용되어 왔는데, 전자의 경우 장소 이동의 확률을 얻기 위한 많은 통계 데이타가 필요하며, 후자는 장소 이동문맥을 활용하지 못하므로 물체 인식 결과에만 의존하는 단점이 있다. 본 논문에서는 장소 문맥 정보를 활용하면서 영상의 지역적, 전역적 특징추출법의 결합을 통해 부분 폐색 및 잡음에 대한 전역적 방법의 민감성을 보완하고, 지역적 방법의 느린 처리속도를 보완한 시스템을 제안한다. 제안된 방법을 건물 내부를 이동하면서 장소에 대한 정보를 얻는 정보증강 시스템에 적용하여 실시간 성능을 확인하였다.

Keywords

References

  1. A. Torralba, K. P. Murphy, W. T. Freeman and M. A. Rubin, "Context-based vision system for place and object recognition," In IEEE International Conference on Computer Vision, Vol.1, pp. 273-280, Nice, France, 2003
  2. D. Jung, H. Kim, "Place Recognition System from Long-Term Observations," Int. Conf. on Industrial, Engineering & Other Applications of Applied Intelligent Systems, IEA/AIE, pp. 36-43, 2005
  3. F. Li, J.Kosecka, "Probabilistic Location Recognition using Reduced Feature Set," IEEE Int. Conf. on Robotics and Automation, 2006
  4. 황금성, 조성배, "불확실한 장면의 효과적인 인식을 위한 베이지안 네트워크의 온톨로지 기반 제한 학습방법", 정보과학회논문지: 소프트웨어 및 응용, 제34권, 6호, pp. 100-109, 2007
  5. S. Kim, I. Kweon, "Collaborative Place and Object Recognition in Video using Bidirectional Context Information," 제1회 한국지능로봇 하계종합 학술대회 논문집, pp. 432-439, 2006
  6. S. Im, S. Cho, "Context-Based Scene Recognition Using Bayesian Networks with Scale-Invariant Feature Transform," Advanced Concepts for Intelligent Vision Systems (ACIVS), pp. 1080-1087, Antwerp, Belgium, Sept. pp. 18-21, 2006
  7. 민경민, 이성훈, 김동호, 김진형, "Nonstationary HMM을 이용한 다중 카메라 기반 장소 인식", HCI 2007
  8. M. Israel, E. L. van den Broek, P. Van der Putten, and M. J. Den Uyl. "Automating the Construction of Scene Classifiers for Content-Based Video Retrieval," Int. Workshop on Multimedia DataMining, pp. 38-47, 2004
  9. L. FeiFei, P. Perona. "A Bayesian Hierarchical Model for Learning Natural Scene Categories," IEEE Int. Conf. on Computer Vision and Pattern Recognition, 2005
  10. G. Csurka, C. R. Dance, L. Fan, J. Willamowski, C. Bray, "Visual Categorization with Bags of Keypoints," In European Conference on Computer Vision, 2004