ICROS (제어로봇시스템학회지)

Institute of Control, Robotics and Systems (제어로봇시스템학회)
권호 표지

연속 시시템 모델링을 위한 칼만 필터링 기반 신경회로망 학습에 대한 기술 동향

  • Published : 2011.09.25
Download PDF
⟨ Previous Next ⟩

Abstract

신경회로망 기술은 다양한 공학적 및 과학적 문제에 적용되어 왔으며 복잡한 동특성을 갖는 시스템의 모델링에 특히 효율적인 것으로 알려져 있다. 신경회로망 학습은 신경회로망의 가중치 및 바이러스로서 주어지는 파라미터 벡터의 요소를 주어진 목적함수를 최소화하는 최적의 값으로 추정하는 연산과정을 의미한다. 따라서 신경회로망 파라미터 학습은 전체시스템의 성능을 직접적으로 좌우하는 매우 중요한 단계라 할 수 있으며 일반적으로 파라미터의 수정규칙 알고리즘을 도출한다. 이러한 수정규칙은 주로 최적화 기법을 적용하며 경사함수(gradient function)를 포함한다. 최근에는 이러한 경사함수를 포함하지 않는 학습 알고리즘이 많이 개발되고 있으며 특히 칼만 필터링 이론을 접목한 미분 신경회로망의 학습 알고리즘이 최근에 발표되었다.

Keywords

References

  1. S. Li, "Comparative analysis of backpropagation and extended Kalman filter in pattern and batch forms for training neural netwotks," Int. Joint Conf. on Neural Networks, Washington, DC. pp.144-149,2001.
  2. C. M. Takenga,K. R. Anne,K. Kyamakya,and J. C. Chedjou, "Comparison of gradient descent method, Kalman filtering and decoupled Kalman in training neural networks used for fingerprintbased positioning," Proc. of the IEEE Vehicular Technology Conf., pp. 4146- 4150,2004.
  3. K-W. Wong,C.-S. Leung,and S.-J. Chang,''use pf periodic and monotonic activation functions in multilayer feedforward neural networks trained by extended Kalman filter algorithm;' IEEE Proc.-Vis. Image signal Process,vol. 149,no. 4,pp. 217-224,2002. https://doi.org/10.1049/ip-vis:20020515
  4. S. J. Julier and J. K Uhlmann, ''Unscented filtering and nonlinear estimation," Proc. of the IEEE,vol. 92,no. 3,pp. 401-422, 2004. https://doi.org/10.1109/JPROC.2003.823141
  5. B. Todorovic,M. Stankovic,and C. Moraga,"On-line learning in recurrent neural netwotks using nonlinear Kalman filters," Proc. of the IEEE Int. Symposium on signal Processing & Information technology,pp. 802-805, 2003.
  6. R. Zhan and J. Wan, ''Neural network-aided adaptive unscented Kalman filter for nonlinear state estimation," IEEE Signal Processing Letters,vol. 13,no. 7,pp. 445-448, 2006. https://doi.org/10.1109/LSP.2006.871854
  7. M. Choi, R. Sakthivel,and W. K. Chung, ''Neural network-aided extended Kalman filter for SLAM problem," IEEE Int. Conf. on Robotics & Automation, Rolla, Italy, pp.1686-1690, 2007.
  8. K. A. Kramer and S. C. Stubberud, "Tracking of multiple target types with a single neural extended Kalman filter," Int. J of Intelligent Systems, vol.25,pp. 440-459, 2010.
  9. W. Yu and J. de J. Rubio, ''Recurrent neural networks training with stable risk-seusitive Kalman filter algorithm," Proc. of Int. Joint Conf. on Neural Networks, Montreal, Canada,pp. 700-705, 2005.
  10. J. Choi,A. C. Lima,and S. Haykin, "Kalman filter-trained recurrent neural equalizers for time-varying channels," IEEE Trans. on Communications, vol. 53, no.3,pp. 472-480, 2005. https://doi.org/10.1109/TCOMM.2005.843416
  11. P. H. G. Coelho and L. B. Neto, "Complex RTRL neural netwotks fast Kalman training," Int Conf. in Intelligent Systems Design & Applications, pp.573-577, 2007.
  12. D. T. Mirikitani and N. Nikolaev, "Dynamic modeling with ensemble Kalman filter trained recurrent neural networks," Int. Conf. on Machine Learning & Applications, pp.843-848, 2008.
  13. X. Wang and Y. Huang, "Convergence study in extended Kalman filter-based training of recurrent neural networks," IEEE Trans. on Neural Networks, vol.22, no.4,pp. 588-600, 2011. https://doi.org/10.1109/TNN.2011.2109737
  14. J. M. Mendel, Lessons in Estimation Theory for Signal Processing, Communications and Control, New Jersey, Prentice Hall,1995.
  15. A. S. Poznyak, E. N. Sancbez,and W. Yu, Differential Neural Networks for Robust Nonlinear Control, New Jersey, World Science, 2001.
  16. 조현철, 이진우, 이영진, 이권순, "칼만 필터 알고리즘을 이용한 유비쿼터스 센서 기반 임베디드 로봇시스템의 온라인 동적 모델링," 제어로봇시스템학회 논문지, 제14권 제8호, pp.779-784, 2008년.
  17. S. Haykin, Neural Networks and Leaming Machines, New Jersey, Prentice Hall, 2009.