Journal of the Korean Institute of Intelligent Systems (한국지능시스템학회논문지)

Korean Institute of Intelligent Systems (한국지능시스템학회)
권호 표지
DOI QR코드

DOI QR Code

A Neuro-Fuzzy Modeling using the Hierarchical Clustering and Gaussian Mixture Model

계층적 클러스터링과 Gaussian Mixture Model을 이용한 뉴로-퍼지 모델링

  • 김승석 (충북대학교 전기전자컴퓨터 공학부 컴퓨터 정보통신 연구소) ;
  • 곽근창 (충북대학교 전기전자컴퓨터 공학부 컴퓨터 정보통신 연구소) ;
  • 유정웅 (충북대학교 전기전자컴퓨터 공학부 컴퓨터 정보통신 연구소) ;
  • 전명근 (충북대학교 전기전자컴퓨터 공학부 컴퓨터 정보통신 연구소)
  • Published : 2003.10.01
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose a neuro-fuzzy modeling to improve the performance using the hierarchical clustering and Gaussian Mixture Model(GMM). The hierarchical clustering algorithm has a property of producing unique parameters for the given data because it does not use the object function to perform the clustering. After optimizing the obtained parameters using the GMM, we apply them as initial parameters for Adaptive Network-based Fuzzy Inference System. Here, the number of fuzzy rules becomes to the cluster numbers. From this, we can improve the performance index and reduce the number of rules simultaneously. The proposed method is verified by applying to a neuro-fuzzy modeling for Box-Jenkins s gas furnace data and Sugeno's nonlinear system, which yields better results than previous oiles.

본 논문에서는 계층적 클러스터링과 GMM을 순차적으로 이용하여 최적의 파라미터를 추정하고 이를 뉴로-퍼지 모델의 초기 파리미터로 사용하여 모델의 성능 개선을 제안한다. 반복적인 시도 중 가장 좋은 파라미터를 선택하는 기존의 알고리즘 과 달리 계층적 클러스터링은 데이터들 간의 유클리디언 거리를 이용하여 클러스터를 생성하므로 반복적인 시도가 불필요하다. 또한 클러스터링 방법에 의해 퍼지 모델링을 행하므로 클러스터와 동일한 갯수의 적은 규칙을 갖는다. 제안된 방법의 유용함을 비선형 데이터인 Box-Jenkins의 가스로 예측 문제와 Sugeno의 비선형 시스템에 적용하여 이전의 연구보다 적은 규칙으로도 성능이 개선되는 것을 보였다.

Keywords

References

  1. Chin-Teng Lin, C. S. George. Lee, "Neural Fuzzy Systems : A Neuro-Fuzzy Synergism to Intelligent Systems" ,Prentice Hall, 1996.
  2. J-S. R. Jang, C. T. Sun, E. Mizutani, "NeuroFuzzy and Soft Computing : A Computational Approach to Learning and Machine Intelligence", Prentice Hall, 1997.
  3. Timothy J. Ross, "Fuzzy Logic with Engineering Applications", McGraw-Hill, Inc, 1995.
  4. J-S. R. Jang, Input Selection for ANFIS Learning, Proceedings of the Fifth IEEE International Conference on, Fuzzy Systems, Vol. 2, pp. 1493-1499, 1996. https://doi.org/10.1109/FUZZY.1996.552396
  5. Jeen-Shing Wang, C.S. George Lee, "Self Adaptive Neuro-Fuzzy Inference Systems for Classification Applications", IEEE Trans on Fuzzy Systems, Vol. 10, No. 6, pp790-802, 2003 https://doi.org/10.1109/TFUZZ.2002.805880
  6. J. Zhang, S. Koper, A. Knoll, "Extracting compact fuzzy rules based on adaptive data approximation using B-splines", Inforamation Sciences, Volume 142, Issues 1-4, pp 227-248, 2002 https://doi.org/10.1016/S0020-0255(02)00167-6
  7. Arnold F. Shapiro, "The merging of neural network, fuzzy logic, and genetic algorithms", : Mathematics and Economics, Vol. 31, Issue 1, pp. 115-131, 2002 https://doi.org/10.1016/S0167-6687(02)00124-5
  8. Arun D. Kulkarni, "Computer Vision and Fuzzy-Neural Systems", Prentice Hall, 2001.
  9. Ethem Alpayd, "Soft vector quantization and the EM Algorithm", neural Network, Vol. 11, Issue. 3, pp. 467- 477 1998. https://doi.org/10.1016/S0893-6080(97)00147-0
  10. Todd. K. Moon, The Expectation-Maximization Algorithm, IEEE Signal Processing Magazine, 1996.
  11. R. R. Yager, D. P. Filev, Generation of Fuzzy Rules by Mountain Clustering, Jounal of Intelligent and Fuzzy System, Vol.2, pp. 209-219, 1994.
  12. Michio Sugeno, Takahiro Yasukawa, "A Fuzzy-Logic- Based Approach to Qualitative Modeling", IEEE Trans on Fuzzy Systems, Vol. 1, No. 1, pp. 7-31, 1993. https://doi.org/10.1109/TFUZZ.1993.390281
  13. S. K. Oh, Witold Pedrycz, "Identification of fuzzy systems by means of an auto-tuning algorithm and its application to nonlinear systems", Fuzzy Sets and Systems, Vol. 115, pp. 205-230, 2000. https://doi.org/10.1016/S0165-0114(98)00174-2
  14. S.S. Kim, K. C. Kwak, S. S. Kim, J. W. Ryu, M. G. Chun, "A Novel Neuro Fuzzy Modeling using the Gaussian Mixture Models", ICCAS2002, 2002.