The Analysis and Design of Advanced Neurofuzzy Polynomial Networks

고급 뉴로퍼지 다항식 네트워크의 해석과 설계

  • 박병준 (원광대학교 전기전자·정보공학부) ;
  • 오성권 (원광대학교 전기전자·정보공학부)
  • Published : 2002.05.01

Abstract

In this study, we introduce a concept of advanced neurofuzzy polynomial networks(ANFPN), a hybrid modeling architecture combining neurofuzzy networks(NFN) and polynomial neural networks(PNN). These networks are highly nonlinear rule-based models. The development of the ANFPN dwells on the technologies of Computational Intelligence(Cl), namely fuzzy sets, neural networks and genetic algorithms. NFN contributes to the formation of the premise part of the rule-based structure of the ANFPN. The consequence part of the ANFPN is designed using PNN. At the premise part of the ANFPN, NFN uses both the simplified fuzzy inference and error back-propagation learning rule. The parameters of the membership functions, learning rates and momentum coefficients are adjusted with the use of genetic optimization. As the consequence structure of ANFPN, PNN is a flexible network architecture whose structure(topology) is developed through learning. In particular, the number of layers and nodes of the PNN are not fixed in advance but is generated in a dynamic way. In this study, we introduce two kinds of ANFPN architectures, namely the basic and the modified one. Here the basic and the modified architecture depend on the number of input variables and the order of polynomial in each layer of PNN structure. Owing to the specific features of two combined architectures, it is possible to consider the nonlinear characteristics of process system and to obtain the better output performance with superb predictive ability. The availability and feasibility of the ANFPN are discussed and illustrated with the aid of two representative numerical examples. The results show that the proposed ANFPN can produce the model with higher accuracy and predictive ability than any other method presented previously.

본 연구는 뉴로퍼지 네트워크와 다항식 뉴럴네트워크를 합성한 하이브리드 모델링 구조인 고급 뉴로퍼지 다항식 네트워크(Advanced neurofuzzy polynomial networks ; ANFPN)를 제안한다. 제안된 네트워크 구조는 높은 비선형 규칙 기반 모델로, CI(Computational Intelligence)의 기술, 즉 퍼지집합, 뉴럴네트워크, 유전자 알고리즘에 의해 설계되어진다. 뉴로퍼지 네트워크는 ANFPN 구조의 전반부를, 다항식 뉴럴네트워크는 후반부를 구성한다. ANFPN의 전반부에서, 뉴로퍼지 네트워크는 간략추론, 오류역전파 학습 규칙을 이용한다. 멤버쉽함수의 파라미터, 학습율, 모멘텀 계수는 유전자 최적화를 이용하여 조절된다. ANFPN의 후반부 구조로서 다항식 뉴럴네트워크는 학습을 통해 생성되는(전개되는) 유연한 네트워크 구조이다. 특히 다항식 뉴럴네트워크의 층과 노드 수는 고정되어 있지 않고 동적으로 생성된다. 본 연구에서는, 2가지 형태의 ANFPN 구조를 제안한다. 즉 기본 구조와 변형된 구조이다. 여기서 기본 구조와 변형된 구조는 다항식 뉴럴네트워크 구조의 각 층에서 입력변수의 수와 회귀다항식의 차수에 의존한다. 두 결합 구조의 특징 때문에 공정 시스템의 비선형적인 특성을 고려할 수 있고 보다 우수한 예측능력을 가진 좋은 출력선응을 얻을 수 있게 한다. ANFPN의 유용성과 실용성은 2개의 수치 예제를 통해 논의된다. 제안된 ANFPN은 기존의 모델보다 높은 정밀도와 예측능력을 가진 모델을 생성함을 보인다.

Keywords

References

  1. A.G. Ivahnenko, 'The group method of data handing : a rival of method of stochastic approximation,' Soviet Automatic Control, Vol. 13, No. 3, pp. 43-55, 1968
  2. H. Takagi and I. Hayashi, 'NN-driven Fuzzy Reasoning,' Int. J. of Approximate Reasoning, Vol. 5, No. 3, pp. 191-212, 1991 https://doi.org/10.1016/0888-613X(91)90008-A
  3. Shin ichi Horikawa, Takeshi Furuhashi and Yoshiki Uchigawa, 'On Fuzzy Modeling Using Fuzzy Neural Networks with the Back Propagation Algorithm,' IEEE trans. Neural Networks, Vol. 3, No. 5, pp. 801-806, 1992 https://doi.org/10.1109/72.159069
  4. N. Imasaki, J. Kiji and T. Endo, 'A Fuzzy Rule Structured Neural Networks,' Journal of Japan Society for Fuzzy Theory and Systems, Vol. 4, No. 5, pp. 985-995, 1992(in Japanese)
  5. H. Nomura and Wakami, 'A Self-Tuning Method of Fuzzy Control by Descent Methods,' 4th IFSA World Conference, pp. 155-159, 1991
  6. Takeshi Yamakawa, 'A New Effectie Learning Algorithm for a Neo Fuzzy Neuron Model,' 5th IFSA World Conference, pp. 1017-1020, 1993
  7. M. Sugeno and T. Yasukawa, 'A Fuzzy-Logic-Based Approach to Qualitative Modeling,' IEEE Trans. on Fuzzy systems, Vol. 1, No. 1, pp. 7-31, 1993 https://doi.org/10.1109/TFUZZ.1993.390281
  8. A.F. Gomez Skarmeta, M. Delgado and M.A. Vila, 'About the use of fuzzy clustering techniques for fuzzy model identification,' Fuzzy Sets and Systems, Vol. 106, pp. 179-188, 1999 https://doi.org/10.1016/S0165-0114(97)00276-5
  9. E.T. Kim, M.K. Park, S.H. Ji and M. Park, 'A new approach to fuzzy modeling,' IEEE Trans. on Fuzzy systems, Vol. 5, No. 3, pp. 328-337, 1997 https://doi.org/10.1109/91.618271
  10. E. Kim, H. Lee, M. Park and M. Park, 'A simply identified Sugeno-type fuzzy model via double clustering,' Information Sciences, Vol. 110, pp. 25-39, 1998 https://doi.org/10.1016/S0020-0255(97)10083-4
  11. G.E. Box and G.M. Jenkins, Time Series Analysis : Forecasting and Control, Holden-day, 1970
  12. Y. Lin and G.A. Cunningham III, 'A new approach to fuzzy-neural modeling,' IEEE Trans. on Fuzzy Systems, Vol. 3, No. 2, pp. 190-197, 1995 https://doi.org/10.1109/91.388173
  13. S.K. Oh and W. Pedrycz, 'Fuzzy Identification by Means of Nonlinear Systems,' Fuzzy Sets and Syst., Vol. 115, No. 2, pp. 205-230, 2000 https://doi.org/10.1016/S0165-0114(98)00174-2
  14. David E. Goldberg, Genetic Algorithms in search, Optimization & Machine Learning, Addison-wesley, 1989
  15. Zbigniwe Michalewicz, Genetic Algorithms+Data Structue=Evolution Programs, Springer-Verlag, 1992
  16. 박병준, 오성권, 안태천, 김현기, '유전자 알고리즘과 하중값을 이용한 퍼지 시스템의 최적화,' 대한전기학회논문지, 제48A권, 제6호, pp. 789-799, 1999
  17. 오성권, 박병준, 박춘성, '적응 퍼지-뉴럴네트워크를 이용한 비선형 공정의 온라인 모델링,' 대한전기학회논문지, 제48A권, 제10호, pp. 1293-1302, 1999
  18. 오성권, 김동원, 박병준, '다항식 뉴럴네트워크 구조의 최적 설계에 관한 연구,' 대한전기학회논문지, 제49D권, 3호, pp. 145-156, 2000