Structure of the Mixed Neural Networks Based On Orthogonal Basis Functions

직교 기저함수 기반의 혼합 신경회로망 구조

  • Kim, Seong-Joo (School of Electrical and Electronics Eng. Chung-Ang Univ.) ;
  • Seo, Jae-Yong (School of Info. Tech. Eng. Korea Univ. of Tech. and Edu.) ;
  • Cho, Hyun-Chan (School of Info. Tech. Eng. Korea Univ. of Tech. and Edu.) ;
  • Kim, Seong-Hyun (Dept. of Electronics, Tongwon Coollege) ;
  • Kim, Hong-Tae (School of Electrical and Electronics Eng. Chung-Ang Univ.)
  • 김성주 (中央大學敎 電子電氣工學部) ;
  • 서재용 (韓國技術敎育大學敎 情報技術工學部) ;
  • 조현찬 (韓國技術敎育大學敎 情報技術工學部) ;
  • 김성현 (東元大學 電子科) ;
  • 김홍태 (中央大學敎 電子電氣工學部)
  • Published : 2002.11.01

Abstract

The wavelet functions are originated from scaling functions and can be used as activation function in the hidden node of the network by deciding two parameters such as scale and center. In this paper, we would like to propose the mixed structure. When we compose the WNN using wavelet functions, we propose to set a single scale function as a node function together. The properties of the proposed structure is that while one scale function approximates the target function roughly, the other wavelet functions approximate it finely. During the determination of the parameters, the wavelet functions can be determined by the global search algorithm such as genetic algorithm to be suitable for the suggested problem. Finally, we use the back-propagation algorithm in the learning of the weights.

웨이블릿 함수의 경우 스케일링 함수에서 비롯되었으며, 스케일과 중심을 결정함으로써 신경회로망의 노드로 구성된다. 본 논문에서는 웨이블릿 함수를 이용하여 망을 구성하는 과정에 스케일링 함수를 은닉층의 노드로 복합 구성한 구조를 제안하고자 한다. 제안한 구조의 특징은 스케일링 함수를 이용하여 대강 근사(rough approximation)를 행한 다음, 웨이블릿 함수를 이용하여 미세 근사(fine approximation)를 행하도록 신경회로망의 은닉층을 복합 구성하는 데 있다. 또한, 복합 신경회로망을 구성하는 과정에서 미세 근사에 필요한 웨이블릿 함수의 개수를 유전 알고리즘을 이용하여 결정하는 초기 구조의 최적화를 도모하고자 한다.

Keywords

References

  1. James A. Freeman and David M.Skapura, Neural Networks Algorithms, Applications, and Programming Techniques, Addison-Wesley Publishing, 1991
  2. V. T. Sunil Elanayar and Y. C. Shin, 'Radial Basis Function neural network for approximation and estimation of nonlinear dynamic systems,' IEEE Trans. Neural Networks, vol. 4, pp. 594-603, 1994 https://doi.org/10.1109/72.298229
  3. Q. Zhang and A. Benveniste, 'Wavelet networks,' IEEE Trans. Neural Networks, vol. 3, pp. 889-898, Nov. 1992 https://doi.org/10.1109/72.165591
  4. Jaideva C. Goswami and Andrew K. Chan, Fundamentals of Wavelets, Wiley Interscience, 1999
  5. 서재용, 김용택, 조현찬, 전홍태, '시간-주파수 분석을 이용한 모듈라 웨이블렛 신경망의 최적 구조 설계,' 대한전자공학회 논문지, 제38권, SC편, 제2호, pp. 12-19, 2001