Journal of Institute of Control, Robotics and Systems (제어로봇시스템학회논문지)

Institute of Control, Robotics and Systems (제어로봇시스템학회)
권호 표지

Weight modification of recurrent neural network by decorrelation

부상관성(負相關性)에 의한 순환신경망의 연결가중치 조절

  • Lee, Jong-Ho (Dept.of Electric Engineering, Inha University)
  • 이종호 (인하대학교 전기공학과)
  • Published : 1995.09.01
Download PDF
⟨ Previous Next ⟩

Abstract

순환 신경회로망의 응용에서 종종 대두되는 국지극소점을 확인하고 제거하는 효과적인 방법을 제안한다. 신경망의 학습과정에서 밝혀지는 국지극소점에 대하여 부상관성을 부과하여 에너지표면을 재조정함으로서 원하는 상태에서 회로망이 안정에 도달하게 한다. 이때 의사상태(spurious states)는 안정조건을 적용함으로서 확인되는데 이과정은 특별히 설계된 병렬회로에 의하여 효율적으로 처리된다. 이와같은 부학습(unlearning)의 결과로서 순환신경망의 저장용량과 수렴성능의 개선을 이룰수 있다.

Keywords

References

  1. Associative Neural Memories Theory and Implementation Hassoun,M.
  2. Biological Cybernetics v.50 Collective Properties of Neural Networks: A Statistical Physics Approach Peretto,P.
  3. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Optimal Perceptual Inference Hinton,G.;Sejnowski,T.
  4. Proceedings of National Academy of Science v.84 A relaxation model for memory with high storage sensity Bachmann,C.;Cooper,L.;Dembo,A.;Zeitouni,O.
  5. Dissertation Potter,T.
  6. Nature v.304 Unlearning has stabilizing effect in collective memories Hopfield,J.;Feinstein,D.;Palmer,R.
  7. Proceedings of National Academy of Sciences v.79 Neural Networks and Physical Systems with Emergent Collective Computational Abilitics Hopfield,J.
  8. Introduction to Artificial Neural Systems Zurada,J.
  9. Introduction the Theory of Neural Computation Hertz,J.;Krogh,A.;Palmer,R.
  10. Physical Review A v.32 Spin-glass models of neural networks Amit,D.;Hanoch,G.
  11. Physical Review A v.35 Associative recall of memory without errors Kanter,I.;Sompolinsky,H.
  12. Self-Organization and Associative Memory Kohonen,T.
  13. The Computing Neuron, Adaptation and decorrelation in cortex Barlow,H.;Foldiak,P.;Miall,R.;Mitchison;G.(eds.)
  14. Networks v.2 Dynamics of learning in linear feature-discovery networks Leen,T.
  15. Nature v.304 Crick,F.;Mitchison,G.