DOI QR코드

DOI QR Code

A Study on Unsupervised Learning Method of RAM-based Neural Net

RAM 기반 신경망의 비지도 학습에 관한 연구

  • Park, Sang-Moo (Dept. of Transport System, Youngsan University) ;
  • Kim, Seong-Jin (Dept. of Computer Engineering and Information Technology, Ulsan University) ;
  • Lee, Dong-Hyung (Dept. of Information and Communication System, Korea Polytechnics VII) ;
  • Lee, Soo-Dong (Dept. of Computer Engineering and Information Technology, Ulsan University) ;
  • Ock, Cheol-Young (Dept. of Computer Engineering and Information Technology, Ulsan University)
  • 박상무 (영산대학교 교통시스템학과) ;
  • 김성진 (울산대학교 컴퓨터정보통신공학부) ;
  • 이동형 (한국폴리텍VII대학 울산캠퍼스 정보통신시스템과) ;
  • 이수동 (울산대학교 컴퓨터정보통신공학부) ;
  • 옥철영 (울산대학교 컴퓨터정보통신공학부)
  • Received : 2010.09.17
  • Accepted : 2010.10.19
  • Published : 2011.01.31

Abstract

A RAM-based Neural Net is a weightless neural network based on binary neural network. 3-D neural network using this paper is binary neural network with multiful information bits and store counts of training. Recognition method by MRD technique is based on the supervised learning. Therefore neural network by itself can not distinguish between the categories and well-separated categories of training data can achieve only through the performance. In this paper, unsupervised learning algorithm is proposed which is trained existing 3-D neural network without distinction of data, to distinguish between categories depending on the only input training patterns. The training data for proposed unsupervised learning provided by the NIST handwritten digits of MNIST which is consist of 0 to 9 multi-pattern, a randomly materials are used as training patterns. Through experiments, neural network is to determine the number of discriminator which each have an idea of the handwritten digits that can be interpreted.

RAM 기반 3-D 신경망은 2진 신경망(Binary Neural Network, BNN)에 복수개의 정보 저장 비트를 두어 교육의 반복 횟수를 누적하도록 구성된 가중치를 가지지 않는 신경회로망으로서 한 번의 교육만으로 학습이 이루어지는 효율성이 뛰어난 신경회로망이다. MRD(Maximum Response Detector) 기법을 이용한 3-D 신경망의 인식 방법은 지도 학습에 기반을 둔 것으로서 학습을 통해 신경망 스스로가 범주를 구분할 수 없으며 잘 구분된 범주의 학습 데이터를 통해서만 성능을 발휘할 수 있다. 본 논문에서는 기존 3-D 신경 회로망에 학습 데이터의 구분 없이 신경망 자체가 입력 패턴에 따라 학습하여 범주를 구분하는 비지도 학습 알고리즘을 제안한다. 제안된 비지도 학습 알고리즘에 의해 신경회로망은 판별자의 수를 스스로 조절할 수 있는 구조를 가지게 되며 이는 망의 유연한 확장성을 보장한다. 0에서 9까지의 다중 패턴으로 구성된 오프라인 필기체 숫자를 무작위로 추출하여 학습 패턴으로 인식 실험을 수행하였으며 실험을 통해 신경망이 스스로 비지도 학습에 의해 판별자의 수를 결정하게 되며 이것은 신경망이 각각의 필기체 숫자에 대한 개념을 가지게 되는 것으로 해석할 수 있다.

Keywords

References

  1. M. A. Arbib, "Brains, Machines and Mathematics," Springer Verlag, 1987
  2. Amary and Mori, "Introduction to Neural Network," Treecaps WS, 1991.
  3. I. Aleksander and T. J. Stonham, "Adaptive logic for artificiallly intelligent system," The Radio and Electronic Engineer, Vol. 44, 1974.
  4. I. Aleksander and T. J. Stonham, "Guide to pattern recognition using random-access memories," Computers and Digital Techniques, Vol. 2, pp. 29-40, 1979. https://doi.org/10.1049/ij-cdt.1979.0009
  5. I. Aleksander and H. Morton, "An Introduction to Neural computing," Chapman & Hall, 1990.
  6. I. Aleksander, Thomas W. V., Bowden P. A., "WISARD a radical step forward in image recognition," Sensor Review, pp. 120-124, July 1984.
  7. W. W. Bledsoe and C.L. Bisson, "Improved memory matrices for the N-tuple pattern recognition method," I.R.E. Transactions Vol. EC-11, pp.414-415, 1962.
  8. E. C. D. B. Filho, M. C. Fairhurst and D. L. Bisset, "Analysis of Saturation Problem in RAM-Based Neural Network," Electronics Letters, Vol. 28, No. 4, pp. 345-346, February 1992. https://doi.org/10.1049/el:19920216
  9. Y. C. Kwon, "Experience Sensitive Binary Neural Network", Univ. of Ulsan, 1995.
  10. S. J. Kim, Y. C. Kwon, S. D. Lee, "Experience Sensitive Cumulative Neural Network using RAM", Journal of IEEK, Vol. 41, No. 2, 2004. 3.
  11. N. W. Jeong, B. K. Kim, "The Improving Method of Characters Recognition Using New Recurrent Neural Network", Journal of KSCI, Vol. 1, No. 1, pp.129-138, 1996. 8.
  12. S. J. Kim, D. H. Lee, Y. C. Kwon, S. D. Lee, "A Dynamic Three Dimensional Neuro System with Multi-Discriminator", Journal of KIISE, Vol 34, No. 7, pp 585-594, 2007. 7.
  13. Yann LeCun, NEC Research Institute, http://yann.lecun.com/exdb/mnist/index.html
  14. D. H. Lee, S. J. Kim, S. M. Park, S. D. Lee, C. Y. Ok, "A Study on MRD Methods of A RAM-based Neural Net", Journal of KSCI, Vol. 14, No. 9, pp 11-19, 2009. 9.