한국콘텐츠학회논문지 (The Journal of the Korea Contents Association)
- 제3권3호
- /
- Pages.98-102
- /
- 2003
- /
- 1598-4877(pISSN)
- /
- 2508-6723(eISSN)
비선형 변환에 의한 중간층 뉴런 상관계수 감소
Decreasing of Correlations Among Hidden Neurons of Multilayer Perceptrons
초록
다층퍼셉트론의 중간층 뉴런이 지닌 역할을 정보처리의 관점에서 밝혀내기 위해서, 이 논문에서는 중간층 뉴런의 가중치 합들 간의 상관계수가 비선형 변환에 의해 감소하게 됨을 증명하였다. 고립단어 인식을 다층퍼셉트론에 학습시킨 경우의 시뮬레이션으로 이러한 증명이 맞음도 보였다. 이 결과로부터 중간층 뉴런이 지닌 비선형 변환은 정보의 중복을 감소시키는 효과가 있음을 알 수 있다.
For elucidating the key role of hidden neurons in information processing of Multilayer perceptrons(MLPs), we prove that the correlation coefficient between weighted sums to hidden neurons decreases under element-wise nonlinear transformations. This is verified through training of MLPs for an isolated word recognition problem. From this result, we can say that the element-wise nonlinear functions reduces redundancy in the information contents of hidden neurons.
키워드