Abstract
In this paper, we investigate and analyze weight distribution of feed forward two-layer neural networks with a hidden layer in order to understand and improve time-consuming training process of neural networks. Generally, when a new problem is presented, neural networks have to be trained again without any benefit from the previous training process. In order to address this problem, training process is viewed as finding a solution point in the weight space and the distribution of solution points is analyzed. Then we propose to initialize neural networks using the information of the distribution of the solution points. Experimental results show that the proposed initialization using the weight distribution provides a better performance than the conventional one.
본 논문에서는 순방향 2층 신경망의 연결강도(weight) 분포 특성을 분석한다. 일반적으로 신경망의 학습은 많은 시간이 소요되지만, 현재 학습 알고리즘으로는 새로운 문제가 주어질 때 이전에 수행된 학습 정보의 도움 없이 새로이 학습과정을 수행해야 하는 문제점이 있다. 본 논문에서는, 신경망의 학습을 주어진 문제를 해결할 수 있는 연결강도 공간(weight space)상의 한 점(point)을 찾는 과정으로 이해하고, 연결강도 공간에서 이러한 해(solution)가 되는 점들의 분포를 조사하여 이를 새로운 문제의 학습 시 초기 연결강도의 선정에 적용하는 방법을 제안한다, 제안된 연결강도 분포를 이용한 초기화 방법을 패턴분류 문제에 적용하였고, 기존의 무작위 초기화보다 학습 성능을 향상시킬 수 있음을 확인하였다.
