Abstract
In this paper, we propose a method for the random selection of pooling operations for the regularization and reduction of cross validation in convolutional neural networks. The pooling operation in convolutional neural networks is used to reduce the size of the feature map and for its shift invariant properties. In the existing pooling method, one pooling operation is applied in each pooling layer. Because this method fixes the convolution network, the network suffers from overfitting, which means that it excessively fits the models to the training samples. In addition, to find the best combination of pooling operations to maximize the performance, cross validation must be performed. To solve these problems, we introduce the probability concept into the pooling layers. The proposed method does not select one pooling operation in each pooling layer. Instead, we randomly select one pooling operation among multiple pooling operations in each pooling region during training, and for testing purposes, we use probabilistic weighting to produce the expected output. The proposed method can be seen as a technique in which many networks are approximately averaged using a different pooling operation in each pooling region. Therefore, this method avoids the overfitting problem, as well as reducing the amount of cross validation. The experimental results show that the proposed method can achieve better generalization performance and reduce the need for cross validation.
본 논문에서는 컨볼루션 신경망 구조(Convolution Neural Network)에서 정규화 및 교차검증 횟수 감소를 위한 무작위로 풀링 연산을 선택하는 방법에 대해 설명한다. 컨볼루션 신경망 구조에서 풀링 연산은 피쳐맵(Feature Map) 크기 감소 및 이동 불변(Shift Invariant)을 위해 사용된다. 기존의 풀링 방법은 각 풀링 계층에서 하나의 풀링 연산이 적용된다. 이러한 방법은 학습 간 신경망 구조의 변화가 없기 때문에, 학습 자료에 과도하게 맞추는 과 적합(Overfitting) 문제를 가지고 있다. 또한 최적의 풀링 연산 조합을 찾기 위해서는, 각 풀링 연산 조합에 대해 교차검증을 하여 최고의 성능을 내는 조합을 찾아야 한다. 이러한 문제를 해결하기 위해, 풀링 계층에 확률적인 개념을 도입한 무작위 풀링 연산 선택 방법을 제안한다. 제안한 방법은 풀링 계층에 하나의 풀링 연산을 적용하지 않는다. 학습기간 동안 각 풀링 영역에서 여러 풀링 연산 중 하나를 무작위로 선택한다. 그리고 시험 시에는 각 풀링 영역에서 사용된 풀링 연산의 평균을 적용한다. 이러한 방법은 풀링 영역에서 서로 다른 풀링 조합을 사용한 구조의 평균을 한 것으로 볼 수 있다. 따라서, 컨볼루션 신경망 구조가 학습데이터에 과도하게 맞추어지는 과적합 문제를 피할 수 있으며, 또한 각 풀링 계층에서 특정 풀링 연산을 선택할 필요가 없기 때문에 교차 검증 횟수를 감소시킬 수 있다. 실험을 통해, 제안한 방법은 정규화 성능을 향상시킬 뿐만 아니라 및 교차 검증 횟수를 줄일 수 있다는 것을 검증하였다.