Optimal Brain Surgeon with Adaptive Weight Decay Term

적응적 가중치 감소항을 적용한 Optimal Brain Surgeon

본 논문에서는 다층 퍼셉트론 신경망에서 연결선 수를 최소로 하면서 일반화 성능을 향상시키기 위해 가장 널리 쓰여지고 있는 Optimal Brain Surgeon을 이용한 프루닝(pruning)을 기반으로 하여 오차 함수의 가중치 감소항을 추가시키는 방법을 사용한다. 이때 학습 및 프루닝의 성능에 많은 영향을 미치는 가중치 감소항의 방영정도를 베이시안 테크닉에 기반하여 적응적으로 최적화 하는 방법을 제안한다. 제안하는 방법의 성능을 검증하기 위해 벤치마크 데이터를 이용하여 실험을 수행하였다. 순수한 OBS 방법과 고정된 반영정도를 가진 가중치 감소항을 추가시킨 OBS, 그리고 제안하는 적응적 가중치 감소항을 적용한 OBS 방법을 비교하여 제한하는 방법이 기존의 두 방법에 비해 신경망 구조의 최적화 능력이 뛰어남을 확인할 수 있었다.