Proceedings of the Korean Information Science Society Conference (한국정보과학회:학술대회논문집)

  • 2002.04b
  • /
  • Pages.265-267
  • /
  • 2002
  • /
  • 1598-5164(pISSN)
Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

Improving Generalization in Neural Networks using Natural Gradient Learning with Adaptive Regularization and Natural Pruning

적응적 정규화 자연기울기 학습과 자연프루닝을 통한 신경망의 일반화 성능 향상

  • 이현진 (연세대학교 컴퓨터과학과) ;
  • 박혜영 (일본 이화학연구소 뇌과학 연구센터) ;
  • 지태창 (LGCNS 기술 내재화팀) ;
  • 이일병 (연세대학교 컴퓨터과학과)
  • Published : 2002.04.01
Download PDF
⟨ Previous Next ⟩

Abstract

본 논문에서는 적응적 정규화 자연기울기 학습법과 자연 프루닝(pruning) 방법의 결합을 통하여 일반화 성능이 우수만 신경망을 구성하고자 한다. 먼저 적응적 정규화 자연기울기 학습을 통하여 신경망의 가중치를 최적화 시키고, 자연 프루닝에 의하여 신경망의 구조를 단순화 시킨다. 이러한 모델들 중 최적의 모델은 베이시안 정보 기준에 의해 선택함으로써 일반화 성능이 우수만 신경망을 구성하는 방법을 제안한다 벤치마크 (benchmark) 데이터로 제안하는 방법과 유클리디안(Euclidean) 거리에 기반한 결합 방법과 자연 프루닝만을 적용한 방법을 비교함으로써 우수성을 검증한다.

Keywords