한국방송∙미디어공학회:학술대회논문집 (Proceedings of the Korean Society of Broadcast Engineers Conference)
- 한국방송∙미디어공학회 2020년도 하계학술대회
- /
- Pages.22-25
- /
- 2020
Global Weight: 심층 신경망의 압축을 위한 네트워크 수준의 가중치 공유
Global Weight: Network Level Weight Sharing for Compression of Deep Neural Network
- Shin, Eunseop (Kyung Hee University) ;
- Bae, Sung-Ho (Kyung Hee University)
- 발행 : 2020.07.13
초록
본 논문에서는 큰 크기의 심층 신경망을 압축하기위해 네트워크 수준의 가중치 공유방법인 Global Weight 패러다임을 최초로 제시한다. 기존의 가중치 공유방법은 계층별로 가중치를 공유하는 것이 대부분이었다. Global Weight 는 기존 방법과 달리 전체 네트워크에서 가중치를 공유하는 효율적인 방법이다. 우리는 Global Weight 를 사용하여 학습되는 새로운 컨볼루션 연산인 Global Weight Convolution(GWConv)연산과 GWConv를 적용한 Global Weight Networks(GWNet)을 제안한다. CIFAR10 데이터셋에서 실험한 결과 2.18 배 압축에서 85.64%, 3.41 배 압축에서 85.46%의 정확도를 보였다. Global Weight 패러다임은 가중치 공유가 궁극적으로 풀고자 했던 중복되는 가중치를 최소화하는 획기적인 방법이며, 추후 심도 있는 연구가 수행될 수 있음을 시사한다.
키워드