Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)

  • 2024.05a
  • /
  • Pages.582-585
  • /
  • 2024
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지

합성곱 신경망에서 동적 가지치기 모델 구현 및 적용

  • 주조령 (한양대학교 컴퓨터소프트웨어학과) ;
  • 조인휘 (한양대학교 컴퓨터소프트웨어학과)
  • Published : 2024.05.23
Download PDF
⟨ Previous Next ⟩

Abstract

이 연구는 컴퓨팅 자원이 제한된 환경에서 딥러닝 모델의 문제를 해결하기 위해 합성곱 신경망(CNN)에서 동적 가지치기 모델의 적용을 탐구한다. 첫째, 동적 가지치기 모델의 원리와 방법에 대해 기존 방법과의 비교를 소개한다. 둘째, 기존적인 방법 동적 가지치기 모델의 구현 과정 및 결과 분석을 포함한 실험 단계를 자세히 설명한다. 실험 결과는 동적 가지치기 모델이 적절한 훈련에서 모델의 분류 성능을 효과적으로 향상시킬 수 있으며 강력한 일반화 능력을 가지고 있음을 보여준다. 마지막으로 딥러닝 방법과 기존 방법의 차이점과 장단점을 분석하고 요약하여 실제 적용에서 딥러닝 모델 배치에 유용한 탐색과 참고 자료를 제공한다. 이 연구는 딥러닝 분야에서 동적 가지치기 모델의 적용을 추가로 탐색하기 위한 중요한 이론 및 실습 기반을 제공한다.

Keywords

References

  1. 高晗, 田育龙, 许封元, & 仲盛. (2020). Survey of deep learning model compression and acceleration. Journal of Software, 32(1), 68-92.
  2. Xu, P., Cao, J., Shang, F., Sun, W., & Li, P. (2020).Layer pruning via fusible residual convolutional block for deep neural networks. arXiv preprint arXiv:2011.14356.
  3. Han, Y., Huang, G., Song, S., Yang, L., Wang, H., & Wang, Y. (2021). Dynamic Neural Networks: A Survey. arXiv preprint arXiv:2102.04906.
  4. Mostafa, H., & Wang, X. (2019). Parameter Efficient Training of Deep Convolutional Neural Networks by Dynamic Sparse Reparameterization. arXiv preprint arXiv:1902.05967.
  5. Liu, X., Pool, J., Han, S., & Dally, W. J. (2018). Efficient sparse-winograd convolutional neural networks. arXiv preprint arXiv:1802.06367.
  6. Guo, Y., Yao, A., & Chen, Y. (2016). Dynamic Network Surgery for Efficient DNNs. arXiv preprint arXiv:1608.04493.
  7. Liu, J., Xu, Z., Shi, R., Cheung, R. C., & So, H. K. (2020). Dynamic sparse training: Find efficient sparse network from scratch with trainable masked layers. arXiv preprint arXiv:2005.06870.
  8. Hoefler, T., Alistarh, D., Ben-Nun, T., Dryden, N., & Peste, A. (2021). Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks. arXiv preprint arXiv:2102.00554.
  9. Atashgahi, Z., Pechenizkiy, M., Veldhuis, R., & Mocanu, D. C. (2023). Adaptive Sparsity Level during Training for Efficient Time Series Forecasting with Transformers. arXiv preprint arXiv:2305.18382.
  10. Sokar, G., Mocanu, E., Mocanu, D. C., Pechenizkiy, M., & Stone, P. (2021). Dynamic sparse training for deep reinforcement learning. arXiv preprint arXiv:2106.04217.
  11. Ioffe, S., & Szegedy, C. (2015). Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. arXiv preprint arXiv:1502.03167.
  12. Huang, Q., Zhou, K., You, S., & Neumann, U. (2018). Learning to Prune Filters in Convolutional Neural Networks. arXiv preprint arXiv:1801.07365.
  13. Zhang, C., Bengio, S., Hardt, M., Recht, B., & Vinyals, O. (2016). Understanding deep learning requires rethinking generalization. arXiv preprint arXiv:1611.03530.
  14. Goodfellow, I. J., Shlens, J., & Szegedy, C. (2014).Explaining and harnessing adversarial examples. arXiv preprint arXiv:1412.6572.