Annual Conference of KIPS (한국정보처리학회:학술대회논문집)

  • 2024.10a
  • /
  • Pages.32-33
  • /
  • 2024
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

A Survey on On-Device DL-Model Optimization Techniques

온디바이스에서의 딥러닝 모델 최적화 기법 동향

  • Se-Hyeon Yoon (Dept. of AI.Software, Gachon University) ;
  • Sang-Hyun Choi (Dept. of AI.Software, Gachon University) ;
  • Hyunyoung Oh (Dept. of AI.Software, Gachon University)
  • 윤세현 (가천대학교 AI 소프트웨어학부 ) ;
  • 최상현 (가천대학교 AI 소프트웨어학부) ;
  • 오현영 (가천대학교 AI 소프트웨어학부)
  • Published : 2024.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

온디바이스 환경에서 딥러닝 모델 최적화는 필수적이지만, 제한된 자원으로 고성능 모델을 직접 적용하는 데에는 한계가 있다. 본 논문에서는 이를 극복하기 위한 주요 기법인 가지치기, 양자화, 지식 증류, 신경망 아키텍처 탐색 및 이들의 결합 기법을 소개하고 분석한다. 각 기법의 정의와 특징, 적용 사례를 통해 성능 향상과 자원 효율성을 극대화하는 방법을 제시하며, 이를 바탕으로 최근 연구 동향을 소개한다.

Keywords

Acknowledgement

이 논문은 2024 년도 정부(산업통상자원부)의 재원으로 한국산업기술기획평가원의 지원(No. RS-2024-00406121, 자동차보안취약점기반위협분석시스템개발(R&D))과 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원(No. RS-2022-00166529)을 받고 과기정통부 정보통신기획평가원의 정보보호핵심원천기술개발사업(No. RS-2024-00337414)으로 수행한 결과임.

References

  1. T. Springer et al., "On-Device Deep Learning Inference for SoC Architectures," Electronics, 2021.
  2. T. Zhao et al., "A Survey of Deep Learning on Mobile Devices: Applications, Optimizations, Challenges," Proceedings of the IEEE, 2022.
  3. J. Yang et al., "On-Device Unsupervised Image Segmentation," ACM/IEEE DAC, 2023.
  4. M. Hanyao et al., "Edge-assisted On-device Object Detection for Real-time Video Analytics," IEEE INFOCOM, 2021.
  5. Z. Qin et al., "ThunderNet: Real-time Object Detection on Mobile Devices," ICCV, 2019.
  6. Y. Cheng et al., "A Survey of Model Compression and Acceleration for Deep Neural Networks," arXiv, 2020.
  7. Z. Liu et al., "Rethinking the Value of Network Pruning," arXiv, 2019.
  8. R. Reed, "Pruning algorithms-a survey," IEEE Transactions on Neural Networks, 1993.
  9. S. Yao et al., "DeepIoT: Compressing Deep Neural Network Structures for Sensing Systems with a Compressor-Critic Framework," arXiv, 2017.
  10. B. Rokh et al., "A Comprehensive Survey on Model Quantization for Deep Neural Networks in Image Classification," ACM Transactions on Intelligent Systems and Technology, 2023.
  11. H. Wu et al., "Integer Quantization for Deep Learning Inference: Principles and Empirical Evaluation," arXiv, 2020.
  12. N. Kim, J. An, "Knowledge Distillation for Traversable Region Detection of LiDAR Scan in Off-Road Environments," Sensors, 2024.
  13. C. Zhou et al., "EdgeSAM: Prompt-In-the-Loop Distillation for On-Device Deployment of SAM," arXiv, 2024.
  14. B. Zoph, Q. V. Le, "Neural Architecture Search with Reinforcement Learning," arXiv, 2017.
  15. A. Burrello et al., "Enhancing Neural Architecture Search With Multiple Hardware Constraints for Deep Learning Model Deployment on Tiny Devices," IEEE Transactions on Emerging Topics in Computing, 2024
  16. J. Kim et al., "PQK: Model Compression via Pruning, Quantization, and Knowledge Distillation," arXiv, 2021.