Acknowledgement
This work was supported by the National Research Foundation of Korea (NRF) grant funded by the Korean Government (MSIT) (NRF-2021R1F1A1048026).
Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)
- 2023.05a
- /
- Pages.534-535
- /
- 2023
- /
- 2005-0011(pISSN)
- /
- 2671-7298(eISSN)
DOI QR Code
Accuracy Experiment and Analysis of INT8 and FP32 based Mixed Precision Layer in Embedded System Environments
임베디드 시스템 환경에서의 INT8 및 FP32 기반 Mixed Precision 의 정확도 실험 및 분석
- Kyung-Bin Jang (Division of Computer Electronic System Engineering, Hankuk University of Foreign Studies) ;
- Jong-Eun Lee (Division of Computer Electronic System Engineering, Hankuk University of Foreign Studies) ;
- Seung-Ho Lim (Division of Computer Engineering, Hankuk University of Foreign Studies)
- Published : 2023.05.18
Abstract
최근 CNN 기반 객체인식 시스템은 고정밀도 모델을 기반으로 정확도를 높이고 있다. 하지만 고정밀도 모델일수록 모델의 크기가 늘어나고 더 많은 하드웨어 자원을 필요로 한다. 따라서 모델 경량화 기술이 많이 연구되고 있으며, 그 중에 대표적인 경량화 기술이 양자화 기술이다. 양자화 기술은 파라미터의 크기와 연산 오버헤드를 줄이지만, 정확도 역시 줄어들게 된다. 영자화와 정확도의 상관관계를 분석하기 위해서 본 논문에서는 INT8 과 FP32 을 이용한 Mixed precision CNN 을 실행시키기 위한 프레임워크를 구성하고, 임베디드 시스템 환경에서의 INT8 연산에 기반하여 맞추어 각 layer 별 Mixed Precision 연산을 수행하여 보고, 모델의 정확도를 측정하여 분석하여 보았다.
Keywords