Acknowledgement
이 논문은 2022년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임 (No. 2021-0-00907, 능동적 즉시 대응 및 빠른 학습이 가능한 적응형 경량 엣지 연동분석 기술개발).
Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)
- 2022.05a
- /
- Pages.420-423
- /
- 2022
- /
- 2005-0011(pISSN)
- /
- 2671-7298(eISSN)
DOI QR Code
A Docker-based Evaluation Program for Model Inference Performance on Heterogeneous Edge Environments
Docker 기반 이기종 엣지 환경에서의 모델 추론 성능 측정 프로그램 구현 및 평가
- Kim, Seong-Woo (Dept. of Electronic Engineering, Inha University) ;
- Kim, Eun-ji (Dept. of Information and Telecommunication Engineering, Incheon National University) ;
- Lee, Jong-Ryul (Electronics and Telecommunications Research Institute (ETRI)) ;
- Moon, Yong-Hyuk (Electronics and Telecommunications Research Institute (ETRI))
- Published : 2022.05.17
Abstract
최근 딥러닝 기술이 모바일 기기에 활발히 적용됨에 따라 다양한 엣지 디바이스에서 신경망 모델의 추론 성능을 측정하는 것이 중요해지고 있다. 하지만 디바이스 별 환경 구성과 런타임별 모델 변환 방식이 다르기 때문에 이를 실제로 수행하는 것은 많은 시간을 필요로 한다. 따라서 본 논문에서는 이기종 환경을 고려하여 추론 성능을 측정할 수 있는 Docker 기반의 프로그램을 구현하였고, 이를 이용하여 다양한 엣지 디바이스에서 최신 모델들의 추론 성능을 측정하였다. 또한, 본 프로그램으로 확보 가능한 추론시간 데이터 기반 추론 성능 예측 연구의 사전 연구로서, 대표적 경량모델인 MobilenetV1 에 대한 연산자별 프로파일링을 수행하여 추론시간의 변화 양상을 관찰하였다.
Keywords