Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)

  • 2024.05a
  • /
  • Pages.617-618
  • /
  • 2024
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지

A Study on the Implementation and Performance Verification of DistilBERT in an Embedded System(Raspberry PI 5) Environment

임베디드 시스템(Raspberry PI 5) 환경에서의 DistilBERT 구현 및 성능 검증에 관한 연구

  • Chae-woo Im (Dept. of Computer Software, Dongseoul University) ;
  • Eun-Ho Kim (Dept. of Computer Software, Dongseoul University) ;
  • Jang-Won Suh (Dept. of Computer Software, Dongseoul University)
  • 임채우 (동서울대학교 컴퓨터소프트웨어학과 ) ;
  • 김은호 (동서울대학교 컴퓨터소프트웨어학과 ) ;
  • 서장원 (동서울대학교 컴퓨터소프트웨어학과 )
  • Published : 2024.05.23
Download PDF
⟨ Previous Next ⟩

Abstract

본 논문에서 핵심적으로 연구할 내용은 기존 논문에서 소개된 BERT-base 모델의 경량화 버전인 DistilBERT 모델을 임베디드 시스템(Raspberry PI 5) 환경에 탑재 및 구현하는 것이다. 또한, 본 논문에서는 임베디드 시스템(Raspberry PI 5) 환경에 탑재한 DistilBERT 모델과 BERT-base 모델 간의 성능 비교를 수행하였다. 성능 평가에 사용한 데이터셋은 SQuAD(Standford Question Answering Dataset)로 질의응답 태스크에 대한 데이터셋이며, 성능 검증 지표로는 EM(Exact Match) Score와 F1 Score 그리고 추론시간을 사용하였다. 실험 결과를 통해 DistilBERT와 같은 경량화 모델이 임베디드 시스템(Raspberry PI 5)과 같은 환경에서 온 디바이스 AI(On-Device AI)로 잘 작동함을 증명하였다.

Keywords

References

  1. Victor Sanh et al., "DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter.", arXiv:1910.01108, 2019
  2. Geoffrey Hinton et al., "Distilling the Knowledge in a Neural Network.", arXiv:1503.02531, 2015
  3. https://alexnim.com/coding-projects-knowledge-distillation.html