Annual Conference of KIPS (한국정보처리학회:학술대회논문집)

  • 2024.10a
  • /
  • Pages.594-597
  • /
  • 2024
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Control of Model Convergence and False Information Filtering on Knowledge Distillation

지식 증류 모델 수렴 제어와 거짓 정보 정제

  • Chanhee Nam (Dept. of Computer Science, Hanyang University) ;
  • Jiwon Seo (Dept. of Computer Science, Hanyang University)
  • 남찬희 (한양대학교 컴퓨터 소프트웨어학과) ;
  • 서지원 (한양대학교 컴퓨터 소프트웨어학과)
  • Published : 2024.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

지식 증류 기법에서 학생 모델은 Label Smoothing을 거친 교사 모델의 결괏값을 통해 일반 라벨 데이터로는 학습할 수 없는 정보를 학습한다. 이때, Label Smoothing은 학생 모델의 분포가 교사 모델의 분포에 수렴하지 못하게 하거나 교사로부터 옳지 않은 정보를 학생에게 학습시키는 악영향도 존재한다. 이에 본 연구에서는 학생 모델의 분포가 교사 모델의 원래 분포에 잘 수렴하도록 하기 위한 두 가지 기법과 데이터의 신뢰성을 향상시키기 위한 기법 총 세 가지 기법을 제안한다. 세 가지 기법을 각각 적용했을 때, CIFAR-100 데이터셋에서 최대 0.64%의 Top-1 Accuracy 향상을 보였다.

Keywords

Acknowledgement

본 연구는 과학기술정보통신부 및 정보통신기획평가원의 대학ICT연구센터사업의연구결과로 수행되었음(IITP-No.2024-2021-0-01817,No.RS-2020-II201373, No.2022-0-00498)

References

  1. Hinton Geoffrey. "Distilling the knowledge in a neural network." NIPS. City of Montreal, Canada. 2015. 9P.
  2. Cho, Jang Hyun, and Bharath Hariharan. "On the efficacy of knowledge distillation." IEEE/CVF. Long Beach, CA, USA. 2019. 13P.
  3. Sun, Siqi, et al. "Patient knowledge distillation for bert model compression." ACL. Firenze, Italy. 2019. 10P.
  4. Zhao, Borui, et al. "Decoupled knowledge distillation." IEEE/CVF. Louisiana, USA 2022. 10p.
  5. Mirzadeh, Seyed Iman. "Improved knowledge distillation via teacher assistant." AAAI. NewYork, USA. 2020. 11p