DOI QR코드

DOI QR Code

Research on Performance Improvement Using LoRA Techniques in RAG End2End Models

RAG End2End 모델에서 LoRA기법을 이용한 성능 향상에 관한 연구

  • Min-Chang Kim (Dept. of Computer Software, Dong-seoul University) ;
  • Sae-Hun Yeom (Dept. of Computer Software, Dong-seoul University)
  • 김민창 (동서울대학교 컴퓨터소프트웨어학과) ;
  • 염세훈 (동서울대학교 컴퓨터소프트웨어학과)
  • Published : 2024.05.23

Abstract

본 논문은 RAG(Retrieval-Augmented Generation) End2End의 리소스(Resource) 과부하 문제를 해결하는 동시에 모델 성능을 향상 시키기 위해 PEFT(Parameters-Efficient Fine-Tuning)기술인 LoRA(Low Rank Adaptation)적용에 관한 연구이다. 본 논문에서는 RAG End2End 모델의 파라미터 값과 개수를 유지하면서, LRM(Low Rank Matrices)을 이용하여 추가적인 파라미터만을 미세 조정하는 방식으로, 전반적인 모델의 효율성을 극대화하는 방안을 제시하였다. 본 논문에서 다양한 도메인에 데이터 셋에 대한 제안 방식의 성능을 검증하고자 Conversation, Covid-19, News 데이터 셋을 사용하였다. 실험결과, 훈련에 필요한 파라미터의 크기가 약 6.4억개에서 180만개로 감소하였고, EM(Exact Match)점수가 유사하거나 향상되었다. 이는 LoRA를 통한 접근 법이 RAG End2End 모델의 효율성을 개선할 수 있는 효과적인 전략임을 증명하였다.

Keywords

References

  1. Tom Kwiatkowski., "Natural questions: a benchmark for question answering research", Transactions of the Association for Computational Linguistics 7:453-466, 2019 https://doi.org/10.1162/tacl_a_00276
  2. Shamane Siriwardhana., "Improving the Domain Adaptation of Retrieval Augmented Generation(RAG) Models for Open Domain Question Answering", arXiv:2210.02627, 2022
  3. Nitish Shirish Keskar., "Ctrl: A conditional transformer lan-guage model for controllable generation", arXiv:1909.05858, 2019
  4. Edward J.Hu., "LoRA: Low-Rank Adaptation of Large Launguage Models", arXiv:2106.09685, 2021