Abstract
본 논문은 RAG(Retrieval-Augmented Generation) End2End의 리소스(Resource) 과부하 문제를 해결하는 동시에 모델 성능을 향상 시키기 위해 PEFT(Parameters-Efficient Fine-Tuning)기술인 LoRA(Low Rank Adaptation)적용에 관한 연구이다. 본 논문에서는 RAG End2End 모델의 파라미터 값과 개수를 유지하면서, LRM(Low Rank Matrices)을 이용하여 추가적인 파라미터만을 미세 조정하는 방식으로, 전반적인 모델의 효율성을 극대화하는 방안을 제시하였다. 본 논문에서 다양한 도메인에 데이터 셋에 대한 제안 방식의 성능을 검증하고자 Conversation, Covid-19, News 데이터 셋을 사용하였다. 실험결과, 훈련에 필요한 파라미터의 크기가 약 6.4억개에서 180만개로 감소하였고, EM(Exact Match)점수가 유사하거나 향상되었다. 이는 LoRA를 통한 접근 법이 RAG End2End 모델의 효율성을 개선할 수 있는 효과적인 전략임을 증명하였다.