Abstract
본 논문은 오픈소스 LLM(Large Language Model)인 Llama3를 기반으로 음성 인터페이스를 갖춘 맞춤형 로컬 챗봇 시스템을 개발하였다. 이 시스템은 PEFT(Parameter Efficient Fine-Tuning)와 AutoRAG(Auto Retrieval-Augmented Generation)로 최적화된 RAG(Retrieval-Augmented Generation) 방식을 결합한 하이브리드 접근법을 통해 Llama3를 전이학습 하였다. Ollama를 사용하여 로컬 환경에서 챗봇을 구현하였으며, LangServe와 Ngrok을 활용해 배포하였다. Raspberry Pi 5에 구현하여 모바일 환경으로 동작 가능하게 하였고 음성인식 기능을 추가하여 사용자 편의성을 높였다. 연구한 모델의 성능 평가는 총 18 종류의 데이터셋에 대해 각 질문당 5회씩, 총 90회의 질문으로 정확도를 측정하였다. 실험결과, PEFT 학습 모델과 Advanced RAG를 결합한 시스템이 가장 우수한 성능을 나타냈다.