Annual Conference of KIPS (한국정보처리학회:학술대회논문집)

  • 2024.10a
  • /
  • Pages.815-816
  • /
  • 2024
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

A Performance Improvement of RAG-based Academic Notice Chatbot Using HyDE

HyDE 를 활용한 RAG 기반 학사공지 챗봇의 성능 향상

  • Ji-Su Jeon (Dept. of Computer Engineering, Hongik University) ;
  • Jun-Seo Park (Dept. of Computer Engineering, Hongik University) ;
  • Yun-Chang Choi (Dept. of Computer Engineering, Hongik University) ;
  • Youn-Jeong Lee (Dept. of Urban Planning and Design, Hongik University)
  • 전지수 (홍익대학교 컴퓨터공학과 ) ;
  • 박준서 (홍익대학교 컴퓨터공학과 ) ;
  • 최윤창 (홍익대학교 컴퓨터공학과 ) ;
  • 이윤정 (홍익대학교 도시공학과 )
  • Published : 2024.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

본 연구는 대학생들의 학사 정보 접근성을 향상시키기 위해 학교 챗봇을 개발하는 것을 목표로 하였다. 기존 RAG 방식의 정확도 한계를 극복하고자, HyDE 기법을 공지사항 데이터셋 특성에 맞게 확장하였다. 각 문서의 핵심 내용을 요약한 제목이 포함된 데이터셋의 구조를 활용해, 사용자의 질문에 대한 가상의 답변과 가상의 제목까지 함께 생성하는 확장된 접근법을 제안했다. 이는 기존의 Raw Query 방식 대비 약 90.45% 검색 정확도 향상을 이루었다. 본 연구의 확장된 HyDE 기법은 학교 챗봇을 비롯한 다양한 시스템에 적용할 수 있어 정보 접근성을 크게 개선할 것으로 기대할 수 있다.

Keywords

Acknowledgement

본 논문은 과학기술정보통신부 대학디지털교육역량강화 사업의 지원을 통해 수행한 ICT 멘토링 프로젝트 결과물입니다.

References

  1. 박한길 외, "인공지능 기반 대학교 정보 알림 챗봇 시스템 개발." Proceedings of KIIT Conference, 2023.6 (2023), 920-923.
  2. Lewis, Patrick, et al. "Retrieval-augmented generation for knowledge-intensive nlp tasks." Advances in Neural Information Processing Systems 33 (2020): 9459-9474.
  3. Gao, Luyu, et al. "Precise zero-shot dense retrieval without relevance labels." arXiv preprint arXiv:2212.10496 (2022).