가우시안 프로세스를 활용한 RAG 프레임워크 환각 검출 및 불확실성 추정

Gaussian Process-based Hallucination Detection and Uncertainty Estimation in Retrieval-Augmented Generation

대형언어모델(LLM)은 다양한 과제에서 우수한 성능을 보였으나, 사실과 다른 응답을 생성하는 환각(hallucination) 문제가 지속적으로 제기되어 왔다. 이를 보완하기 위해 제안된 RetrievalAugmented Generation(RAG) 프레임워크 또한 환각을 완전히 방지하지 못한다는 점이 보고되었다. 본 연구에서는 이러한 문제를 해결하기 위해 가우시안 프로세스(GP)로 구현한 환각 검출 모델을 제안한다. 제안한 모델은 RAG 파이프라인의 생성 이후 단계에서 동작하며, 질의-문맥-응답으로부터 임베딩, 의미 유사도, 응답 길이 등의 특징을 추출하여 GP 기반 분류기에 입력한다. GP 는 이 특징 벡터를 기반으로 환각 여부를 판별하고, 동시에 불확실성을 정량화 한다. GP 는 예측 확률을 사후분포의 기대 값으로 정의하여 신뢰성 있는 불확실성 추정을 가능하게 하며, 희소 GP 적용 및 딥커널 특징 추출기 결합을 통해 계산 효율성을 확보할 수 있다. RAGTruth 데이터셋(QA Task)을 활용한 실험결과, GP 모델은 MC Dropout 및 Deep Ensemble 대비 Brier Score 와 NLL 에서 낮은 값을 보여 불확실성 정량화 관점의 대안이 될 수 있음을 확인하였다. 이는 제안한 접근이 RAG 시스템의 신뢰성을 높일 수 있는 응용 기능에 활용될 수 있음을 시사한다.