• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.461-464
• /
• 2023

최근 GPT-3 와 LLaMa 같은 생성형 거대 언어모델을 활용한 서비스가 공개되었고, 실제로 많은 사람들이 사용하고 있다. 해당 모델들은 사용자들의 다양한 질문에 대해 유창한 답변을 한다는 이유로 주목받고 있다. 하지만 LLMs 의 답변에는 종종 Inconsistent content 와 non-factual statement 가 존재하며, 이는 사용자들로 하여금 잘못된 정보의 전파 등의 문제를 야기할 수 있다. 이에 논문에서는 동일한 질문에 대한 LLM 의 답변 샘플과 외부 지식을 활용한 Hallucination Detection 방법을 제안한다. 제안한 방법은 동일한 질문에 대한 LLM 의 답변들을 이용해 일관성 점수(Consistency score)를 계산한다. 거기에 외부 지식을 이용한 사실검증을 통해 사실성 점수(Factuality score)를 계산한다. 계산된 일관성 점수와 사실성 점수를 활용하여 문장 수준의 Hallucination Detection 을 가능하게 했다. 실험에는 GPT-3 를 이용하여 WikiBio dataset 에 있는 인물에 대한 passage 를 생성한 데이터셋을 사용하였으며, 우리는 해당 방법을 통해 문장 수준에서의 Hallucination Detection 성능이 baseline 보다 AUC-PR scores 에서 향상됨을 보였다.

• 정보화정책
• /
• 제31권2호
• /
• pp.3-38
• /
• 2024

환각은 대형언어모형이나 대형 멀티모달 모형의 활용을 막는 큰 장벽이다. 본 연구에서는 최신 환각 연구 동향을 살펴보기 위해 챗 GPT 등장 이후인 2022년 12월부터 2024년 1월까지 아카이브(arXiv)에서 초록에 '환각'이 포함된 컴퓨터과학 분야 논문 654건을 수집해 빈도분석, 지식연결망 분석, 문헌 검토를 수행했다. 이를 통해 분야별 주요 저자, 주요 키워드, 주요 분야, 분야 간 관계를 분석했다. 분석 결과 '계산 및 언어'와 '인공지능', '컴퓨터비전 및 패턴인식', '기계학습' 분야의 연구가 활발했다. 이어 4개 주요 분야 연구 동향을 주요 저자를 중심으로 데이터 측면, 환각 탐지 측면, 환각 완화 측면으로 나눠 살펴보았다. 주요 연구 동향으로는 지도식 미세조정(SFT)과 인간 피드백 기반 강화학습(RLHF)을 통한 환각 완화, 생각의 체인(CoT) 등 추론 강화, 자동화와 인간 개입의 병행, 멀티모달 AI의 환각 완화에 대한 관심 증가 등을 들 수 있다. 본 연구는 환각 연구 최신 동향을 파악함으로써 공학계는 물론 인문사회계 후속 연구의 토대가 될 것으로 기대한다.

• 정신신체의학
• /
• 제24권2호
• /
• pp.200-207
• /
• 2016

연구목적 알츠하이머병은 대표적인 증상인 인지 기능의 저하 외에도 다양한 행동심리증상(Behavioral Psychological Symptoms of Dementia, BPSD)을 흔히 동반하며, 이는 간병인들로 하여금 부양 부담을 야기한다. 본 연구에서는 한국의 치매 환자들과 그들의 간병인들을 대상으로 행동심리증상의 각 항목들과 간병인의 부양 부담에 대한 상관관계를 알아보고자 한다. 방 법 80명의 치매 환자들을 대상으로 행동심리증상을 한국형 신경정신행동검사(Korean neuropsychiatric inventory, K-NPI)를 통해서 평가하였고, 부양자들의 부양부담은 한국판 Zarit Burden Interview(ZBI)를 이용하여 평가하였다. 결 과 K-NPI의 망상, 환각, 초조/공격성, 우울/낙담, 불안, 탈억제, 과민/불안정 빈도와 간병인 부양부담의 평가척도인 ZBI 사이에 통계적으로 유의한 상관이 있었으며, K-NPI의 환각, 초조/공격성, 불안, 탈억제, 이상운동증상, 수면/야간행동의 심각도와 ZBI 척도 간에 유의한 상관이 있었다. K-NPI의 빈도${\times}$심각도 영역에서는 망상, 환각, 초조/공격성, 우울/낙담, 불안, 탈억제, 이상운동증상, 수면/야간행동과 ZBI가 유의한 상관관계를 보였다. 또한 인지기능척도(MMSE-KC, CDR, GDS)와 ZBI 척도 사이에 유의한 상관이 있었으며, 일상생활수행능력(Barthel-ADL, K-ADL)과 ZBI 척도 사이에도 유의한 상관관계를 보였다. 결 론 알츠하이머병 환자의 BPSD와 간병인의 부양부담과 상관관계가 있었다. 또한 간병인의 부양부담은 인지기능 및 일상생활수행능력과도 상관이 있었다. BPSD를 조기에 발견하고 적절하게 치료함으로써 치매 환자의 삶뿐만 아니라 보호자의 삶의 질도 개선시킬 수 있을 것이다.

• Journal of the Korean Data and Information Science Society
• /
• 제22권6호
• /
• pp.1257-1264
• /
• 2011

Delirium is a neuropsychiatric disorder accompanying symptoms of hallucination, drowsiness, and tremors. It has high occurrence rates among elders, heart disease patients, and burn patients. It is a medical emergency associated with increased morbidity and mortality rates. That s why early detection and prevention of delirium ar significantly important. And This mental illness like delirium occurred by complex interaction between risk factors. In this paper, we identify risk factors and interactions between these factors for delirium using multi-factor dimensionality reduction (MDR) method.