• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.321-325
• /
• 2019

오픈 도메인 질의응답이란, 질문을 줬을 때 그 질문과 연관성이 높은 문서를 검색하고 검색된 문서에서 정답을 추출하는 태스크이다. 본 논문은 기계 독해 데이터인 KorQuAD를 활용한 오픈도메인 질의응답 시스템을 제안한다. 문서 검색기를 이용하여 질문과 관련 있는 위키피디아 문서들을 검색하고 검색된 문서에 단락 선택 모델을 통해서 문서 질문과 연관성이 높은 단락들을 선별하여 기계 독해 모델에서 처리해야 할 입력의 수를 줄였다. 문서 선별모델에서 선별된 여러 단락에서 추출된 정답 후보에서 여러 가지 정답 모형을 적용하여 성능을 비교하는 실험을 하였다. 본 논문에서 제안한 오픈도메인 질의응답 시스템을 KorQuAD에 적용했을 때, 개발 데이터에서 EM 40.42%, F1 55.34%의 성능을 보였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.115-121
• /
• 2022

질문에 답하기 위해 관련 구절을 검색하는 기술은 오픈 도메인 질의응답의 검색 단계를 위해 필요하다. 전통적인 방법은 정보 검색 기법인 빈도-역문서 빈도(TF-IDF) 기반으로 희소한 벡터 표현을 활용하여 구절을 검색한다. 하지만 희소 벡터 표현은 벡터 길이가 길 뿐만 아니라, 질문에 나오지 않는 단어나 토큰을 검색하지 못한다는 취약점을 가진다. 밀집 벡터 표현 연구는 이러한 취약점을 개선하고 있으며 대부분의 연구가 영어 데이터셋을 학습한 것이다. 따라서, 본 연구는 한국어 데이터셋을 학습한 밀집 벡터 표현을 연구하고 여러 가지 부정 샘플(negative sample) 추출 방법을 도입하여 전이 학습한 모델 성능을 비교 분석한다. 또한, 대화 응답 선택 태스크에서 밀집 검색에 활용한 순위 재지정 상호작용 레이어를 추가한 실험을 진행하고 비교 분석한다. 밀집 벡터 표현 모델을 학습하는 것이 도전적인 과제인만큼 향후에도 다양한 시도가 필요할 것으로 보인다.

• 디지털콘텐츠학회 논문지
• /
• 제19권5호
• /
• pp.927-933
• /
• 2018

자연어 질문에 대해 답변을 찾아 제공하는 질의응답시스템의 오류에 가장 큰 영향을 미치는 요소 중 하나가 질문으로 정답을 포함하고 있을 만한 문서나 단락을 검색하는 단계이다. 검색의 성능 향상을 위해서는 정답 포함 문서 및 단락의 특징을 잘 이해해야 한다. 본 논문은 질문, 정답 포함 문서, 정답 미포함 문서로 구성된 말뭉치를 사용하여 정답 문서에는 질문 단어가 얼마나 많이 출현하는지, 출현 위치는 어떻게 분포하는지, 질문과 정답 문서의 주제는 얼마나 유사한지 등을 실험적으로 분석한다. 이를 통해 질의응답시스템을 위한 기존의 검색 연구 결과들에 대한 원인을 설명하고 효과적인 검색 단계의 필요 요소에 관해 논의한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.141-145
• /
• 2022

다중 문서 기반 대화 시스템에서 응답 시스템은 올바른 답변을 생성하기 위해서 여러 개의 문서 중 질문과 가장 관련 있는 문서를 검색하는 것부터 시작해야 한다. DialDoc 2022 Shared Task[1]를 비롯한 최근의 연구들은 대화 시스템의 문서 검색 과정을 위해 Dense Passage Retrieval(DPR)[2] 모델을 사용하고 있으며 검색기의 성능 개선을 위해 Re-ranking과 Hard negative sampling 같은 방법들이 연구되고 있다. 본 논문에서는 문서에 기반하는 대화 데이터의 양이 적거나 제한될 경우, 주어진 데이터를 효율적으로 활용해 보고자 검색기를 생성 모델을 이용하여 문서의 엔티티를 기반으로 질문을 생성하고 기존 데이터에 증강하는 방법을 제시했으며 실험의 결과로 MRR metric의 경우 0.96 ~ 1.56의 성능 향상을, R@1 metric의 경우 1.2 ~ 1.57의 성능 향상을 확인하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
• /
• pp.554-558
• /
• 2020

최근 사전학습 모델의 발달로 기계독해 시스템 성능이 크게 향상되었다. 하지만 기계독해 시스템은 주어진 단락에서 질문에 대한 정답을 찾기 때문에 단락을 직접 검색해야하는 실제 환경에서의 성능 하락은 불가피하다. 즉, 기계독해 시스템이 오픈 도메인 환경에서 높은 성능을 보이기 위해서는 높은 성능의 검색 모델이 필수적이다. 따라서 본 논문에서는 검색 모델의 성능을 보완해 줄 수 있는 오픈 도메인 기계독해를 위한 단락 재순위화 모델을 제안한다. 제안 모델은 합성곱 신경망을 이용하여 질문과 단락을 구절 단위로 표현했으며, N-gram 구절 사이의 상호 주의 집중을 통해 질문과 단락 사이의 관계를 효과적으로 표현했다. KorQuAD를 기반으로한 실험에서 제안모델은 MRR@10 기준 93.0%, Top@1 Precision 기준 89.4%의 높은 성능을 보였다.

• 정보관리연구
• /
• 제37권2호
• /
• pp.137-156
• /
• 2006

인터넷포털 사이트에서 제공되고 있는 지식검색 질문응답서비스의 성능을 평가하기 위하여, 이용량이 많은 상위 네 가지 사이트를 대상으로 질문응답 데이터를 체계적으로 표집하였다. 디지털 참고봉사의 평가 틀을 적용하여 질문의 수와 유형, 응답률, 적시성, 정확성, 만족도를 측정하여 분석함으로써 서비스 현황을 진단하고 개선방안을 제시하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2012년도 제24회 한글 및 한국어 정보처리 학술대회
• /
• pp.201-205
• /
• 2012

지식검색은 방대한 지식정보 데이터를 바탕으로 사용자의 질문에 대한 답변을 검색하는 시스템이다. 이러한 사용자 참여로 구축된 지식정보는 잘못된 답변으로 인한 신뢰성 부족과 중복 답변 등의 문제점이 있어, 원하는 답변을 찾기 위해서는 지식검색에서 다수의 답변을 읽고 그 답변의 진위여부를 판단해야만 한다. 만일 정답에 포함되는 단어나 어구가 답변들에서 나타내는 통계적 특성을 활용하여 사용자가 원하는 답변을 제시할 수 있다면, 지식검색의 효용성과 신뢰성이 크게 향상될 수 있다. 본 논문에서는 지식정보 데이터 분석을 통해 사용자의 질문의 유형을 단어, 목록, 도표, 글의 4가지 유형으로 분류하고, 각 분류에 대한 사용자 질의어의 답변을 요약하는 방식을 제안한다. 단어, 목록, 글 유형은 TF와 IDF, 어휘 간의 거리 정보를 통해서 중요 단어를 추출하여 각 유형에 적합한 형식의 답변을 사용자에게 제시한다. 도표형은 답변들에서 사용자의 의견 정보를 추출하여 의견 통계를 도표로서 제시한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(B)
• /
• pp.315-317
• /
• 2012

지식iN 등의 지식검색 서비스는 잘못된 답변으로 인한 낮은 신뢰성과 다수의 중복 답변 등의 문제점을 가진다. 질의문 '세상에서 가장 큰 나라'에 대해서 관련된 모든 질문과 답변을 제시하지 않고 질의문과 관련된 다수의 답변을 분석하여 답변 '러시아'를 추천하여 제시할 수 있다면 지식검색의 효용성과 신뢰성이 크게 향상될 수 있다. 본 논문에서는 질문-답변의 유형을 단어, 글, 도표, 목록의 네가지로 분류하고, 그 중 단어 유형에 대한 답변 추천 방법을 제시한다. 질의문에 대해 검색된 질문을 군집화하고, 질문에 대한 답변들에 대해서 TF, IDF, 어휘간 거리 정보를 다양하게 결합하여 어휘의 점수를 계산한다. 각 군집에서 가장 높은 점수를 가지는 어휘를 해당 군집에서 가장 중요한 어휘로 보고 추천 정답으로 제시한다. 단어 유형인 질문 100개에 대한 네이버 지식iN에 대한 시스템 평가에서 추천된 상위 1위에 대해서는 68%의 정답률을, 상위 5위까지에 대해서는 89%의 정답률을 보였다.

• 정보관리학회지
• /
• 제33권3호
• /
• pp.177-193
• /
• 2016

본 논문은 임상의사가 환자치료 시 발생하는 문제를 해결하기 위해 온라인상에서 정보검색하는 과정을 연구하였다. 이를 위해 국내 대학병원 내과 전문의 10명을 대상으로 관찰조사와 심층면담을 수행하였다. Wilson의 문제 해결 모형을 기반으로 임상의사가 임상질문 해결을 위해 온라인상에서 검색하는 단계별 특성과 정보검색의 효용성에 대해 분석하였다. 그 결과, 임상의사는 사전 배경지식을 바탕으로 즉각적인 임상질문을 구성하지만, 실제 검색에서는 대부분 기본 검색전략만 사용하였으며, 본인에게 익숙한 특정 정보원만을 선호하였다. 하지만, 온라인 정보검색 평균 만족도는 7점 리커트 스케일 기준 5.7로 높게 나타났으며, 정보검색 후에 문제해결지수가 상승하였다. 임상의사는 잘 정리된 근거 중심의 신뢰성 높은 정보를 빠르고 쉽게 이용하기를 원하기 때문에 환자 진료시스템에서 바로 치료에 필요한 정보를 보여줄 수 있는 검색시스템의 연계가 필요함을 알 수 있다. 또한, 구글이나 PubMed 외에 다른 온라인 정보원에 대한 인지도는 현격히 낮게 나타나 다른 정보원에 대한 적극적인 홍보와 정보활용교육의 활성화도 필요함을 알 수 있다.

• 정보관리학회지
• /
• 제4권1호
• /
• pp.3-23
• /
• 1987

이 연구에서 구현한 질문응답시스템은 한글 자연어로 된 텍스트와 질문을 자동으로 처리하는 지능형 정보시스템이다. 입력데이타는 스포츠관계 기사로 국한하였으며 프로그래밍 언어로는 코볼을 사용하였다. 이 시스템의 구문분석기는 격문법에 기초한 것으로서 어휘사전, 용언의 격프레임, 언어학적 규칙 등을 사용하여 문장을 분석한다. 본문검색과 사실검색이 모두 가능한 이 시스템에서는 질문에 대한 해답이 문장형태이거나 사실데이타 형태로 출력된다.