• 제목/요약/키워드: 질의 언어

검색결과 806건 처리시간 0.022초

본문-질의 비교를 활용한 오답 질의 분류 (Incorrect query classification via context-query comparison)

  • 한상도;유환조;이근배;맹성현
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.440-442
    • /
    • 2019
  • 본 논문은 딥 러닝 기반의 독해 기술이 풀지 못하는 문제를 분류해내는 기술에 관한 것이다. 해당 연구에서는 독해 데이터 및 시스템 결과 분석을 통해 시스템이 풀지 못하는 문제들의 특징을 도출해내고, 이에 알맞은 전략들을 시도해 보았다. 분석 결과에 따른 시도들은 각 목적에 부합하는 결과를 나타냈으며, 특히 독해 기술의 특징에 기반한 방법론이 효과적이었다. 본 논문에서 제안하는 방법은 본문과 질의 간 유사도 행렬을 활용하는 것으로, 기존의 독해 기술이 본문과 질의의 유사도를 활용하여 정답을 내는 것에 영감을 얻었다.

  • PDF

한국어 서술어 구조의 확률적 정보 (Probabilistic Evidences for Korean Predicate Structures)

  • 이승욱;한영석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2004년도 제16회 한글.언어.인지 한술대회
    • /
    • pp.145-150
    • /
    • 2004
  • 본 논문에서는 질의 응답 시스템에서 정답 추출을 위해 사용되는 표층 텍스트 패턴을 장거리 의존 문제에도 적용 가능하도록 확장하는 방법을 제안한다. 기존의 패턴 추출 시스템들의 패턴을 구성하고 있는 단어들간의 연속성과 불연속성에 대한 정보를 나타내도록 패턴 형태를 확장함으로써 장거리 의존 문제를 해결한다. 본 논문에서 제안한 형태의 패턴을 TREC-10의 질의를 이용해서 웹 데이터로 실험하여 정확도와 TREC의 평가 기준인 MRR을 사용해서 기존 시스템들과 성능을 비교했다.

  • PDF

질의 응답 시스템을 위한 반교사 기반의 정답 유형 분류 (Semi-Supervised Answer Type Classification For Question-Answering System)

  • 박선영;이동현;김용희;류성한;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2013년도 제25회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.45-49
    • /
    • 2013
  • 기존 연구에서는 질의 응답 시스템에서 정답 유형을 분류하기 위해 패턴 매칭 방식이나 교사 학습(Supervised Learning)을 이용했다. 패턴 매칭 방식은 질의 분석을 통해 수동으로 패턴을 구축해야 한다. 교사 학습에서는 훈련 데이터 전체에 정답 유형이 태깅(Tagging)되어야 하며, 이를 위해서는 사용자의 질의에 정답 유형을 수동으로 태깅하는 작업이 많이 필요하다. 웹을 통해 정답 유형이 태깅되지 않은 대용량의 사용자 질의 말뭉치를 구할 수 있지만, 이 데이터에는 정답 유형이 태깅되어 있지 않다. 따라서, 대용량의 사용자 질의에 비례하여, 정답 유형을 수동으로 태깅하는 작업량이 증가한다. 앞서 언급한 두 가지 방법론에서, 정답 유형 분류를 위해 수작업이 많이 필요하다는 문제점을 해결하고자 본 논문에서는 일부 태깅된 훈련 데이터를 필요로 하는 반교사 학습(Semi-supervised Learning)에 기반한 정답 유형 분류를 제안한다. 이는 정답 유형 분류 작업에 필요한 노동력을 최소화함으로 대용량의 데이터를 통한 효율적 질의 응답 시스템 구축을 가능하게 한다.

  • PDF

대화형 질의응답 말뭉치 자동 생성에 대한 연구 (A study on the Automatic Generation of Conversational QA Corpora)

  • 황선정;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.133-138
    • /
    • 2021
  • 최근 다양한 분야에서 자동 고객 응대 시스템을 도입하고 있으며 이에 따른 대화형 질의응답 시스템 연구의 필요성이 증가하고 있다. 본 논문에서는 새로운 도메인의 대화형 질의응답 시스템 구축에 필요한 말뭉치를 자동으로 생성하는 대화형 질의-응답 생성 시스템을 소개한다. 또한 이전 대화 내용을 고려하여 문서로부터 사용자의 다음 질문 대상이 될만한 응답 후보를 추출하는 맥락 관련 응답 추출 과제와 이에 대한 성능 평가 지표인 Sequential F1 점수를 함께 제안한다. 대화형 질의응답 말뭉치인 CoQA에 대해 응답 후보 추출 실험을 진행한 결과 기존의 응답 추출 모델보다 우리의 맥락 관련 응답 추출 모델이 Sequential F1 점수에서 31.1 높은 성능을 보였다. 또한 맥락 관련 응답 추출 모듈과 기존에 연구된 대화형 질의 생성 모듈을 결합하여 개발한 대화형 질의-응답 생성 시스템을 통해 374,260 쌍의 질의-응답으로 구성된 대화형 질의응답 말뭉치를 구축하였다.

  • PDF

질의응답 시스템에서 형태소임베딩 모델과 GRU 인코더를 이용한 문장유사도 측정 (Measuring Sentence Similarity using Morpheme Embedding Model and GRU Encoder for Question and Answering System)

  • 이동건;오교중;최호진;허정
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.128-133
    • /
    • 2016
  • 문장유사도 분석은 문서 평가 자동화에 활용될 수 있는 중요한 기술이다. 최근 순환신경망을 이용한 인코더-디코더 언어 모델이 기계학습 분야에서 괄목할만한 성과를 거두고 있다. 본 논문에서는 한국어 형태 소임베딩 모델과 GRU(Gated Recurrent Unit)기반의 인코더를 제시하고, 이를 이용하여 언어모델을 한국어 위키피디아 말뭉치로부터 학습하고, 한국어 질의응답 시스템에서 질문에 대한 정답을 유추 할 수 있는 증거문장을 찾을 수 있도록 문장유사도를 측정하는 방법을 제시한다. 본 논문에 제시된 형태소임베딩 모델과 GRU 기반의 인코딩 모델을 이용하여 문장유사도 측정에 있어서, 기존 글자임베딩 방법에 비해 개선된 결과를 얻을 수 있었으며, 질의응답 시스템에서도 유용하게 활용될 수 있음을 알 수 있었다.

  • PDF

전자 태그 기반 전자 상품 코드를 이용한 정보 서비스 시스템의 설계 및 구현 (Design and Implementation of Information Service System using the EPC on RFID Tag)

  • 이승주;이명환;윤여창;김태원;박종호;신용학
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 추계학술발표대회
    • /
    • pp.1136-1139
    • /
    • 2012
  • 본 연구에서는 EPCIS(전자상품코드 정보 서비스) 시스템의 요구사항인 추상화, 고성능, 확장성, 상호 운용성을 기반으로 EPCIS 시스템의 구조를 설계하고 구현한다. EPCIS 시스템의 추상화를 위해 기존에 존재하는 다양한 데이터 베이스 시스템과 상호 운용을 위한 공통 인터페이스를 구현하고 내부적으로 확장 질의 인터페이스, 공통 질의 언어를 가진다. 연속 질의 처리 시간을 감소 시키고 중복된 결과를 효과적으로 처리하기 위한 연속 질의 처리 모듈을 구현한다. 또한 RFID(전자 태그)의 이력 추적 질의의 고성능을 지원하기 위해 RFID 환경에 최적화된 색인 기술과 질의 처리를 위한 구성 요소(Component)를 추가하여 EPCIS 시스템의 고성능 질의 처리를 가능하게 한다. 또한 확장성을 위해 저장소(EPCIS Repository) 관리자를 구현하여 비즈니스 이벤트의 메타 데이터의 스키마를 정의하여 새로운 종류의 비즈니스 이벤트를 쉽게 등록하고 사용할 수 있도록 하였다. 또한 기업의 응용 시스템과 협력 기업간에 정보 교환을 위해서 EPC 글로벌에서 제시하는 웹 서비스를 지원하며 표준 데이터 형식인 확장성 생성 언어(XML)를 사용한다.

한국어-영어/일본어-영어 교차언어정보검색에서 클러스터 분석을 통한 성능 향상 (Performance Improvement by Cluster Analysis in Korean-English and Japanese-English Cross-Language Information Retrieval)

  • 이경순
    • 정보처리학회논문지B
    • /
    • 제11B권2호
    • /
    • pp.233-240
    • /
    • 2004
  • 본 논문에서는 교차언어정보검색에서 점진적 클러스터링을 통해서 모호성을 묵시적으로 해소하는 방법을 제안한다. 연구 목적은 질의 번역에서 모호성이 크게 증가된 상태에서 문서 클러스터가 문서 문맥 역할과 모호성 해소 역할을 하는지를 보고자 하는 것이다. 제안하는 방법은 한국어/일본어 질의를 사전을 이용하여 영어로 번역을 하고, 번역된 영어 질의에 대해서 벡터공간검색모델이나 확률검색모델에 의해서 문서를 검색한다 검색된 문서의 순위대로 점진적 클러스터를 동적으로 생성하고, 이 클러스터 정보를 질의에 반영해서 문서의 순위를 다시 결정하는 것이다. TREC 테스트컬렉션을 이용한 실험에서 모호성 해소를 하지 않은 질의에 대해서, 제안한 방법은 한국어-영어 교차언어정보검색에서는 벡터공간검색모델에서 39.41%의 성능향상, 확률검색모델에서 36.79%의 성능향상을 보였다. 일-영 교차언어정보검색에서는 각각 17.59%와 30.46%의 성능향상을 보였다. 적합성 피드백 방법과의 비교에서는 모호성 해소를 하지 않은 경우 확률검색모델에서 12.30%의 성능향상을 보였다. 이를 통해, 클러스터 분석은 질의 모호성 해소에 도움을 주어서 검색성능 향상에 기여하였음을 알 수 있다.

지식기반 질의응답을 위한 질문분석 방법 (Question Analysis for Knowledge based Question/Answering)

  • 허정;황이규;최미란;장명길
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2004년도 제16회 한글.언어.인지 한술대회
    • /
    • pp.308-314
    • /
    • 2004
  • AnyQuestion 1.0은 (주)두산의 '두산세계대백과 엔싸이버'의 인물분야만을 대상으로 한 질의응답형 정보검색 시스템이다. 본 시스템에서는 지식기반 질의응답, Logical Form 기반 질의응답, 단락 기반 질의응답을 통합한 3단계 정답 추출 방법을 제안하고 있다. 지식기반 질의응답은 본문의 구조화된 정보와 비구조화 된 정보로부터 정보추출 기술을 이용하여 구축한 지식베이스에 대한 질의응답을 목적으로 한다. "사용자의 질문에 대한 정답을 지식베이스에서 제시할 수 있는가?"와 "지식베이스에서 어떤 정보를 정답으로 제시해야 하는가?"는 3단계 정답 추출 방법에서는 상당히 중요하다 이를 위해서 질문 분석에서는 수동으로 구축한 지식베이스 속성 자질 정보와 다양한 규칙을 기반으로 질문 분석을 수행하였고, 이를 이용하여 지식기반 질의응답을 하였다. 실험결과, 지식기반 질의응답 할당 재현율은 65.4%, 지식기반 질의응답의 정확률은 81.25%였다. 백과사전 인물분야에 대한 지식기반 질의응답은 기존의 데이터베이스 분야에서 연구되어온 자연어 DB인터페이스를 활용한 질의응답으로 속도가 빠르며, 상대적으로 높은 정확률을 보였다.

  • PDF

질의 응답 시스템을 위한 가변 길이 단락 검색 (Variable Length Passage Retrieval for Q&A System)

  • 이영신;황영숙;임해창
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2002년도 제14회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.259-266
    • /
    • 2002
  • 질의 응답 시스템에서 보다 정확하게 정답을 판별하기 위해서는 구문분석 혹은 의미분석 등과 같은 복잡도가 높은 분석작업이 요구되며, 이러한 질의 응답 시스템 성능의 상한을 결정하는 검색 시스템은 가급적 적은 양의 검색 결과를 내주어서 질의 응답 시스템이 처리해야 할 작업량에 대한 부담을 덜어주어야 한다. 본 논문에서는 이러한 요구를 만족시키는 검색 시스템으로 가변 길이 단락 검색 시스템(variable length passage retrieval system)을 제안한다. 제안하는 검색 시스템은 질의에 대한 정답을 포함하고 있을 가능성이 있는 텍스트 영역은 질의에 따라 그 크기가 다를 것이라는 가정으로부터 출발한다. 그러므로 문서 전체를 검색하거나 고정 길이 단락으로 나누어져 색인되어 있는 부분 문서들을 검색하는 기존의 검색 방법과 달리, 제안된 시스템은 문서에서 임의의 길이로 이루어진 단락을 대상으로 동적인 단락 검객을 수행한다. TREC QA track의 질의집합 중 1번부터 100번까지의 질의에 대해 실험을 수행한 견과, 문서 검색 시스템이나 고정 길이 단락 검색 시스템은 상위 1000개의 문장까지 검색을 하였을 때 각각 96%, 98%의 재현율을 보인 반면, 가변 길이 단락 검색 시스템은 800개의 문장만으로도 98%의 재현율을 보이고, 900개의 문장을 검색하였을 경우 100%의 재현율을 보였다.

  • PDF

자기 학습 방법을 이용한 음성 대화 시스템의 슬롯 교정 (Self-learning Method Based Slot Correction for Spoken Dialog System)

  • 최태균;김민경;이인재;이지은;박규연;김경덕;강인호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.353-360
    • /
    • 2021
  • 음성 대화 시스템에서는 사용자가 잘못된 슬롯명을 말하거나 음성인식 오류가 발생해 사용자의 의도에 맞지 않는 응답을 하는 경우가 있다. 이러한 문제를 해결하고자 말뭉치나 사전 데이터를 활용한 질의 교정 방법들이 제안되지만, 이는 지속적으로 사람이 개입하여 데이터를 주입해야하는 한계가 있다. 본 논문에서는 축적된 로그 데이터를 활용하여 사람의 개입 없이 음악 재생에 필요한 슬롯을 교정하는 자기 학습(Self-learning) 기반의 모델을 제안한다. 이 모델은 사용자가 특정 음악을 재생하고자 유사한 질의를 반복하는 상황을 이용하여 비지도 학습 기반으로 학습하고 음악 재생에 실패한 슬롯을 교정한다. 그리고, 학습한 모델 결과의 정확도에 대한 불확실성을 해소하기 위해 질의 슬롯 관계 유사도 모델을 이용하여 교정 결과에 대한 검증을 하고 슬롯 교정 결과에 대한 안정성을 보장한다. 모델 학습을 위한 데이터셋은 사용자가 연속으로 질의한 세션 데이터로부터 추출하며, 음악 재생 슬롯 세션 데이터와 질의 슬롯 관계 유사도 데이터를 각각 구축하여 슬롯 교정 모델과 질의 슬롯 관계 유사도 모델을 학습한다. 교정된 슬롯을 분석한 결과 발음 정보가 유사한 슬롯 뿐만 아니라 의미적인 관계가 있는 슬롯으로도 교정하여 사전 기반 방식보다 다양한 유형의 교정이 가능한 것을 보였다. 3 개월 간 수집된 로그 데이터로 학습한 음악 재생 슬롯 교정 모델은 일주일 동안 반복한 고유 질의 기준, 음악 재생 실패의 12%를 개선하는 성능을 보였다.

  • PDF