• Title/Summary/Keyword: 질의 생성

검색결과 2,124건 처리시간 0.028초

생성된 질의응답 간 일관성을 이용한 자연어 질의 생성 (Natural question generation based on consistency between generated questions and answers)

  • 이재홍;조휘열;인수교;김성주;문기윤;민태홍;김경덕
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.109-114
    • /
    • 2022
  • 질의 생성 모델은 스마트 스피커, 챗봇, QA 시스템, 기계 독해 등 다양한 서비스에 사용되고 있다. 모델을 다양한 서비스에 잘 적용하기 위해서는 사용자들의 실제 질의 특성을 반영한 자연스러운 질의를 만드는 것이 중요하다. 본 논문에서는 사용자 질의 특성을 반영한 간결하고 자연스러운 질의 자동 생성 모델을 소개한다. 제안 모델은 topic 키워드를 통해 모델에게 생성 자유도를 주었으며, 키워드형 질의→자연어 질의→응답으로 연결되는 chain-of-thought 형태의 다중 출력 구조를 통해 인과관계를 고려한 결과를 만들도록 했다. 최종적으로 MRC 필터링과 일관성 필터링을 통해 고품질 질의를 선별했다. 베이스라인 모델과 비교해 제안 모델은 질의의 유효성을 크게 높일 수 있었다.

  • PDF

질의문 자동생성방식의 질의응답시스템의 설계 및 구축 (Design of Question Answering System with Automated Question Generation)

  • 김민경;김한준
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2008년도 한국컴퓨터종합학술대회논문집 Vol.35 No.1 (C)
    • /
    • pp.49-54
    • /
    • 2008
  • 질의응답시스템에서 사용자 질의로 입력된 자연어문장을 완벽하게 분석하는 것은 쉬운 일이 아니며, 사용자의 질의 의도의 불명확성으로 키워드 여러 개의 질의문이 존재할 수 있다. 본 논문에서는 질의를 하기 전에 사용자가 안게 되는 자연어 질의문의 작성 부담감을 줄이고, 키워드만으로 자신이 원하는 질의문을 선택할 수 있는 시스템을 제안하고자 한다. 제안 시스템은 평서문에서 자동으로 질의문을 생성한다. 질의문 생성은 장문형질의문생성과 단문형질의문생성으로 구분하며, 장문형질의문은 문장의 전체형태를 유지하면서 특정고유명사를 질의하는 것이고, 단문형질의문은 주어진 고유명사를 질의하는 최소한의 요소를 갖춘 단순 형태의 질의 문장이다. 또한 제안 시스템은 생성된 질의문이 유한 해답을 도출할 수 있는 의미있는 질의문을 선별하는 과정을 포함한다. 본 논문에서 제안한 방식이 사용자에게 의미있는 질의문을 제시하여주고 사용자가 원하는 질의문을 선택하게 함으로써 검색의 시간단축과 자연어문장 질의어 자체에 대한 고민을 해소시킬 수 있다. 또한 이는 자연어 문장처리의 한계를 극복할 수 있는 시스템을 구현할 수 있는 기반을 마련한 것이다.

  • PDF

내용 기반 이미지 검색을 위한 복합 질의문 계획 생성 기법 (Generating Combined Query Plan for Content-Based Image Retrieval)

  • 박미화;엄기현
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제27권4호
    • /
    • pp.562-571
    • /
    • 2000
  • 이미지 데이터는 텍스트 데이터와는 달리 다양한 색상과 모양, 질감과 같은 비정형적인 특징을 가진다. 따라서 이미지 데이터베이스는 텍스트 기반의 전통 데이터베이스와는 다른 모델링 방법과 질의, 검색 방법을 사용한. 특히, 내용 기반 이미지 검색에서의 검색 속도와 정확도를 향상시키기 위해서는 새로운 복합 질의문 계획 생성 기법이 필요하다. 본 논문에서는 이를 위해 먼저, 단일 조건을 갖는 시각 질의에 대한 처리 기법들을 토대로 여러 조건을 갖는 복합 질의를 처리하기 위한 복합 질의문 계획 생성기법인 SSCC(Similarity Search for Conjunction Combination Query) 알고리즘을 제안한다. SSCC는 이미지 데이터베이스 검색 시스템에서 복합 질의를 처리하기 위한 질의 최적화 과정에서 질의 수행 시간과 투플 I/O를 최소화하는 질의문 계획을 생성하기 위해 사용된다. SSCC 알고리즘은 복합질의를 단일 질의들로 준해하고 퍼지 집합 이론을 도입하여 단일 질의의 결과들을 통합한다. 논문에서 연구된 내용 기반 복합 질의문 계획 생성 기법은 특정 이미지 영역에 국한되지 않으며 다양한 종류의 시각 질의를 수행하기 위한 효율적인 질의문 계획 생성 기법으로 사용될 수 있다.

  • PDF

추가 데이터 및 도메인 적응을 위한 기계독해 질의 생성 (Question Generation of Machine Reading Comprehension for Data Augmentation and Domain Adaptation)

  • 이현구;장영진;김진태;왕지현;신동훈;김학수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.415-418
    • /
    • 2019
  • 기계독해 모델에 새로운 도메인을 적용하기 위해서는 도메인에 맞는 데이터가 필요하다. 그러나 추가 데이터 구축은 많은 비용이 발생한다. 사람이 직접 구축한 데이터 없이 적용하기 위해서는 자동 추가 데이터 확보, 도메인 적응의 문제를 해결해야한다. 추가 데이터 확보의 경우 번역, 질의 생성의 방법으로 연구가 진행되었다. 그러나 도메인 적응을 위해서는 새로운 정답 유형에 대한 질의가 필요하며 이를 위해서는 정답 후보 추출, 추출된 정답 후보로 질의를 생성해야한다. 본 논문에서는 이러한 문제를 해결하기 위해 듀얼 포인터 네트워크 기반 정답 후보 추출 모델로 정답 후보를 추출하고, 포인터 제너레이터 기반 질의 생성 모델로 새로운 데이터를 생성하는 방법을 제안한다. 실험 결과 추가 데이터 확보의 경우 KorQuAD, 경제, 금융 도메인의 데이터에서 모두 성능 향상을 보였으며, 도메인 적응 실험에서도 새로운 도메인의 문맥만을 이용해 데이터를 생성했을 때 기존 도메인과 다른 도메인에서 모두 기계독해 성능 향상을 보였다.

  • PDF

대화형 질의응답 말뭉치 자동 생성에 대한 연구 (A study on the Automatic Generation of Conversational QA Corpora)

  • 황선정;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.133-138
    • /
    • 2021
  • 최근 다양한 분야에서 자동 고객 응대 시스템을 도입하고 있으며 이에 따른 대화형 질의응답 시스템 연구의 필요성이 증가하고 있다. 본 논문에서는 새로운 도메인의 대화형 질의응답 시스템 구축에 필요한 말뭉치를 자동으로 생성하는 대화형 질의-응답 생성 시스템을 소개한다. 또한 이전 대화 내용을 고려하여 문서로부터 사용자의 다음 질문 대상이 될만한 응답 후보를 추출하는 맥락 관련 응답 추출 과제와 이에 대한 성능 평가 지표인 Sequential F1 점수를 함께 제안한다. 대화형 질의응답 말뭉치인 CoQA에 대해 응답 후보 추출 실험을 진행한 결과 기존의 응답 추출 모델보다 우리의 맥락 관련 응답 추출 모델이 Sequential F1 점수에서 31.1 높은 성능을 보였다. 또한 맥락 관련 응답 추출 모듈과 기존에 연구된 대화형 질의 생성 모듈을 결합하여 개발한 대화형 질의-응답 생성 시스템을 통해 374,260 쌍의 질의-응답으로 구성된 대화형 질의응답 말뭉치를 구축하였다.

  • PDF

롱테일 질의 확장을 위한 추출 및 생성 기반 모델 (Long-tail Query Expansion using Extractive and Generative Methods)

  • 김래선;김성순;장헌석;박석원;강인호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.267-273
    • /
    • 2020
  • 검색 엔진에 입력되는 질의 중 입력 빈도는 낮지만 상대적으로 길이가 긴 질의를 롱테일 질의라고 일컫는다. 롱테일 질의가 전체 검색 로그에서 차지하는 비중은 높은 반면, 그 형태가 매우 다양하고 검색 의도가 상세하며 개별 질의의 양은 충분하지 않은 경우가 많기 때문에 해당 질의에 대한 적절한 검색어를 추천하는 것은 어려운 문제다. 본 논문에서는 롱테일 질의 입력 시 적절한 검색어 추천을 제공하기 위하여 질의-문서 클릭 정보를 활용한 추출기반 모델 및 Seq2seq와 GPT-2 기반 생성모델을 활용한 질의 확장 방법론을 제안한다. 실험 및 결과 분석을 통하여 제안 방법이 기존에 대응하지 못했던 롱테일 질의를 자연스럽게 확장할 수 있음을 보였다. 본 연구 결과를 실제 서비스에 접목함으로써 사용자의 검색 편리성을 증대하는 동시에, 언어 모델링 기반 질의 확장에 대한 가능성을 확인하였다.

  • PDF

질의생성 모델을 이용한 전자우편 질의응답 시스템 (An E-Mail Question Answering System using Question Generation Model)

  • 장정선;김상범;서희철;임해창
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2002년도 제14회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.176-183
    • /
    • 2002
  • 전자우편과 같이 일정한 질의 형식을 가지고 있는 긴 자연어 질의에 대해서 사용자 질의 단어에 가중치를 부과하는 방법과 질의에 대한 정답을 기존의 질의응답 집합에서 유사한 질의를 검색하여 그 정답을 사용자에게 제공하는 전자우편 질의응답 시스템을 제안한다. 사용자의 긴 자연어 질의가 주어지면 질의의 범주와 문장의 중요도 정보를 이용하여 질의에서 사용된 단어가 주제어로 쓰였을 확률을 계산하고, 계산된 확률에 기반하여 중요도를 할당하는 질의생성 모델을 제안한다. 또한 사용자 질의와 기존에 문의되어진 전자우편 질의의 유사도를 단어의 빈도를 고려한 어휘유사도, 한글 시소러스(Thesaurus)를 이용한 의미유사도와 본 논문에서 제안한 질의생성 모델을 이용한 주제 유사도를 이용하여 계산한다. 실험을 위하여 실세계에서 사용 중인 질의응답 집합을 이용하여 실험을 하였으며 각 유사도 계산 방법의 기여도를 비교 평가하고 제안한 질의생성모델이 성능향상에 미치는 영향을 평가하였다.

  • PDF

가상문서에서 정형 데이터 지원을 위한 스키마처리기와 질의링크 생성기 (Schema Processor and Query Link Generator for supporting Structured Data in Virtual Documents)

  • 김철수;강지훈;강민구
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (B)
    • /
    • pp.172-174
    • /
    • 2002
  • XML을 기반으로 하는 가상문서는 다양한 데이터의 공유를 가능하게 하여 새로운 지식을 생성할 수 있도록 한다. 가상 문서를 지원하는 디지털 도서관 시스템에서 질의 링크는 인터넷 상의 정형데이터 공유를 가능하게 한다. 본 연구에서는 질의링크를 포함하는 XML- 기반 가상문서를 효과적으로 생성하기 위해 질의링크 생성기와 스키마 처리기를 설계하고 구현하였으며 이를 지원하기 위해 디지털 도서관 시스템과 가상문서 저작시스템에서 서비스 관리기, 메타 검색기, 데이터베이스 관리기와 저작도구를 확장하였다.

  • PDF

문서 말뭉치 기반 질의응답 시스템 (Text Corpus-based Question Answering System)

  • 김한준;김민경;장재영
    • 디지털콘텐츠학회 논문지
    • /
    • 제11권3호
    • /
    • pp.375-383
    • /
    • 2010
  • 질의응답시스템을 구축하는데 있어서 사용자 질의로 입력된 자연어 문장을 문법적 또는 의미적으로 완벽하게 분석하는 작업과 그 질의에 대한 정확한 답변을 찾아내는 작업은 쉬운 일이 아니다. 본 논문에서는 질의응답시스템 구축의 난제를 극복하기 위해, 문서 말뭉치에 기반하여 질의문을 자동 생성, 저장하여 이를 키워드로 검색하는 새로운 방식의 시스템을 제안한다. 질의문 생성을 위한 기본 아이디어는 수집 문서의 주요 문장에 대해 고유명사인식 기술을 활용하여 사람, 사물, 장소, 시간 등의 고유명사를 인식한 후, 각 고유명사에 해당하는 자연어 질의문을 생성하는 것이다. 질의문은 두가지 유형인 단순형 및 문장구조유지형 질의문으로 구분한다. 시스템은 이렇게 준비된 질의문 데이터베이스를 가지고 입력된 검색 키워드에 대하여 관련 질의문과 답변을 쉽게 얻을 수 있다. 본 연구의 관건은 생성된 질의문이 명확한 해답을 도출할 수 있는 의미있는 질의문을 생성하는 것이다. 이를 위해 본 연구에서는 질의문의 원천이 되는 평서문장을 선별하는 원칙과 선별된 평서문으로부터 의미있는 질의문을 생성하는 방법론을 제시한다.

다중 질의 결합을 통한 검색 효과의 개선 (Improving Retrieval Effectiveness with Multiple Query Combination)

  • 이기호;이준호;이규철
    • 한국문헌정보학회지
    • /
    • 제31권3호
    • /
    • pp.135-146
    • /
    • 1997
  • 일반적으로 주어진 정보 요구에 대하여 서로 다른 사용자는 서로 다른 질의를 생성할 수 있으며, 또는 한명의 사용자가 통제어의 사용 여부에 따라 서로 다른 질의를 생성할 수 있다. 최근 정보 검색 분야의 연구들은 이러한 서로 다른 질의 표현은 서로 다른 문서 집합을 검색함을 보여준다. 본 논문에서는 하나의 사용자 질의에 대하여 다양한 적합성 피드백 방법을 적용함으로써 다중의 질의들을 자동으로 생성한 후, 생성된 다중 질의들을 다시 하나의 질의로 결합하는 방법을 제안한다. 또한 실험을 통하여 자동으로 생성된 다중의 질의들을 결합함으로써 보다 높은 검색 효과를 얻을 수 있음을 입증한다.

  • PDF