• Title/Summary/Keyword: 한국어 질의응답

Search Result 206, Processing Time 0.021 seconds

Design and Implementation of a Korean Analysis System for Multi-lingual Query Answering (다국어 질의응답을 위한 한국어 해석 시스템 설계 및 구현)

  • Kang, Won-Seog;Hwang, Do-Sam
    • The Journal of Korean Association of Computer Education
    • /
    • v.7 no.4
    • /
    • pp.43-50
    • /
    • 2004
  • Multi-lingual query answering system is the system which answers on the queries with several languages. LASSO[l] is the system that aims to answer the multi-lingual query. In this paper, we design and implement a Korean analysis system for LASSO. The Korean analysis system for query answering needs processing techniques of dialogue style. And the system must be practical and general so as to use on various domains. This system uses not dialogue processing techniques with high cost and low utility but heuristic rules with low cost and high utility. It is designed and implemented as a Korean interface of multi-lingual query answering system. The techniques of this system highly contribute to information retrieval and Korean analysis researches.

  • PDF

Deep Prompt Tuning based Machine Comprehension on Korean Question Answering (Deep Prompt Tuning 기반 한국어 질의응답 기계 독해)

  • Juhyeong Kim;Sang-Woo Kang
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.269-274
    • /
    • 2023
  • 질의응답 (Question Answering)은 주어진 질문을 이해하여 그에 맞는 답변을 생성하는 자연어 처리 분야의 핵심적인 기계 독해 작업이다. 현재 대다수의 자연어 이해 작업은 사전학습 언어 모델에 미세 조정 (finetuning)하는 방식으로 학습되고, 질의응답 역시 이러한 방법으로 진행된다. 하지만 미세 조정을 통한 전이학습은 사전학습 모델의 크기가 커질수록 전이학습이 잘 이루어지지 않는다는 단점이 있다. 게다가 많은 양의 파라미터를 갱신한 후 새로운 가중치들을 저장하여야 한다는 용량의 부담이 존재한다. 본 연구는 최근 대두되는 deep prompt tuning 방법론을 한국어 추출형 질의응답에 적용하여, 미세 조정에 비해 학습시간을 단축시키고 적은 양의 파라미터를 활용하여 성능을 개선했다. 또한 한국어 추출형 질의응답에 최적의 prompt 길이를 최적화하였으며 오류 분석을 통한 정성적인 평가로 deep prompt tuning이 모델 예측에 미치는 영향을 조사하였다.

  • PDF

Rertieval-Augmented Generation for Korean Open-domain Question Answering (RAG를 이용한 한국어 오픈 도메인 질의 응답)

  • Daewook Kang;Seung-Hoon Na;Tae-Hyeong Kim;Hwi-Jung Ryu;Du-Seong Chang
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.105-108
    • /
    • 2022
  • 오픈 도메인 질의 응답은 사전학습 언어모델의 파라미터에 저장되는 정보만을 사용하여 답하는 질의 응답 방식과 달리 대량의 문서 등에서 질의에 대한 정답을 찾는 문제이다. 최근 등장한 Dense Retrieval은 BERT 등의 모델을 사용해 질의와 문서들의 벡터 연산으로 질의와 문서간의 유사도를 판별하여 문서를 검색한다. 이러한 Dense Retrieval을 활용하는 방안 중 RAG는 Dense Retrieval을 이용한 외부 지식과 인코더-디코더 모델에 내재된 지식을 결합하여 성능을 향상시킨다. 본 논문에서는 RAG를 한국어 오픈 도메인 질의 응답 데이터에 적용하여 베이스라인에 비해 일부 향상된 성능을 보임을 확인하였다.

  • PDF

Pretraining Dense retrieval for Multi-hop question answering of Korean (한국어 다중추론 질의응답을 위한 Dense Retrieval 사전학습)

  • Kang, Dong-Chan;Na, Seung-Hoon;Kim, Tae-Hyeong;Choi, Yun-Su;Chang, Du-Seong
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.588-591
    • /
    • 2021
  • 다중추론 질의응답 태스크는 하나의 문서만 필요한 기존의 단일추론 질의응답(Single-hop QA)을 넘어서 복잡한 추론을 요구하는 질문에 응답하는 것이 목표이다. IRQA에서는 검색 모델의 역할이 중요한 반면, 주목받고 있는 Dense Retrieval 모델 기반의 다중추론 질의응답 검색 모델은 찾기 어렵다. 본 논문에서는 검색분야에서 좋은 성능 보이고 있는 Dense Retrieval 모델의 다중추론을 위한 사전학습 방법을 제안하고 관련 한국어 데이터 셋에서 이전 방법과의 성능을 비교 측정하여 학습 방법의 유효성을 검증하고 있다. 이를 통해 지식 베이스, 엔터티 링킹, 개체명 인식모듈을 비롯한 다른 서브모듈을 사용하지 않고도 다중추론 Dense Retrieval 모델을 학습시킬 수 있음을 보였다.

  • PDF

Neuro-symbolic relational models on knowledge base for open-domain question answering (지식베이스상 뉴로 심볼릭 관계 모델을 이용한 오픈 도메인 질의응답)

  • Lee, Young-Hoon;Na, Seung-Hoon;Choi, Yun-Su;Lee, Hye-Woo;Chang, Du-Seong
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.433-436
    • /
    • 2020
  • 오픈 도메인 질의응답은 주로 관련된 문서를 검색하고 문서 집합에서 정답을 찾는 방식으로 문제를 해결하는 검색 기반 질의응답 방법을 사용한다. 이러한 검색 기반 질의응답은 정답이 검색된 문서 집합에 존재하지 않는 경우 정답을 찾을 수 없다는 한계가 존재하게 된다. 본 연구에서는 NIL-Aware 방법을 이용하여 Unanswerable한 질문인 경우 문서 자원이 아닌 지식 베이스 자원을 활용하는 뉴로-심볼릭 지식 베이스 질의응답과의 결합 모델을 제안하고 한국어 질의응답 데이터에 적용함으로 제안하는 결합 방법의 유의미성을 확인한다.

  • PDF

Question Answering System that Combines Deep Learning and Information Retrieval (딥러닝과 정보검색을 결합한 질의응답 시스템)

  • Lee, Hyeon-gu;Kim, Harksoo
    • 한국어정보학회:학술대회논문집
    • /
    • 2016.10a
    • /
    • pp.134-138
    • /
    • 2016
  • 정보의 양이 빠르게 증가함으로 인해 필요한 정보만을 효율적으로 얻기 위한 질의응답 시스템의 중요도가 늘어나고 있다. 그 중에서도 질의 문장에서 주어와 관계를 추출하여 정답을 찾는 지식베이스 기반 질의응답 시스템이 활발히 연구되고 있다. 그러나 기존 지식베이스 기반 질의응답 시스템은 하나의 질의 문장만을 사용하므로 정보가 부족한 단점이 있다. 본 논문에서는 이러한 단점을 해결하고자 정보검색을 통해 질의와 유사한 문장을 찾고 Recurrent Neural Encoder-Decoder에 검색된 문장과 질의를 함께 활용하여 주어와 관계를 찾는 모델을 제안한다. bAbI SimpleQuestions v2 데이터를 이용한 실험에서 제안 모델은 질의만 사용하여 주어와 관계를 찾는 모델보다 좋은 성능(정확도 주어:33.2%, 관계:56.4%)을 보였다.

  • PDF

Semantic Parsing of Questions based on the Frame Semantics for Korean Question Answering System (한국어 질의응답 시스템을 위한 프레임 시멘틱스 기반 질의 의미 분석)

  • Hahm, Younggyun;Nam, Sangha;Choi, Key-Sun
    • 한국어정보학회:학술대회논문집
    • /
    • 2016.10a
    • /
    • pp.122-127
    • /
    • 2016
  • 본 논문에서서는 질의응답 시스템을 위한 자연언어 질의 이해를 위하여 프레임 시멘틱스 기반 의미 분석방식을 제안한다. 지식베이스에 의존적인 질의 이해는 지식베이스의 불완전성에 의해 충분한 정보를 분석하지 못한다는 점에 착안하여, 질의의 술부-논항구조 및 그 의미에 대한 분석을 수행하여 자연언어 질의에서 나타난 정보들을 충분히 파악하고자 하였다. 본 시스템은 자연언어 질의를 입력으로 받아 이를 프레임 시멘틱스의 구조에 기반하여 기계가 읽을 수 있는 임의의 RDF 표현방식의 모형 쿼리를 생성한다.

  • PDF

Design of Q/A System By Natural Language Processing (자연언어에 의한 질의응답 시스템의 설계)

  • Kim, Y.K.;Kang, S.H.;Woo, Y.S.;Kim, H.W.;Choi, B.U.
    • Annual Conference on Human and Language Technology
    • /
    • 1992.10a
    • /
    • pp.469-477
    • /
    • 1992
  • 본 논문에서는 자연언어 처리를 기반으로 한 질의응답 시스템을 설계하며 그 대상을 호텔 예약 시스템으로 한다. 시스템은 크게 언어 해석부, 문맥 처리부, 화제 처리부 및 한국어 생성부로 구성한다. 언어 처리부에서는 단일화 문법을 적용하여 사용자가 입력한 질의문을 해석하며 그 해석결과로부터 이 후 질의응답에 사용되는 정보들인 술어, 각 명사구들의 의존 관계치 및 의미 제약치를 얻어 낸다. 문맥처리를 수행하여 생략문 등에 의해 결핍된 정보들을 추출함으로서 정보의 손실을 보완한다. 이 정보들을 이용하여 사용자와 시스템간의 자연스러운 대화를 진행하기 위한 화제처리를 수행하며, 최종적으로 화제 처리부에서 파악한 화자의 의도를 기초로 사용자가 요구한 정보를 제공하고 계속된 대화진행을 위해 적절한 한국어를 생성해 주는 한국어 생성부를 거치게 된다. 본 논문에서는 호텔 예약이라는 정해진 영역하에서 자연언어처리에 의해 추출한 술어, 각 명사구들의 의존관계치 및 의미제약치 정보들을 이용하여 문맥처리와 화제처리를 수행함으로서 더욱 효율적인 질의응답 시스템을 구현할 수 있음을 보인다.

  • PDF

Constructing Korean Lexical Concept Network for Encyclopedia Question-Answering System (백과사전 질의응답 시스템을 위한 어휘개념망 구축)

  • Choi, Mi-Ran;Oh, Hyo-Jung;Jang, Myung-Gil
    • Annual Conference on Human and Language Technology
    • /
    • 2004.10d
    • /
    • pp.99-105
    • /
    • 2004
  • 백과사전 질의응답 시스템은 사용자의 자연어 질문과 검색 대상 문서인 백과사전 내용의 의미를 파악하기 위한 고정밀 자연어 처리 기술이 요구된다. 이러한 고정밀 자연어 처리 기술을 위한 중요한 언어자원을 제공하기 위하여 한국어 명사와 동사로 구성되는 대규모 어휘개념망을 구축하였다. 한국어 어휘개념망은 명사와 동사의 상하위 관계를 주요 계층구조로 하여 다양한 한국어 어휘 기초 자료를 바탕으로 구축되었다. 구축된 규모는 일반명사 약 6만 어휘와 동사 약 2만 어휘를 포함한다. 이 논문에서는 어휘개념망을 구축하기 위한 방법과 과정을 소개하고 지금까지 구축된 어휘개념망의 특성에 대해 기술하며, 백과사전 질의응답 시스템에서 어떻게 활용되는지 시스템 구성요소의 예를 들어서 설명한다. 또한 현재 구축된 어휘개념망의 성능 평가를 위해 일반 코퍼스에 대한 커버리지 측정 결과를 기술한다.

  • PDF

Web-Scale Open Domain Korean Question Answering with Machine Reading Comprehension (기계 독해를 이용한 웹 기반 오픈 도메인 한국어 질의응답)

  • Choi, DongHyun;Kim, EungGyun;Shin, Dong Ryeol
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.87-92
    • /
    • 2019
  • 본 논문에서는 기계 독해를 이용한 웹 기반 오픈 도메인 한국어 질의응답 시스템에 대하여 서술한다. 하나의 사용자 질의에 대하여, 본 논문에서 제안된 시스템은 기 존재하는 검색 엔진을 이용하여 실시간으로 최대 1,500 개의 문서를 기계 독해 방식으로 분석하고, 각 문서별로 얻어진 답을 종합함으로써 최종 답변을 도출한다. 실험 결과, 제안된 시스템은 평균적으로 2초 이내의 실행 시간을 보였으며, 사람과 비교하여 86%의 성능을 나타내었다. 본 논문에서 제안된 시스템의 데모는 http://nlp-api.kakao.com에서 확인 가능하다.

  • PDF