• 제목/요약/키워드: 자연어 질의

검색결과 186건 처리시간 0.049초

관계형 데이터베이스의 자연어 인터페이스를 위한 확장된 데이터베이스 시멘틱 모델 (Extended Database Semantic Model for Natural Language Interface to Relational Database)

  • 정혜경;배우정;안동언;이용석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1996년도 제8회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.196-199
    • /
    • 1996
  • 데이터베이스 사용자는 데이터베이스내에서 데이터를 검색하는 메카니즘과 원하는 데이터를 검색하기 위한 구체적인 질의 형태, 데이터베이스의 설계 과정에서 고려된 많은 묵시적인 의미 정보들을 인식하고 있어야 한다. 만일, 이들에 대한 정확한 인식이 이루어지지 않은채 요구된 질의는 잘못된 결과를 생성하게 된다. 데이터베이스에 대한 자연 언어 인터페이스는 이러한 세부 지식을 가지고 있지 않는 사용자에게 용이한 질의 환경을 제공해준다. 이를 위해 여러 자연 언어 인터페이스 시스템들이 개발되었다. 그러나 이 시스템들은 데이터베이스가 가지는 의미적 표현에 대한 구조적 제약성을 해소하지 못하였기 때문에 이 제약들이 사용자에게 그대로 남겨지고 있다는 문제점이 있다. 이러한 문제점은 근본적으로 자연언어와 데이터베이스의 시멘틱 모델간의 의미의 표현 레벨의 차이로 기인한다고 볼 수 있다. 본 논문은 이런 불일치 문제의 해결 방안으로 관계 데이터베이스내의 중요한 특성들을 구분하고, 이것을 표현할 수 있는 향상된 데이터베이스 시멘틱 모델에 대해 설명한다.

  • PDF

단락에 대한 이산 추론을 요구하는 한국어 기계 독해 (Reading Comprehension requiring Discrete Reasoning Over Paragraphs for Korean)

  • 김경민;서재형;이수민;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.439-443
    • /
    • 2021
  • 기계 독해는 단락과 질의가 주어졌을 때 단락 내 정답을 찾는 자연어 처리 태스크이다. 최근 벤치마킹 데이터셋에서 사전학습 언어모델을 기반으로 빠른 발전을 보이며 특정 데이터셋에서 인간의 성능을 뛰어넘는 성과를 거두고 있다. 그러나 이는 단락 내 범위(span)에서 추출된 정보에 관한 것으로, 실제 연산을 요구하는 질의에 대한 응답에는 한계가 있다. 본 논문에서는 기존 범위 내에서 응답이 가능할 뿐만이 아니라, 연산에 관한 이산 추론을 요구하는 단락 및 질의에 대해서도 응답이 가능한 기계 독해 모델의 효과성을 검증하고자 한다. 이를 위해 영어 DROP (Discrete Reasoning Over the content of Paragraphs, DROP) 데이터셋으로부터 1,794개의 질의응답 쌍을 Google Translator API v2를 사용하여 한국어로 번역 및 정제하여 KoDROP (Korean DROP, KoDROP) 데이터셋을 구축하였다. 단락 및 질의를 참조하여 연산을 수행하기 위한 의미 태그를 한국어 KoBERT 및 KoELECTRA에 접목하여, 숫자 인식이 가능한 KoNABERT, KoNAELECTRA 모델을 생성하였다. 실험 결과, KoDROP 데이터셋은 기존 기계 독해 데이터셋과 비교하여 단락에 대한 더욱 포괄적인 이해와 연산 정보를 요구하였으며, 가장 높은 성능을 기록한 KoNAELECTRA는 KoBERT과 비교하여 F1, EM에서 모두 19.20의 월등한 성능 향상을 보였다.

  • PDF

Bidirectional LSTM-CRF 앙상블을 이용한 공간 개체 추출 (Spatial Entities Extraction using Bidirectional LSTM-CRF Ensemble)

  • 민태홍;이재성
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.133-136
    • /
    • 2017
  • 공간 정보 추출은 대량의 텍스트 문서에서 자연어로 표현된 공간 관련 개체 및 관계를 추출하는 것으로 질의응답 시스템, 챗봇 시스템, 네비게이션 시스템 등에서 활용될 수 있다. 본 연구는 한국어에 나타나 있는 공간 개체들을 효과적으로 추출하기 위한 앙상블 기법이 적용된 Bidirectional LSTM-CRF 모델을 소개한다. 한국어 공간 정보 말뭉치를 이용하여 실험한 결과, 기존 모델보다 매크로 평균이 향상되어 전반적인 공간 관계 추출에 유용할 것으로 기대한다.

  • PDF

Bidirectional LSTM-CRF 앙상블을 이용한 공간 개체 추출 (Spatial Entities Extraction using Bidirectional LSTM-CRF Ensemble)

  • 민태홍;이재성
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
    • /
    • pp.133-136
    • /
    • 2017
  • 공간 정보 추출은 대량의 텍스트 문서에서 자연어로 표현된 공간 관련 개체 및 관계를 추출하는 것으로 질의응답 시스템, 챗봇 시스템, 네비게이션 시스템 등에서 활용될 수 있다. 본 연구는 한국어에 나타나 있는 공간 개체들을 효과적으로 추출하기 위한 앙상블 기법이 적용된 Bidirectional LSTM-CRF 모델을 소개한다. 한국어 공간 정보 말뭉치를 이용하여 실험한 결과, 기존 모델보다 매크로 평균이 향상되어 전반적인 공간 관계 추출에 유용할 것으로 기대한다.

  • PDF

작업수행영역에서 계획에 기반한 대화 시스템의 설계 (The design of Plan based dialogue system in Task execution domain)

  • 오종건;서정연
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (B)
    • /
    • pp.450-452
    • /
    • 2000
  • 대화 시스템이란 자연어를 이용하여 인간과 정보를 교환하거나 업무를 수행하는 프로그램이다. 자연언어는 인간이 사용할 수 있는 쉽고 효율적인 인터페이스이기 때문에 이를 이용한 대화 시스템의 필요성이 증대되고 있다. 본 논문에서는 지금까지 주로 인식에 초점이 맞추어져 연구되어 왔던 계획 기반 대화 모델을 이용하여 발화하여 생성하는 시스템을 설계하고자 한다. 본 논문에서 설계하고자 하는 대화 시스템은 사용자의 질의에 응답할 뿐 아니라 자신의 행위를 능동적으로 수행할 수 있는 협조적 대화 시스템이다. 또한 대화의 효율성을 고려하여 사용자가 필요로 하는 정보를 능동적으로 제공하는 시스템이다. 대화의 효율성을 고려한 발화를 위해 본 논문에서는 새로운 시스템의 행위를 정의하여 실제 가능한 대화 예를 보이고자 한다.

  • PDF

키워드 광고 시스템의 설계 및 구현 (Design and Implementation of Keyword Search Advertising System)

  • 지혜성;류기곤;임희석
    • 한국산학기술학회:학술대회논문집
    • /
    • 한국산학기술학회 2008년도 추계학술발표논문집
    • /
    • pp.32-35
    • /
    • 2008
  • 본 논문은 포털 사이트의 효율적인 광고 제공을 위한 자연어처리 기반의 키워드 광고 시스템을 제안한다. 사용자의 질의에 대한 형태소 분석 결과를 사용하여, 기존의 키워드 정합에 의한 광고 시스템보다 재현율을 향상시킬 수 있었다. 또한, 웹 기반 키워드 광고 뿐 아니라 메신저를 통한 대화 내용 기반 키워드 광고도 제안한다.

  • PDF

자연어 질의가 가능한 퍼지 기반 지능형 전자상거래 검색 에이전트 (Fuzzy Theory based Electronic Commerce Navigation Agent that can Query by Natural Language)

  • 김명순;정환묵
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2001년도 춘계학술대회 학술발표 논문집
    • /
    • pp.270-273
    • /
    • 2001
  • In this paper, we proposed the intelligent navigation agent model for successive electronic commerce management. For allowing intelligence, we used fuzzy theory. Fuzzy theory is very useful method where keywords have vague conditions and system must process that conditions. So, using theory, we proposed the model that can process the vague keywords effectively. Through the this, we verified that we can get the more appropriate navigation result than any other crisp retrieval keywords condition.

  • PDF

부분표절구간 검출을 위한 질의문서의 분할 및 탐색 기법 (A Fragmentation and Search Method of Query Document for Partially Plagiarized Section Detection)

  • 옥창석;서종규;조환규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 추계학술발표대회
    • /
    • pp.586-589
    • /
    • 2012
  • 표절과 관련된 이슈가 주목받고 있는 상황에서 표절을 검출하는 방법에 대한 연구가 활발히 진행되고 있다. 일반적으로 표절구간 검출을 위해 복잡한 자연어처리와 같은 의미론적 접근방법이 아닌 비교적 단순한 어휘기반의 문자열 처리 방법을 사용한다. 대표적인 방법으로는 지문법 (Fingerprinting)과 서열정렬 (Sequence alignment) 등이 있다. 하지만 이 방법들을 이용하여 대용량 문서에 대한 표절검사를 수행하기에는 시공간적 복잡도의 문제가 발생한다. 본 논문에서는 이러한 단점을 극복하기 위해 NGS (Next Generation Sequencing)에서 사용하는 BWT (Burrows-Wheeler Transform)[1]를 이용한 탐색방법을 응용한다. 또한 부분표절구간을 검출하고 정확도를 향상시키기 위해 질의문서를 분할하여 작은 조각으로 만든 뒤, 조각들에 대한 질의탐색을 수행한다. 본 논문에서는 질의문서를 분할하는 두 가지 방법을 소개한다. 두 가지 방법은 k-mer analysis를 이용한 방법과 random-split analysis를 이용한 방법으로, 각 방법의 장단점을 실험을 통해 분석하고 실제 부분표절구간의 검출 정확도를 측정하였다.

BERT 의 웹 문서 질의 응답 성능 향상을 위한 HTML 태그 스택 및 HTML 임베딩 기법 설계 (A Design of HTML Tag Stack and HTML Embedding Method to Improve Web Document Question Answering Performance of BERT)

  • 목진왕;이현섭
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.583-585
    • /
    • 2022
  • 최근 기술의 발전으로 인해 자연어 처리 모델의 성능이 증가하고 있다. 그에 따라 평문 지문이 아닌 KorQuAD 2.0 과 같은 웹 문서를 지문으로 하는 기계 독해 과제를 해결하려는 연구가 증가하고 있다. 최근 기계 독해 과제의 대부분의 모델은 트랜스포머를 기반으로 하는 추세를 보인다. 그 중 대표적인 모델인 BERT 는 문자열의 순서에 대한 정보를 임베딩 과정에서 전달받는다. 한편 웹 문서는 태그 구조가 존재하므로 문서를 이해하는데 위치 정보 외에도 태그 정보도 유용하게 사용될 수 있다. 그러나 BERT 의 기존 임베딩은 웹 문서의 태그 정보를 추가적으로 모델에 전달하지 않는다는 문제가 있었다. 본 논문에서는 BERT 에 웹 문서 태그 정보를 효과적으로 전달할 수 있는 HTML 임베딩 기법 및 이를 위한 전처리 기법으로 HTML 태그 스택을 소개한다. HTML 태그 스택은 HTML 태그의 정보들을 추출할 수 있고 HTML 임베딩 기법은 이 정보들을 BERT 의 임베딩 과정에 입력으로 추가함으로써 웹 문서 질의 응답 과제의 성능 향상을 기대할 수 있다.

검색모델과 LLM의 상호작용을 활용한 사고사슬 기반의 한국어 질의응답 (Interactions of Retriever and LLM on Chain-of-Thought Reasoning for Korean Question Answering)

  • 박민준;심묘섭;민경구;최주영;정해민;최정규
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.618-621
    • /
    • 2023
  • 최근 거대언어모델(LLM)이 기계 번역 및 기계 독해를 포함한 다양한 문제들에서 높은 성능을 보이고 있다. 특히 프롬프트 기반의 대규모 언어 모델은 사고사슬 방식으로 적절한 프롬프팅을 통해 원하는 형식의 답변을 생성할 수 있으며 자연어 추론 단계에서도 높은 정확도를 보여주고 있다. 그러나 근본적으로 LLM의 매개변수에 질문에 관련된 지식이 없거나 최신 정보로 업데이트 되지 않은 경우 추론이 어렵다. 이를 해결하기 위해, 본 연구는 검색문서와 생성모델의 상호작용을 통해 답변하는 한국어 질의응답 모델을 제안한다. 검색이 어려운 경우 생성형 모델을 통해 질문과 관련된 문장을 생성하며, 이는 다시 검색모델과 추론 과정에서 활용된다. 추가로 "판단불가"라는 프롬프팅을 통해 모델이 답변할 수 없는 경우를 스스로 판단하게 한다. 본 연구결과에서 GPT3를 활용한 사고사슬 모델이 63.4의 F1 점수를 보여주며 생성형 모델과 검색모델의 융합이 적절한 프롬프팅을 통해 오픈-도메인 질의응답에서 성능의 향상을 보여준다.

  • PDF