• Title/Summary/Keyword: 문장 자동생성

Search Result 194, Processing Time 0.029 seconds

Automatic Generation of Training Corpus for a Sentiment Analysis Using a Generative Adversarial Network (생성적 적대 네트워크를 이용한 감성인식 학습데이터 자동 생성)

  • Park, Cheon-Young;Choi, Yong-Seok;Lee, Kong Joo
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.389-393
    • /
    • 2018
  • 딥러닝의 발달로 기계번역, 대화 시스템 등의 자연언어처리 분야가 크게 발전하였다. 딥러닝 모델의 성능을 향상시키기 위해서는 많은 데이터가 필요하다. 그러나 많은 데이터를 수집하기 위해서는 많은 시간과 노력이 소요된다. 본 연구에서는 이미지 생성 모델로 좋은 성능을 보이고 있는 생성적 적대 네트워크(Generative adverasarial network)를 문장 생성에 적용해본다. 본 연구에서는 긍/부정 조건에 따른 문장을 자동 생성하기 위해 SeqGAN 모델을 수정하여 사용한다. 그리고 분류기를 포함한 SeqGAN이 긍/부정 감성인식 학습데이터를 자동 생성할 수 있는지 실험한다. 실험을 수행한 결과, 분류기를 포함한 SeqGAN 모델이 생성한 문장과 학습데이터를 혼용하여 학습할 경우 실제 학습데이터만 학습 시킨 경우보다 좋은 정확도를 보였다.

  • PDF

Design of Question Answering System with Automated Question Generation (질의문 자동생성방식의 질의응답시스템의 설계 및 구축)

  • Kim, Min-Kyoung;Kim, Han-Joon
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2008.06c
    • /
    • pp.49-54
    • /
    • 2008
  • 질의응답시스템에서 사용자 질의로 입력된 자연어문장을 완벽하게 분석하는 것은 쉬운 일이 아니며, 사용자의 질의 의도의 불명확성으로 키워드 여러 개의 질의문이 존재할 수 있다. 본 논문에서는 질의를 하기 전에 사용자가 안게 되는 자연어 질의문의 작성 부담감을 줄이고, 키워드만으로 자신이 원하는 질의문을 선택할 수 있는 시스템을 제안하고자 한다. 제안 시스템은 평서문에서 자동으로 질의문을 생성한다. 질의문 생성은 장문형질의문생성과 단문형질의문생성으로 구분하며, 장문형질의문은 문장의 전체형태를 유지하면서 특정고유명사를 질의하는 것이고, 단문형질의문은 주어진 고유명사를 질의하는 최소한의 요소를 갖춘 단순 형태의 질의 문장이다. 또한 제안 시스템은 생성된 질의문이 유한 해답을 도출할 수 있는 의미있는 질의문을 선별하는 과정을 포함한다. 본 논문에서 제안한 방식이 사용자에게 의미있는 질의문을 제시하여주고 사용자가 원하는 질의문을 선택하게 함으로써 검색의 시간단축과 자연어문장 질의어 자체에 대한 고민을 해소시킬 수 있다. 또한 이는 자연어 문장처리의 한계를 극복할 수 있는 시스템을 구현할 수 있는 기반을 마련한 것이다.

  • PDF

An Automatic Evaluation Metric for Korean Paraphrase via Semantic Frame (시맨틱 프레임을 이용한 한국어 패러프레이즈 자동 평가 방법)

  • Park, Hancheol;Gweon, Gahgene;Choi, Ho-jin
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2014.04a
    • /
    • pp.761-764
    • /
    • 2014
  • 본 연구는 지능형 QA시스템과 관련한 연구에서, 자동 패러프레이즈 생성 시스템을 평가하는 새로운 방법을 제시한다. 기존의 패러프레이즈 생성 시스템의 자동 평가 방법은 참조할 수 있는 패러프레이즈 정보의 양이 크게 제한되어 있었으며, 원 문장의 콘텍스트(context)와 이에 의존하는 통사적 구조(syntactic structure) 및 의미적 구조의 유사성을 고려하지 않고, 단순 구/단어 수준의 의미 유사성을 기반으로 생성된 패러프레이즈를 평가하였다. 이러한 문제를 해결하기 위해 본 연구는 시맨틱 프레임(semantic frame)을 이용한 패러프레이즈 문장 평가 방법을 제시한다. 본 연구에서 제시하는 방법론은 문장의 콘텍스트를 표현하는 프레임과 이러한 프레임이 발생시키는 통사적, 의미적 구조의 유사성을 바탕으로 원 문장과 패러프레이즈 문장의 '의미 유사성', '어휘 형태 비 유사성'을 평가하는 방식이다.

A Text Summarization Model Based on Sentence Clustering (문장 클러스터링에 기반한 자동요약 모형)

  • 정영미;최상희
    • Journal of the Korean Society for information Management
    • /
    • v.18 no.3
    • /
    • pp.159-178
    • /
    • 2001
  • This paper presents an automatic text summarization model which selects representative sentences from sentence clusters to create a summary. Summary generation experiments were performed on two sets of test documents after learning the optimum environment from a training set. Centroid clustering method turned out to be the most effective in clustering sentences, and sentence weight was found more effective than the similarity value between sentence and cluster centroid vectors in selecting a representative sentence from each cluster. The result of experiments also proves that inverse sentence weight as well as title word weight for terms and location weight for sentences are effective in improving the performance of summarization.

  • PDF

Automatic Ontology Generation from Natural Language Sentences Using Predicate Ontology (서술어 온톨로지를 이용한 자연어 문장으로부터의 온톨로지 자동 생성)

  • Min, Young-Kun;Lee, Bog-Ju
    • Journal of Korea Multimedia Society
    • /
    • v.13 no.9
    • /
    • pp.1263-1271
    • /
    • 2010
  • Ontologies, the important implementation tools for semantic web, are widely used in various areas such as search, reasoning, and knowledge representation. Developing well-defined ontologies, however, requires a lot of resources in terms of time and materials. There have been efforts to construct ontologies automatically to overcome these problems. In this paper, ontologies are automatically constructed from the natural languages sentences directly. To do this, the analysis of morphemes and a sentence structure is performed at first. then, the program finds predicates inside the sentence and the predicates are transformed to the corresponding ontology predicates. For matching the corresponding ontology predicate from a predicate in the sentence, we develop the "predicate ontology". An experimental comparison between human ontology engineer and the program shows that the proposed system outperforms the human engineer in an accuracy.

Template Constrained Sequence to Sequence based Conversational Utterance Error Correction Method (문장틀 기반 Sequence to Sequence 구어체 문장 문법 교정기)

  • Jeesu Jung;Seyoun Won;Hyein Seo;Sangkeun Jung;Du-Seong Chang
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.553-558
    • /
    • 2022
  • 최근, 구어체 데이터에 대한 자연어처리 응용 기술이 늘어나고 있다. 구어체 문장은 소통 방식 등의 형태로 인해 정제되지 않은 형태로써, 필연적으로 띄어쓰기, 문장 왜곡 등의 다양한 문법적 오류를 포함한다. 자동 문법 교정기는 이러한 구어체 데이터의 전처리 및 일차적 정제 도구로써 활용된다. 사전학습된 트랜스포머 기반 문장 생성 연구가 활발해지며, 이를 활용한 자동 문법 교정기 역시 연구되고 있다. 트랜스포머 기반 문장 교정 시, 교정의 필요 유무를 잘못 판단하여, 오류가 생기게 된다. 이러한 오류는 대체로 문맥에 혼동을 주는 단어의 등장으로 인해 발생한다. 본 논문은 트랜스포머 기반 문법 교정기의 오류를 보강하기 위한 방식으로써, 필요하지 않은 형태소인 고유명사를 마스킹한 입력 및 출력 문장틀 형태를 제안하며, 이러한 문장틀에 대해 고유명사를 복원한 경우 성능이 증강됨을 보인다.

  • PDF

Intermediate Concept Representation for Automatic Summary (요약문 생성을 위한 중간 개념 표현)

  • 서연경;노태길;이상조
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.04b
    • /
    • pp.355-357
    • /
    • 2001
  • 사건, 사고 관련 기사의 요약은 단순히 원문이 무엇을 말하는 가를 지시하는 것보다 가능한 요지를 판독하면서 필요한 정보를 누락시키지 않고 표현할 수 있는 것이 바람직하다. 이를 위하여 본 논문에서는 사건, 사고 관련 기사의 자동 요약문 생성을 위한 중간 개념 표현 방법을 제안한다. 단락 자동 구분을 통한 중요 문장 추출을 거쳐 각 단락의 중심문장을 파악하고, 단락내의 정보들을 의미 파악된 중심 문장에 추가, 병합하여 단락의 내용을 대표하는 Paragraph Representation Structure(PRS)를 생성한다. 이들은 통합과정을 거쳐 하나의 Unified Representation Structure(URS)로 만들어지며, 이것은 중간 개념 표현으로 다국어 자동 요약문 생성을 위한 기반이 될 수 있다. 본 연구에 이용한 코퍼스는 비행기, 선박, 차량, 열차 사고와 화제 폭발 및 사건 관련 신문 기사를 대상으로 한다.

  • PDF

Design of Sentence Semantic Model for Cause-Effect Graph Automatic Generation from Natural Language Oriented Informal Requirement Specifications (비정형 요구사항으로부터 원인-결과 그래프 자동 발생을 위한 문장 의미 모델(Sentence Semantic Model) 설계)

  • Jang, Woo Sung;Jung, Se Jun;Kim, R.Young Chul
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.215-219
    • /
    • 2020
  • 현재 한글 언어학 영역에서는 많은 언어 분석 연구가 수행되었다. 또한 소프트웨어공학의 요구공학 영역에서는 명료한 요구사항 정의와 분석이 필요하고, 비정형화된 요구사항 명세서로부터 테스트 케이스 추출이 매우 중요한 이슈이다. 즉, 자연어 기반의 요구사항 명세서로부터 원인-결과 그래프(Cause-Effect Graph)를 통한 의사 결정 테이블(Decision Table) 기반 테스트케이스(Test Case)를 자동 생성하는 방법이 거의 없다. 이런 문제를 해결하기 위해 '한글 언어 의미 분석 기법'을 '요구공학 영역'에 적용하는 방법이 필요하다. 본 논문은 비정형화된 요구사항으로부터 테스트케이스 생성하는 과정의 중간 단계인 요구사항에서 문장 의미 모델(Sentence Semantic Model)을 자동 생성하는 방법을 제안 한다. 이는 요구사항으로부터 생성된 원인-결과 그래프의 정확성을 검증할 수 있다.

  • PDF

Korean Text Generation using Markov Chain for Korean Language Learning (한국어 학습을 위한 마르코프 체인 기반 한국어 문장 생성)

  • Moon, Kyungdeuk;Kim, Jeongwon;Kim, Sohee;Kim, Byeong Man;Lee, Hyunah
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.623-626
    • /
    • 2018
  • 한국어 학습에 대한 관심이 전 세계적으로 높아짐에 따라 한국어 학습을 위한 다양한 프로그램들이 등장하고 있다. 한국어가 모국어가 아닌 외국인들의 한국어 학습을 위해서는 단어 학습이 기초가 되어야 하며, 단어 학습에서는 다양한 예문들이 필수적이다. 기존의 학습 시스템에서는 말뭉치에 있는 문장들을 예문으로 제시하는 기능을 제공하지만, 이 경우 한정적이고 반복된 문장만을 제공하는 문제를 가진다. 본 논문에서는 사용자가 학습하고자 하는 단어를 입력하면 해당 단어 단어를 포함하는 한국어 문장을 자동 생성하여 제공하는 시스템을 제안한다. 시스템에서는 언어 모델의 제어가 비교적 쉬운 마르코프체인을 활용한다.

  • PDF

Generation Paraphrase using Pointer Generation Network (포인터 생성 네트워크를 이용한 패러프레이즈 생성)

  • Park, Da-Sol;Kim, Young-kil;Cha, Jeong-Won
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.535-539
    • /
    • 2020
  • 다양한 발화를 모델링하는 요구는 자연어 처리 분야에서 꾸준히 있었으며 단어, 구 또는 문장과 동등한 의미 콘텐츠를 자동으로 식별하고 생성하는 것은 자연어 처리의 중요한 부분이다. 본 논문에서는 포인터 생성 네트워크(Pointer Generate Nework)를 이용하여 패러프레이즈 생성 모델을 제안한다. 제안한 모델의 성능을 측정하기 위해 사람이 직접 구축한 유사 문장 코퍼스를 이용하였으며, 토큰 단위의 BLEU-4 0.250, ROUGE_L 0.455, CIDEr 2.190의 성능을 보였다. 하지만 입력 문장과 동일한 문장을 출력하는 문제점이 존재하여 빔서치(beam search)를 적용하여 입력 문장과 비교하여 생성 문장을 선택하는 방식을 적용하였다. 입력 문장과 동일한 문장을 제외한 문장으로 평가를 진행했으며, 토큰 단위의 BLEU-4 0.234, ROUGE_L 0.459, CIDEr 2.041의 성능을 보였으나, 패러프레이즈 생성 데이터 양이 크게 증가하였다. 본 연구는 문장 간의 의미적으로 동일한 정보를 정확하게 추출할 수 있게 됨으로써 정보 추출, 온톨로지 생성에 도움이 될 것이다. 또한 이러한 기법이 챗봇에서 사용자의 의도 탐지 및 MRC와 같은 자연어 처리의 여러 분야에 유용한 자원으로 사용될 것이다.

  • PDF