• 제목/요약/키워드: 문장 구성

검색결과 641건 처리시간 0.025초

품사 정보와 템플릿을 이용한 문장 축소 방법 (A Sentence Reduction Method using Part-of-Speech Information and Templates)

  • 이승수;염기원;박지형;조성배
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제35권5호
    • /
    • pp.313-324
    • /
    • 2008
  • 문장 축소란 원본 문장의 기본적인 의미를 유지하면서 불필요한 단어나 구를 제거하는 일련의 정보 압축 과정을 의미한다. 기존의 문장 축소에 관한 연구들은 학습 과정에서 대량의 어휘나 구문적 자원을 필요로 하였으며, 복잡한 파싱 과정을 통해서 불필요한 문장의 구성원(예를 들어, 단어나 구, 절 등)들을 제거하여 문장을 요약하였다. 그러나 학습 데이타로부터 얻을 수 있는 어휘적 자원은 매우 한정적이며, 문장의 모호성과 예외적인 표현들 때문에 구문 분석 결과가 명료하게 제공되지 않은 언어에서는 문장 요약이 용이하지 않다. 이에 본 논문에서는 구문 분석을 대체하기 위한 방법으로 템플릿과 품사 정보를 이용한 문장 축소 방법을 제안한다. 제안하는 방법은 요약문의 구조적 형태를 결정하기 위한 문장 축소 템플릿(Sentence Reduction Templates)과 문법적으로 타당한 문장 구조를 구성하는 품사기반 축소규칙(Grammatical POS-based Reduction Rules)을 이용하여 요약 대상 문장의 구성을 분석하고 요약한다. 더불어, 문장 축소 템플릿 적용 시 발생하는 연산량 증가 문제를 은닉 마르코프 모델(HMM: Hidden Markov Model)의 비터비 알고리즘(Viterbi Algorithm)을 이용하여 효과적으로 처리한다. 마지막으로, 본 논문에서 제안한 문장 축소 방법의 결과와 기존 논문의 연구 결과를 비교 및 평가함으로써 제안하는 문장 축소 방법의 유용성을 확인한다.

문장 클러스터링에 기반한 자동요약 모형 (A Text Summarization Model Based on Sentence Clustering)

  • 정영미;최상희
    • 정보관리학회지
    • /
    • 제18권3호
    • /
    • pp.159-178
    • /
    • 2001
  • 본 연구에서는 문장 클러스터로부터 대표문장을 선정하여 요약문을 생성하는 자동요약 모형을 제시하고. 학습문서 집단을 미용하여 최적의 요약 환경을 구축한 후 요약 실험을 수행하였다. 학습 과정에서 문장의 클러스터링 기법으로는 7개의 계층적 기법들을 비교한 결과 클러스터를 구성하는 문장 수의 편차가 가장 적고 단일 문장 클러스터를 가장 적게 생성하는 센트로이드 기법이 선택되었다. 또한 각 클러스터를 대표하는 문장의 선정을 위해 용어 및 문장 가중치를 합산한 문장값과 클러스터-문장 벡터간 유사도의 두 기준을 비교한 결과 문장값 기준이 선택되었다. 용어 가중치로는 역문장빈도와 표제어 가중치, 그리고 문장의 위치 가중치가 자동요약 성능을 개선시키는 것으로 나타났으며, 적절한 요약문의 길이는 전체 문서의 1/3인 것으로 나타났다. 실험문서 집단으로는 문서의 길이와 특성이 다른 신문기사와 잡지기사의 두 집단을 이용하였다. 요약 모형의 검증 실험 결과 요약 정확률은 신문기사 집단에서는 53%, 잡지기사 집단에서는 47%인 것으로 나타났다. 두 실험 모두 랜덤하게 생성한 베이스라인 요악문보다 성능이 우수하였으나, 리드문장들로 구성된 베이스라인 요약문과의 비교에서는 짧은 길이의 신문기사의 경우 요약 모형의 성능이 오히려 떨어지는 것으로 나타났다.

  • PDF

한국어 문자음성 변환시스템 : 가라사대

  • 권철홍;정원국;구준모;김형순
    • 정보와 통신
    • /
    • 제11권9호
    • /
    • pp.17-25
    • /
    • 1994
  • 본 논문에서는 국내 최초의 상용 한국어 무제한 음성합성 시스템인 가라사대에 관하여 기술한다. 우선, 음성합성 과정의 각 단계에 이용된 알고리즘을 설명한다. 즉, 문장의 분석을 위해서는 문장 전처리, parsing 발음표기 변환 등의 규칙에 의하여 순차적으로 수행된다. 문장 분석후에는 강세, 억양과 지속시간 등의 운율을 제어하는 요소가 계산되고 음성신호는 확장된 diphone 단위의 음성신호를 연결하여 생성된다. 다음으로 가라사대 하드웨어 및 소프트웨어의 구성에 관하여 서술한다. 범용의 디지탈 신호처리 IC를 이용하여 구현한 하드웨어와 가라사대의 소프트웨어뿐만 아니라 PC내의 소프트웨어의 구성과 역할에 관하여 살펴본다.

  • PDF

Posting File을 이용한 구절 검색 방법 (Phrase search using posting file in Korean Information Retrieval System)

  • 박대원;박민식;박진희;권혁철
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (B)
    • /
    • pp.384-386
    • /
    • 2000
  • Posting file은 문서 내의 색인어와 색인어의 위치 정보-문장번호, 어절 번호 등으로 구성한 문서별 색인어 역파일(inverted file)이다. 본 논문에서는 posting file을 구성하고 이를 정보검색시스템에 적용하여 색인어의 어절 거리 계산에 의해 구절 검색이 가능한 정보검색시스템을 소개한다. 또한 사용자 질의문과 가장 유사한 문장을 검색결과 대표문장으로 제시하여 사용자가 검색결과를 쉽게 확인할 수 있는 방법을 제시한다.

  • PDF

Bi-directional LSTM-CNN-CRF를 이용한 한국어 개체명 인식 시스템 (Korean Entity Recognition System using Bi-directional LSTM-CNN-CRF)

  • 이동엽;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.327-329
    • /
    • 2017
  • 개체명 인식(Named Entity Recognition) 시스템은 문서에서 인명(PS), 지명(LC), 단체명(OG)과 같은 개체명을 가지는 단어나 어구를 해당 개체명으로 인식하는 시스템이다. 개체명 인식 시스템을 개발하기 위해 딥러닝 기반의 워드 임베딩(word embedding) 자질과 문장의 형태적 특징 및 기구축 사전(lexicon) 기반의 자질 구성 방법을 제안하고, bi-directional LSTM, CNN, CRF과 같은 모델을 이용하여 구성된 자질을 학습하는 방법을 제안한다. 실험 데이터는 2017 국어 정보시스템 경진대회에서 제공한 2016klpNER 데이터를 이용하였다. 실험은 전체 4258 문장 중 학습 데이터 3406 문장, 검증 데이터 426 문장, 테스트 데이터 426 문장으로 데이터를 나누어 실험을 진행하였다. 실험 결과 본 연구에서 제안하는 모델은 BIO 태깅 방식의 개체 청크 단위 성능 평가 결과 98.9%의 테스트 정확도(test accuracy)와 89.4%의 f1-score를 나타냈다.

  • PDF

한글 받아쓰기 문제 자동 출제 시스템 (Automatic Quiz Generation System for Hangul Dictation Exercises)

  • 김화영;강승식
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 춘계학술발표대회
    • /
    • pp.833-836
    • /
    • 2006
  • 국어 교과는 말하기 듣기, 읽기, 쓰기 영역으로 구성되어 있으며, 높은 수준의 창의적 사고력을 길러준다. 국어 교과에서 받아쓰기는 우리나라 초등학교 교육 현장에서 가장 기본적으로 활용되고 있으며 현행 국어과의 교육과정에서 중요하게 다루어지고 있다. 그러나 매 회의 받아쓰기 문제지의 문항을 타당성과 신뢰도를 고려하여 조정하여 지도하기는 어려움이 있다. 본 논문에서는 이러한 단점을 보완하기 위해 초등학교 교육 현장에서 사용되는 여러 가지 형태의 받아쓰기와 교과서를 분석하여 문장의 받아쓰기 등급을 정하였다. 문장의 받아쓰기 등급을 가지고 입력한 난이도에 따라 정해진 문장 받아 쓰기 등급이 같으면 받아쓰기 문제로 선택이 되고 문장 받아쓰기 등급과 다르면 다른 문장을 탐색하게 하였다. 최종적으로 선택된 문제는 여러 등급의 문제로 구성함으로써 문제의 타당성과 신뢰도를 높이고, 창의적인 국어사용 능력을 향상시키도록 하였다.

  • PDF

Bi-directional LSTM-CNN-CRF를 이용한 한국어 개체명 인식 시스템 (Korean Entity Recognition System using Bi-directional LSTM-CNN-CRF)

  • 이동엽;임희석
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
    • /
    • pp.327-329
    • /
    • 2017
  • 개체명 인식(Named Entity Recognition) 시스템은 문서에서 인명(PS), 지명(LC), 단체명(OG)과 같은 개체명을 가지는 단어나 어구를 해당 개체명으로 인식하는 시스템이다. 개체명 인식 시스템을 개발하기 위해 딥러닝 기반의 워드 임베딩(word embedding) 자질과 문장의 형태적 특징 및 기구축 사전(lexicon) 기반의 자질 구성 방법을 제안하고, bi-directional LSTM, CNN, CRF과 같은 모델을 이용하여 구성된 자질을 학습하는 방법을 제안한다. 실험 데이터는 2017 국어 정보시스템 경진대회에서 제공한 2016klpNER 데이터를 이용하였다. 실험은 전체 4258 문장 중 학습 데이터 3406 문장, 검증 데이터 426 문장, 테스트 데이터 426 문장으로 데이터를 나누어 실험을 진행하였다. 실험 결과 본 연구에서 제안하는 모델은 BIO 태깅 방식의 개체 청크 단위 성능 평가 결과 98.9%의 테스트 정확도(test accuracy)와 89.4%의 f1-score를 나타냈다.

  • PDF

문장추상화: 문서요약을 위한 문장교열 방법론 (Sentence Abstraction: A Sentence Revision Methodology for Text Summarization)

  • 김곤;배재학
    • 한국인지과학회:학술대회논문집
    • /
    • 한국인지과학회 2002년도 춘계학술대회
    • /
    • pp.51-56
    • /
    • 2002
  • 본 논문에서는 문서요약을 위한 문장교열 방법론으로 문장추상화를 생각하였다. 이에 문장추상화의 판단기준이 되는 요소들을 구문분석기를 통해 얻은 정보와, 문장의 구성성분들이 가지는 온톨로지 정보를 바탕으로 선정하였다. 문장추상화에는 Roget 시소러스에 기반한 온톨로지 OfN, 구문분석기 LGPI+ 그리고 이를 활용하는 문장추상기 SABOT를 이용하였다. 본 논문을 통하여 문장추상화가 문서요약을 위한 문장교열 방법의 하나로 가능함을 보였다.

  • PDF

답러닝을 활용한 문장 예측 시스템 (A Prediction System of Sentence using Deep Learning)

  • 정진모;지수진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 춘계학술발표대회
    • /
    • pp.402-404
    • /
    • 2018
  • 본 논문은 기존에 주어진 문장 다음에 올 수 있는 문장에 대해 딥러닝을 활용하여 예측하는 시스템이며, 데이터 전처리, 문장 목적 파악, 문맥 파악의 세가지 파트로 구성되어 있다. 전처리 과정에서는 문장에 쓰인 단어에 대한 품사 정보를 Input Feature 로 추가한다. 이어서 문장 목적 파악을 위해서는 상황별로 문장을 표현하는 방법이나 단어들의 순서가 다르기 때문에 단어의 순서보다는 문장의 특징점을 학습한다. 마지막으로 문맥 파악을 위해서 이전 단계에서 학습된 문장별 목적 데이터를 기반으로 데이터의 시간적 흐름에 대한 학습을 진행함으로써 이후에 나올 수 있는 문장을 예측한다.

GAN에서 그래프 탐색을 이용한 유창한 문장 생성 (Fluent Text Generation Using GANs with Graph-search)

  • 오진영;차정원
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.404-408
    • /
    • 2019
  • 비지도 학습 모델인 GAN은 학습 데이터 구축이 어려운 여러 분야에 활용되고 있으며, 알려진 문제점들을 보완하기 위해 다양한 모델 결합 및 변형으로 발전하고 있다. 하지만 문장을 생성하는 GAN은 풀어야 할 문제가 많다. 그중에서도 문제가 되는 것은 완성도가 높은 문장을 생성하는데 어려움이 있다는 것이다. 본 논문에서는 단어 그래프를 구성하여 GAN의 학습에 도움을 주며 완성도가 높은 문장을 생성하는 방법을 제안한다.

  • PDF