• 제목/요약/키워드: 문장 구조

검색결과 611건 처리시간 0.031초

일영 통계기계번역에서 의존문법 문장 구조와 품사 정보를 사용한 클러스터링 기법 (A Clustering Method using Dependency Structure and Part-Of-Speech(POS) for Japanese-English Statistical Machine Translation)

  • 김한경;나휘동;이금희;이종혁
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제15권12호
    • /
    • pp.993-997
    • /
    • 2009
  • 클러스터링 기법은 다양한 분야에서 이용되어 왔으며, 통계 기반 기계번역에서도 익히 사용된 기법이다. 그러나 기존의 연구에서는 깊이 있는 문법적인 분석 없이 기계학습 기법을 사용하거나, 문장구조의 정보를 사용하더라도 정규식을 이용하여 판별하는 선에서 그치는 경우가 많았다. 본 논문에서는 각 문장의 의존관계 문법에 따른 구조와 조사 등의 품사 정보를 사용하여 문장구조를 파악하고 유형별로 분류하여 각각에 특화된 언어모델을 획득하는 방법과, 이를 구 기반 통계기계번역에 추가적인 정보로 사용하여 번역성능을 향상하는 데 이용하는 방법을 제안한다.

단어 단위 문장 분배기를 사용한 의존 구조 분석기 통합 (Dependency Parser Integration using Word Level Sentence Routing)

  • 이지민;이진식;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2010년도 제22회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.73-77
    • /
    • 2010
  • 본 논문은 의존 구조 분석기를 통합하기 위해 입력 문장의 단어 특성을 활용하는 단어 단위 분배기를 제안한다. 본 모델은 기존의 문장 수준 분배기와는 달리 입력 문장의 단어 특성에 따라 가장 적절한 의존 구조 분석기를 선택하고, 선택된 의존 구조 분석기의 결과를 최종 결과로 사용한다. 기존의 문장 단위 분배기보다 단어 수준의 풍부한 특질을 활용할 수 있다는 장점과 큰 크기의 코퍼스를 사용할 수 있다는 장점이 있다. 총 6개 언어의 LAS를 측정했는데, MALT 보다는 평균 1.98%, MST 보다는 0.54%의 성능 향상이 있었다.

  • PDF

한글 인식과정에서의 안구운동 특성분석

  • 김창희;이동춘
    • 대한인간공학회:학술대회논문집
    • /
    • 대한인간공학회 1995년도 춘계학술대회논문집
    • /
    • pp.199-208
    • /
    • 1995
  • 본 연구에서는 사람이 한글을 읽는 동안에 문자인식에 영향을 미치는 문장구조의 여러 요소 중 글자크기와 줄간간격에 대한 주시시간과 오독률을 분석함으로써 한글 인식에 있어서 사람에게 적합한 문장구조를 제시하는 데 그 목적이 있다고 할 수 있다. 실험에서는 남녀 각 5명씩의 피실험자에게 아이카메라를 착용시킨 후, 40cm 거리에서 문장중심과 피실험자의 시선이 일치되게 하여, 각기 다른 문장구조를 가 지는 9개의 실험예문(B5용지)을 소리내어 읽게 하였다. 실험결과로 부터 글자크기 와 줄간간격은 읽기수행도(reading performance)에 영향을 미치는 것으로 나타났다. 이를 이용하여 인쇄물의 제작시에 적용시켜 읽기수행도를 제고시킬 수 있다.

  • PDF

Word2Vec 모델을 활용한 한국어 문장 생성 (Generating Korean Sentences Using Word2Vec)

  • 남현규;이영석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.209-212
    • /
    • 2017
  • 고도화된 머신러닝과 딥러닝 기술은 영상처리, 자연어처리 등의 분야에서 많은 문제를 해결하고 있다. 특히 사용자가 입력한 문장을 분석하고 그에 따른 문장을 생성하는 자연어처리 기술은 기계 번역, 자동 요약, 자동 오류 수정 등에 널리 이용되고 있다. 딥러닝 기반의 자연어처리 기술은 학습을 위해 여러 계층의 신경망을 구성하여 단어 간 의존 관계와 문장 구조를 학습한다. 그러나 학습 과정에서의 계산양이 방대하여 모델을 구성하는데 시간과 비용이 많이 필요하다. 그러나 Word2Vec 모델은 신경망과 유사하게 학습하면서도 선형 구조를 가지고 있어 딥러닝 기반 자연어처리 기술에 비해 적은 시간 복잡도로 고차원의 단어 벡터를 계산할 수 있다. 따라서 본 논문에서는 Word2Vec 모델을 활용하여 한국어 문장을 생성하는 방법을 제시하였다. 본 논문에서는 지정된 문장 템플릿에 유사도가 높은 각 단어들을 적용하여 문장을 구성하는 Word2Vec 모델을 설계하였고, 서로 다른 학습 데이터로부터 생성된 문장을 평가하고 제안한 모델의 활용 방안을 제시하였다.

  • PDF

Word2Vec 모델을 활용한 한국어 문장 생성 (Generating Korean Sentences Using Word2Vec)

  • 남현규;이영석
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
    • /
    • pp.209-212
    • /
    • 2017
  • 고도화된 머신러닝과 딥러닝 기술은 영상처리, 자연어처리 등의 분야에서 많은 문제를 해결하고 있다. 특히 사용자가 입력한 문장을 분석하고 그에 따른 문장을 생성하는 자연어처리 기술은 기계 번역, 자동 요약, 자동 오류 수정 등에 널리 이용되고 있다. 딥러닝 기반의 자연어처리 기술은 학습을 위해 여러 계층의 신경망을 구성하여 단어 간 의존 관계와 문장 구조를 학습한다. 그러나 학습 과정에서의 계산양이 방대하여 모델을 구성하는데 시간과 비용이 많이 필요하다. 그러나 Word2Vec 모델은 신경망과 유사하게 학습하면서도 선형 구조를 가지고 있어 딥러닝 기반 자연어처리 기술에 비해 적은 시간 복잡도로 고차원의 단어 벡터를 계산할 수 있다. 따라서 본 논문에서는 Word2Vec 모델을 활용하여 한국어 문장을 생성하는 방법을 제시하였다. 본 논문에서는 지정된 문장 템플릿에 유사도가 높은 각 단어들을 적용하여 문장을 구성하는 Word2Vec 모델을 설계하였고, 서로 다른 학습 데이터로부터 생성된 문장을 평가하고 제안한 모델의 활용 방안을 제시하였다.

  • PDF

문장구조 유사도와 단어 유사도를 이용한 클러스터링 기반의 통계기계번역 (Integrated Clustering Method based on Syntactic Structure and Word Similarity for Statistical Machine Translation)

  • 김한경;나휘동;이금희;이종혁
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2009년도 제21회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.44-49
    • /
    • 2009
  • 통계기계번역에서 도메인에 특화된 번역을 시도하여 성능향상을 얻는 방법이 있다. 이를 위하여 문장의 유형이나 장르에 따라 클러스터링을 수행한다. 그러나 기존의 연구 중 문장의 유형 정보와 장르에 따른 정보를 동시에 사용한 경우는 없었다. 본 논문에서는 문장 사이의 문법적 구조 유사성으로 문장을 유형별로 분류하는 새로운 기법을 제시하였고, 단어 유사도 정보로 문서의 장르를 구분하여 기존의 두 기법을 통합하였다. 이렇게 분류된 말뭉치에서 추출한 모델과 전체 말뭉치에서 추출된 모델에서 보간법(interpolation)을 사용하여 통계기계번역의 성능을 향상하였다. 문장구조의 유사성과 단어 유사도 계산을 위하여 각각 커널과 코사인 유사도를 적용하였으며, 두 유사도를 적용하여 말뭉치를 분류하는 과정은 K-Means 알고리즘과 유사한 기계학습 기법을 사용하였다. 이를 일본어-영어의 특허문서에서 실험한 결과 최선의 경우 약 2.5%의 상대적인 성능 향상을 얻었다.

  • PDF

계층형 문장 구조 인코더를 이용한 한국어 의미역 결정 (Hierarchical Learning for Semantic Role Labeling with Syntax Information)

  • 김봉수;김정욱;황태선;이새벽
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.199-202
    • /
    • 2021
  • 의미역 결정은 입력된 문장 내 어절간의 의미 관계를 예측하기 위한 자연어처리 태스크이며, 핵심 서술어에 따라 상이한 의미역 집합들이 존재한다. 기존의 연구는 문장 내의 서술어의 개수만큼 입력 문장을 확장해 순차 태깅 문제로 접근한다. 본 연구에서는 확장된 입력 문장에 대해 구문 분석을 수행 후 추출된 문장 구조 정보를 의미역 결정 모델의 자질로 사용한다. 이를 위해 기존에 학습된 구문 분석 모델의 파라미터를 전이하여 논항의 위치를 예측한 후 파이프라인을 통해 의미역 결정 모델을 학습시킨다. ALBERT 사전학습 모델을 통해 입력 토큰의 표현을 얻은 후, 논항의 위치에 대응되는 표현을 따로 추상화하기 위한 계층형 트랜스포머 인코더 레이어 구조를 추가했다. 실험결과 Korean Propbank 데이터에 대해 F1 85.59의 성능을 보였다.

  • PDF

중심화 이론을 이용한 텍스트 구조화 (Text Structuring using Centering Theory)

  • 노지은;나승훈;이종혁
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제34권6호
    • /
    • pp.572-583
    • /
    • 2007
  • 본 논문에서는 자연스러운 텍스트 생성을 위한 여러 과정 중, 문장 순서를 결정하기 위한 텍스트 구조화(text structuring)에 관한 것으로, 중심화 이론(centering theory)에 기반하여 문장 순서의 자연스러움을 판단할 수 있는 다양한 평가 척도를 논의한다. 먼저, 기존 연구들에서 중심화 이론에 기반한 문장 순서의 평가 척도들 중 가장 효과적이라고 알려진 MIN.NOCB를 텍스트 구조화에 적용할 때 발생할 수 있는 문제점을 지적하고, 대안이 될 수 있는 새로운 평가 척도인 MAX.CPS를 제안한다. 또, 임의의 평가 척도가 주어진 문장들에 대해 가질 수 있는 기대치를 먼저 예측하고, 그것에 따라 다른 평가 척도를 적용하게 하는 프레임워크를 제안하여, 중심화 이론 안에서 최상의 문장 순서를 찾기 위한 새로운 방법론을 모색한다. 또한, 중심화 이론의 적용에 있어 핵심이라 할 수 있는, 명사들의 돋보임성(salience)을 서열화(cf-ranking) 하는 다양한 방식을 중심화 기반 문장 순서 평가 척도의 관점에서 분석하였다. 그 결과, 텍스트 구조화에 관한 한, 단순히 문장에서 실현된 순서에 따라 명사들의 돋보임성의 서열을 정하는 것이 한국어의 특성상 가장 간단하면서도 효율적임을 입증하였다.

엔지니어링 문서의 문장 자동 계층정의 방법론 (The methodology of automatic hierarchical definition for the sentences in engineering documents)

  • 박상일;김봉근;김경환;이상호
    • 한국전산구조공학회:학술대회논문집
    • /
    • 한국전산구조공학회 2009년도 정기 학술대회
    • /
    • pp.352-355
    • /
    • 2009
  • 본 연구에서는 토목분야의 엔지니어링 문서를 대상으로 자동으로 문장의 계층을 정의하여 비 구조화 문서를 준 구조화 문서로 변환하는 방법론을 제시하고, 이를 시범적으로 구현하였다. 이는 기본적으로 문장의 머리기호가 그 문서에서의 계층을 표현한다는 점을 바탕으로 연구가 이루어졌다. 이를 위하여 본 연구에서는 첫째, 문장을 머리기호와 내용으로 분리하는 방법을 개발하였고, 둘째, 분리한 머리기호를 바탕으로 머리기호간 상대적인 위치를 파악하여 문장의 계층을 정의하는 프로세스를 제안하였다. 또한 제안한 방법을 이용하여 구현한 시범 모듈을 실무에서 사용하는 엔지니어링 문서를 대상으로 성능을 평가하여 개발한 모듈의 효용성을 검증하였다.

  • PDF

한국어 관계절 문장의 이해 과정과 구조 (Comprehension Processes and Stuctures of Korean Relative Clause Sentence)

  • 김영진
    • 인지과학
    • /
    • 제6권2호
    • /
    • pp.5-27
    • /
    • 1995
  • 본 논문에서는 관계절 문장의 마디별 읽기 시간을 측정한 세 실험 결과를 종합하여 한국어 문장 해독의 처리 전략 및 수행 구조를 제안하였다. 첫째로,읽기 시간의 증가가 주로 명사 마디에서 일어났다는 결과에 근거해,한국어 해독이 명사 중심으로 이루어질 가능성에 대하여 논의하였다. 둘째로 문장 구조의 특성과 작업 기억의 부담을 읽기 시간의 증감과 관련지어 세가지 처리를 구분하였으며,병행기능 효과를 설명하기 위한 처리 전략을 제안하였다.셋째로 인접한 마디간의 읽기 시간의 차이에 기초해 관계절 문장 이해의 수행 구조를 제안하였다.이들 전략과 수행 구조는 관계절문장에서 보이는 마디별 읽기 시간의 변화를 잘 설명할 뿐만 아니라,현재 실험 자료가 없는 관계절 문장 유형에서 마디별 읽기 시간이 어떻게 나타날 것인지를 예측할 수 있게 한다.마지막으로 앞으로의 실험을 위한 여러 생각들을 논의 하였다.

  • PDF