• Title/Summary/Keyword: Parsing technology

Search Result 153, Processing Time 0.026 seconds

Multi-path LR parsing for nonsegmental words using one-pass strategy (원-패스 전략을 사용하는 미분절어를 위한 다중-경로 LR 파싱)

  • Lee, Gi-O;Lee, Yong-Seok
    • Annual Conference on Human and Language Technology
    • /
    • 1994.11a
    • /
    • pp.146-154
    • /
    • 1994
  • 한국어는 단어들 사이에 공백이 없는 미분절어이기 때문에, 한국어를 분석하기 위해서는 단어의 경계를 식별하는 분절이 선행되어야 한다. 분절은 쉽지 않은 과정이고 잘못된 분절은 구문분석, 의미 분석 단계에서 심각한 오류를 유발하기 때문에 형태소 분석의 중요한 작업중의 하나가 되어왔다. 기존의 한국어 분석 시스템들은 분절의 어려움으로 인하여 입력 문자열의 끝까지 읽은 후, 우에서 좌로 분석하는 two-pass 전략이나 단어들 사이에 공백을 삽입하여 처리하는 방법을 사용하였다. 또한 이 시스템들은 형태소 분석이 완결된 후, 파서에게 결과를 전달하는 순차적인 전략을 사용하였다. 본 논문은 영어의 분석과 같이 형태소 분석 동안에 파싱을 할 수 있는 one-pass 전략을 사용하여 한국어를 효율적으로 처리하는 모델을 제안한다. 이를 위해 형태소 분석 방법으로써 확장된 최장일치법을 제시하며, 위 방법에서 생성되는 문제점인 다중-범주 구를 처리하기 위하여 다중-경로 LR 파싱을 제시한다.

  • PDF

Post-processor of Parsing Results Using Case Frames (한국어 동사의 격틀 정보를 이용한 구문분석 후처리기)

  • Jeon, Eun-Hee;Lee, Song-Wook;Seo, Jeon-Yun
    • Annual Conference on Human and Language Technology
    • /
    • 2001.10d
    • /
    • pp.445-449
    • /
    • 2001
  • 언어를 컴퓨터로 처리하기 위한 방법으로 격문법(Case Grammar)을 사용하는 것이 있다. 격문법은 동사에 대한 격틀(Case Frame)을 기술함으로써 그 동사와 의미적으로 관계를 가지는 명사들에 대해 표현하는 것이다. 따라서 이러한 격 문법을 사용하기 위해서는 동사에 대한 격틀을 기술하는 것이 필수 과제이다. 본 연구에서는 동사에 대한 격틀을 기술하기 위해서 말뭉치에서 직접 사용된 명사-조사 쌍과 동사를 추출하여 이들의 격관계를 결정하고 이 자료들을 모두 동사의 격틀 정보로 사용하였다 이렇게 구축된 격틀 자료를 구문분석의 후처리 단계에 적용하여 구문분석 결과 잘못된 명사-조사 쌍 의존관계를 수정하였다.

  • PDF

A Korean Grammar Chacker Founded on Expanded Lexical Disambiguation Rule and Partial Parsing (확장한 어휘적 중의성 제거 규칙에 따른 부분 문장 분석에 기반한 한국어 문법 검사기)

  • Park, Su-Ho;Kwon, Hyuk-Chul
    • Annual Conference on Human and Language Technology
    • /
    • 2001.10d
    • /
    • pp.516-522
    • /
    • 2001
  • 본 논문에서는 한국어 형태소 분석기가 처리할 수 없는 어휘적 중의성 해결을 위한 방법으로 부분 문장 분석 기법을 연구한다. 부분 문장 분석 기법의 신뢰도를 높이기 위해서 말뭉치를 이용한 데이터를 통해 학습한 경험적 규칙을 이용한다. 학습한 경험적 규칙을 오류 유형에 따라 확장하고 전문화하여 축적된 연구결과를 지식 베이스로 삼아 한국어 맞춤법 및 문법 검사기에서 사용하는 부분 문장 분석기의 성능을 향상시킨다. 본 논문에서 사용한 확장하고 전문화한 지식 베이스는 말뭉치에서 얻은 경험적 규칙을 기반으로 한다. 이 경험적 규칙은 언어적 지식을 기반으로 한다.

  • PDF

Korean Dependency Structure Analyzer based on Probabilistic Chart Parsing (확률적 차트 파싱에 기반 한 한국어 의존 구조 분석기)

  • Eun, Ji-Hyun;Jeong, Min-Woo;Lee, Gary Geun-Bae
    • Annual Conference on Human and Language Technology
    • /
    • 2005.10a
    • /
    • pp.105-111
    • /
    • 2005
  • 정형적인 프로그래밍 언어에서는 언어를 기계적으로 해석하기 위해 입력의 구조적인 형태를 구축하는 파싱이 필수적인 과정으로 여겨진다. 기계에 기반 해서 개발된 프로그래밍 언어와 달리, 인간의 자유로운 의사소통을 위해 형성된 자연어는 특유의 다양성으로 인해 어휘, 구문, 의미 분석이 매우 어렵다. 반대로 자연어 구조 분석이 성공적으로 이루어지면 응용 시스템의 성능 향상에 상당한 기여를 할 것이라고 여겨지고, 이로 인해 끊임없이 자연어 처리, 특히 구문 분석에 많은 연구가 이루어지고 있다. 본 논문에서는 파싱에 사용되는 문법 전체를 말뭉치로부터 자동 구축하여 영역별 이식성 및 문법의 효율성을 도모했다. 또한 확률적 차트 파싱 기법과 immediate-head 파싱 모델을 적용하여 기존 파싱 시스템의 성능 향상을 시도했다. 세종 말뭉치를 이용한 파서의 성능은 각각 LP/LR 78.98%/79.55%로 나타났다.

  • PDF

Shift-first Strategy for Resolving Conflicts in the LR Parsing (LR 파싱에서 충돌 해결을 위한 Shift 우선 전략)

  • Lee, Yong-Seok;Hwang, Yi-Gyu
    • Annual Conference on Human and Language Technology
    • /
    • 1996.10a
    • /
    • pp.484-488
    • /
    • 1996
  • LR 파싱은 프로그래밍 언어를 위한 빠른 파싱 방법을 제공한다. 그러나 이 방법의 단점은 자연어와 같은 다양한 모호성을 가지는 문법에 적합하지 못하다. 모호성을 가지는 문법은 파싱 테이블 상에서 충돌을 야기하게 되는데 이를 해결하는 방법에 대한 연구가 많이 있어 왔다. 문장이 길어질 경우 구문 분석 도중 이러한 모호성이 파싱 효율에 큰 영향을 미치게 되는데, 본 논문에서는 Shift 우선 전략으로 LR 파싱의 효율적인 특징을 유지하면서 이러한 충돌을 해결할 수 있음을 보인다.

  • PDF

Korean Dependency Parsing using Deep Learning (딥 러닝을 이용한 한국어 의존 구문 분석)

  • Lee, Changki;Kim, Junseok;Kim, Jeonghee
    • Annual Conference on Human and Language Technology
    • /
    • 2014.10a
    • /
    • pp.87-91
    • /
    • 2014
  • 일반적인 기계학습 기반의 자연어처리 모듈의 개발에서 자질의 설계와 최적의 자질 조합을 구하는 작업은 많은 시간과 노력이 필요하다. 본 논문에서는 딥 러닝 기술을 전이 기반 방식의 한국어 의존 구문 분석에 적용하여 자질 튜닝 작업에 들어가는 많은 시간과 노력을 줄일 수 있음을 보인다. 또한 딥 러닝을 적용하기 위해 필요한 다양한 단어 표현(word embedding) 모델을 적용하여 최적의 단어 표현 모델을 알아내고, 성능 향상을 위해 최근에 개발된 Drop-out 및 Rectified Linear hidden Unit(ReLU) 기술을 적용한다. 실험결과, 기존 한국어 의존 구문 분석 연구들보다 높은 UAS 90.37%의 성능을 보였다.

  • PDF

Korean Parsing using Machine Learning Techniques (기계학습 기법을 이용한 한국어 구문분석)

  • Lee, Yong-Hun;Lee, Jong-Hyeok
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2008.06c
    • /
    • pp.285-288
    • /
    • 2008
  • 최근의 구문분석 연구는 컴퓨터 성능 향상과 사용 가능한 대량의 구문분석 말뭉치 증가, 견고한 기계학습 기법 개발 등에 힘입어 통계적인 모델 연구가 꾸준히 증가하고 있다. 본 논문에서는 기존에 개발된 다양한 기계학습 기법 중 ME(Maximum Entropy) 모델과 SVM(Support vector machine) 모델을 이용한 한국어 구문분석 방법을 제안한다. 국어정보베이스(KIBS) 구문분석 말뭉치를 가지고 실험한 결과 SVM 모델을 이용한 한국어 구문분석기가 기존의 확률 기반 통계적 한국어 구문분석기의 성능보다도 최대 1.84% 높은 87.46%의 의존관계 결정 정확률을 보였다. 추후 언어지식을 반영한 다양한 자질들을 이용할 경우 성능 향상이 기대된다.

  • PDF

Automatic Acquisition of Lexical-Functional Grammar Resources from a Japanese Dependency Corpus

  • Oya, Masanori;Genabith, Josef Van
    • Proceedings of the Korean Society for Language and Information Conference
    • /
    • 2007.11a
    • /
    • pp.375-384
    • /
    • 2007
  • This paper describes a method for automatic acquisition of wide-coverage treebank-based deep linguistic resources for Japanese, as part of a project on treebank-based induction of multilingual resources in the framework of Lexical-Functional Grammar (LFG). We automatically annotate LFG f-structure functional equations (i.e. labelled dependencies) to the Kyoto Text Corpus version 4.0 (KTC4) (Kurohashi and Nagao 1997) and the output of of Kurohashi-Nagao Parser (KNP) (Kurohashi and Nagao 1998), a dependency parser for Japanese. The original KTC4 and KNP provide unlabelled dependencies. Our method also includes zero pronoun identification. The performance of the f-structure annotation algorithm with zero-pronoun identification for KTC4 is evaluated against a manually-corrected Gold Standard of 500 sentences randomly chosen from KTC4 and results in a pred-only dependency f-score of 94.72%. The parsing experiments on KNP output yield a pred-only dependency f-score of 82.08%.

  • PDF

Maximally Efficient Syntactic Parsing with Minimal Resources (최소자원 최대효과의 구문분석)

  • Shin, Hyo-Pil
    • Annual Conference on Human and Language Technology
    • /
    • 1999.10e
    • /
    • pp.242-248
    • /
    • 1999
  • 이 논문은 지역적 동사구 분할에 바탕을 두고 서술어가 문말에 위치하는 언어에 특성에서 기인하는 속성을 반영하는 부분적 그러나 빠른 구문분석에 관해 논한다. 즉 완벽성 보다는 신속함 그리고 신뢰에 바탕을 둔 새로운 한국어 구문분석에 대해 논의한다. 기존의 문법이론 대신 한국어의 형태적 통사적 특성에 기인한, 성분들의 분할(partitions)에 의한 단위 (chunks) 분석방법을 제안한다. 근간은 동사구 장벽(VP-barrier) 알고리즘이며, 이 알고리즘은 한 문장안에서의 다양한 동사의 파생접사에 의해 형성되는 관형화, 명사화, 부사화 등의 파생구조와 내포된 동사구(인용문, 종속문 등)에 의해 형성되는 지역적 동사구내에서 그 성분들의 논리적인 분할을 구성하고 다시 그 다음 요소와 체계적으로 결합하는 관계로 확장하여 가능한 구조들을 생성한다. 다시 언어의존적인 발견적 규칙(heuristics)들을 점수화하여 가장 높은 점수의 단위구조를 적격한 구조로 선택한다. 이 방법은 하위범주화 및 의미정보를 사용하지 않는, 빠른 구문분석이 요구되는 시스템을 위해 고안되었으며, 집단적인 노력이 아닌 개인적인 노력 및 최소의 자원으로도 최대의 효과를 얻을 수 있다는데 그 의의가 있다.

  • PDF

Korean Parsing using Sejong Dictionary (세종전자사전을 활용한 한국어 구문분석)

  • Seong, Yeolwon
    • Annual Conference on Human and Language Technology
    • /
    • 2007.10a
    • /
    • pp.261-268
    • /
    • 2007
  • 본 논문에서는 세종전자사전의 정보를 활용하여 논항 결합의 정확도를 향상시키는 한국어 구문분석 모델을 제안한다. 구문분석 과정에서 노드간의 결합 가능성을 계산할 때, 세종전자사전 동사사전의 격틀 정보, 논항 제약 정보와 명사사전의 의미부류 정보를 활용하여 가산점을 부여하여 사전의 내용과 일치하는 결합이 선호되도록 하였다. 이 과정에서 구조적 오류를 해결할 수 있었고, 결합에 참여하는 동사와 명사의 의미 중의성도 해소할 수 있었다. 평균 13어절 길이의 실험용 문장 50개를 대상으로 실험한 결과, 35% 정도의 오류 감소 효과를 볼 수 있었다. 또한 구문분석 결과 정보를, 전자 사전에 기술된 정보의 완결성을 시험하고 보완하는 데에도 활용하였다.

  • PDF