• 제목/요약/키워드: Korean Parser

검색결과 168건 처리시간 0.039초

LL 언어의 특징화 (Characterization of LL languages)

  • 이경옥
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제29권1_2호
    • /
    • pp.126-131
    • /
    • 2002
  • 주어진 문법이 LL 언어를 생성하는가의 문제를 LL 변환 가능성의 관점에서 조사한다. LL 변환 가능 문법을 특징짓기 위해 기존의 방법은 비결정적인(nondeterministic) 복잡한 파서의 생성을 필요로 한다. 이에 기존 방법으로는 LL 언어의 본질에 대한 직관적인 이해가 어렵다. 이 단점을 극복하고자 본 논문에선 파서의 생성 없이 문법 자체의 분석을 통한 문법 유도(derivation)에 근거한 특징화를 제시한다. 새로운 특징화는 LL 언어의 본질에 대한 직관적인 이해를 도울 수 있다.

Proper Noun Embedding Model for the Korean Dependency Parsing

  • Nam, Gyu-Hyeon;Lee, Hyun-Young;Kang, Seung-Shik
    • Journal of Multimedia Information System
    • /
    • 제9권2호
    • /
    • pp.93-102
    • /
    • 2022
  • Dependency parsing is a decision problem of the syntactic relation between words in a sentence. Recently, deep learning models are used for dependency parsing based on the word representations in a continuous vector space. However, it causes a mislabeled tagging problem for the proper nouns that rarely appear in the training corpus because it is difficult to express out-of-vocabulary (OOV) words in a continuous vector space. To solve the OOV problem in dependency parsing, we explored the proper noun embedding method according to the embedding unit. Before representing words in a continuous vector space, we replace the proper nouns with a special token and train them for the contextual features by using the multi-layer bidirectional LSTM. Two models of the syllable-based and morpheme-based unit are proposed for proper noun embedding and the performance of the dependency parsing is more improved in the ensemble model than each syllable and morpheme embedding model. The experimental results showed that our ensemble model improved 1.69%p in UAS and 2.17%p in LAS than the same arc-eager approach-based Malt parser.

스트리밍 동기화 데이터 처리를 위한 단말 소프트웨어 개발에 관한 연구 (A study of STB software development for streaming synchronized data processing)

  • 신중목;유지상
    • 한국통신학회논문지
    • /
    • 제29권6A호
    • /
    • pp.690-696
    • /
    • 2004
  • 국내 지상파 데이터 방송 전송 규격인 ATSC(advanced television systems committee)-A/9O에서는 메인 프로그램과 긴밀한 시간관계가 요구되는 동기화 데이터로써 DSM-CC(Digital storage media command and control) section의 형태로 전송되는 비스트리밍 동기화 데이터와 PES(packetized elementary stream) packet의 형태로 전송되는 스트리밍 동기화 데이터를 규정하고 있다. 본 논문의 목적은 ATSC A/90 규격에 정의된 스트리밍 동기화 데이터 처리를 위한 알고리즘을 구현하고 검증하는데 있다. 이를 위하여 windows 환경 하에서 스트리밍 동기화 데이터를 포함한 PES packet을 분석하는 parser와 분석된 데이터의 재생을 위한 player를 구현하였다. 또한, 구현된 알고리즘의 검증을 위하여 디지털 데이터 방송 수신카드를 탑재한 한국전자통신연구원의 PC형 STB(Set-top Box)에 알고리즘을 포팅하여 실험 환경을 구축하고, 스트리밍 동기화 데이터를 삽입한 MPEG-2 TS(transport stream)를 이용하여 알고리즘이 포팅된 시스템의 동작을 확인하였다.

효율적인 한국어 파싱을 위한 최장일치 기반의 형태소 분석기 기능 확장 (Functional Expansion of Morphological Analyzer Based on Longest Phrase Matching For Efficient Korean Parsing)

  • 이현영;이종석;강병도;양승원
    • 디지털콘텐츠학회 논문지
    • /
    • 제17권3호
    • /
    • pp.203-210
    • /
    • 2016
  • 한국어는 문장 구성소의 생략과 수식 범위가 자유롭기 때문에 파싱보다는 형태소 분석 단계에서 처리하면 좋은 경우가 있다. 본 논문에서는 파싱의 부담을 덜어 줄 수 있는 형태소 분석기의 기능 확장 방안을 제안한다. 이 방법은 미지어의 추정, 복합 명사 및 복합동사의 처리, 숫자 및 심볼의 처리에 의해 여러 형태소 열이 하나의 구문 범주를 가질 때 이것을 최장일치 방법으로 결합하고 의미 자질을 부여하여 하나의 구문 단위로 처리하는 것이다. 제안한 형태소 분석 방법은 불필요한 형태론적 모호성이 제거되고 형태소 분석 결과가 줄어들어 태거 및 파서의 정확률이 향상되었다. 또한, 실험을 통해 파싱트리는 평균 73.4%, 파싱 시간은 평균 52.9%로 줄었음을 보인다.

영어 구문 분석의 효율 개선을 위한 3단계 구문 분석 (Three-Phase English Syntactic Analysis for Improving the Parsing Efficiency)

  • 김성동
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권1호
    • /
    • pp.21-28
    • /
    • 2016
  • 영어 구문 분석기는 영한 기계번역 시스템의 성능에 가장 큰 영향을 미치는 부분이다. 본 논문에서의 영어 구문 분석기는 규칙 기반 영한 기계번역 시스템의 한 부분으로서, 많은 구문 규칙을 구축하고 차트 파싱 기법으로 구문 분석을 수행한다. 구문 규칙의 수가 많기 때문에 구문 분석 과정에서 많은 구조가 생성되는데, 이로 인해 구문 분석 속도가 저하되고 많은 메모리를 필요로 하여 번역의 실용성이 떨어진다. 또한 쉼표를 포함하는 긴 문장들은 구문 분석 복잡도가 매우 높아 구문 분석 시간/공간 효율이 떨어지고 정확한 번역을 생성하기 매우 어렵다. 본 논문에서는 실제 생활에서 나타나는 긴 문장들을 효율적으로 번역하기 위해 문장 분할 방법을 적용한 3단계 구문 분석 방법을 제안한다. 구문 분석의 각 단계는 독립된 구문 규칙들을 적용하여 구문 분석을 수행함으로써 구문 분석의 복잡도를 줄이려 하였다. 이를 위해 구문 규칙을 3가지 부류로 분류하고 이를 이용한 3단계 구문 분석 알고리즘을 고안하였다. 특히 세 번째 부류의 구문 규칙은 쉼표로 구성되는 문장 구조에 대한 규칙으로 구성되는데, 이들 규칙들을 말뭉치의 분석을 통해 획득하는 방법을 제안하여 구문 분석의 적용률을 지속적으로 개선하고자 하였다. 실험을 통해 제안한 방법이 문장 분할만을 적용한 기존 2단계 구문 분석 방법에 비해 유사한 번역 품질을 유지하면서도 시간/공간 효율 면에서 우수함을 확인하였다.

Processing Scrambled Wh-Constructions in Head-Final Languages: Dependency Resolution and Feature Checking

  • Hahn, Hye-ryeong;Hong, Seungjin
    • 한국언어정보학회지:언어와정보
    • /
    • 제18권2호
    • /
    • pp.59-79
    • /
    • 2014
  • This paper aims at exploring the processing mechanism of filler-gap dependency resolution and feature checking in Korean wh-constructions. Based on their findings on Japanese sentence processing, Aoshima et al. (2004) have argued that the parser posits a gap in the embedded clause in head-final languages, unlike in head-initial languages, where the parser posits a gap in the matrix clause. In order to verify their findings in the Korean context, and to further explore the mechanisms involved in processing Korean wh-constructions, the present study replicated the study done by Aoshima et al., with some modifications of problematic areas in their original design. Sixty-four Korean native speakers were presented Korean sentences containing a wh-phrase in four conditions, with word order and complementizer type as the two main factors. The participants read sentences segment-by-segment, and the reading times at each segment were measured. The reading time analysis showed that there was no such slowdown at the embedded verb in the scrambled conditions as observed in Aoshima et al. Instead, there was a clear indication of the wh-feature checking process in terms of a major slowdown at the relevant region.

  • PDF

의존문법 기반의 구간 분할법을 활용한 한국어 구문 분석기 (Korean Parser Using Segmentation Based on Dependency Grammar)

  • 박용욱
    • 한국정보통신학회논문지
    • /
    • 제13권8호
    • /
    • pp.1705-1712
    • /
    • 2009
  • 최근 대부분의 한국어 구문분석기는 의존문법(Dependency Grammar)을 사용하고 있는데, 그 이유는 한국어의 특성인 어순이 비교적 자유롭고 생략이 잦은 문장에 대한 처리가 용이하기 때문이다. 하지만 의존문법을 이용한 한국어 구문분석은 많은 중의성을 도출하는 문제점이 대두되고 있다. 본 논문에서는 이러한 중의성을 보다 효과적으로 해결하기 위하여 200개가 넘는 의존문법 규칙과 문장의 구성성분을 이용한 구간분할방법, 관형형어미가 붙은 용언에 대한 처리 및 같은 용언에 중복된 구성성분 결합제한 방법을 사용한 구문분석기를 제안한다. 실험 결과 중의성 제거에 많은 효과가 있음을 보여준다.

프로그램 재사용을 통한 한/영 기계번역시스템의 구현에 관한 연구 (On Implementation of Korean-English Machine Translation System through Program Reuse)

  • 김형근;양기철;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1993년도 제5회 한글 및 한국어정보처리 학술대회
    • /
    • pp.559-570
    • /
    • 1993
  • 본 논문에서는 범용 영어 생성기인 펜맨을 이용한 한/영 번역기에 대해 소개한다. 펜맨은 영어문장 생성기로서 그 입력 언어는 문장생성을 위해 특별히 고안된 문장계획언어이다. 문장계획언어는 문장을 생성하기 위한 다양한 구문적, 의미적인 사양들을 포함하고 있다. 본 연구에서 우리는 한국어 분석을 위해서 의존문법에 기반한 한국어 분석기를 사용하고, 영어의 생성을 위해서 펜맨을 사용한다. 그리고 한국어 해석의 결과인 문장의 의존구조를 펜맨의 입력인 문장계획언어로 변환하는 모듈을 작성하였다.

  • PDF

우리말 연속음성의 음절 분할법 (A Syllabic Segmentation Method for the Korean Continuous Speech)

  • 한학용;고시영;허강인
    • 한국음향학회지
    • /
    • 제20권3호
    • /
    • pp.70-75
    • /
    • 2001
  • 본 논문은 우리말 연속음성에 대한 음절단위 분할법을 제안한다. 이 방법은 다음 3단계로 이루어진다: (1) 음성의 시간영역 분할 파라메터인 피치, 에너지, ZCR, PVR을 이용하여 음성데이터를 자음, 자음. 묵음 단위로 라벨링하여 토큰 (Token)을 형성, (2) 형성된 토큰을 유한상태오토마타를 이용하여 한국어 음절구조로 파서 (Parser)를 설계하여 스캐닝 (Scanning), (3) 의사 음절핵 정보를 이용하여 두개 혹은 여러 개의 음절을 가지는 음성부분에 대한 재분할을 통하여 음절단위 분할 완성. 제안된 방법에 대한 성능 평가를 위해서 문장과 단어단위 연속음성에 대한 분할 실험결과 각각 73.7%와 85.9%의 분할률을 얻었다.

  • PDF

구조적 중의성 해결을 위한 명사 수식 부사 연구 (An Analysis of Noun-modifying Adverbs for Structural Disambiguation)

  • 황선영;이공주
    • 인지과학
    • /
    • 제13권4호
    • /
    • pp.42-42
    • /
    • 2002
  • 명사 수식 부사는 서술어를 수식하는 다른 부사들과 달리, 명사를 수식하는 기능을 수행하는 부사이다. 이들 부사들은 부사의 전형적인 기능과 다른 기능을 보이기 때문에 구문 분석시 많은 오류를 일으킨다. 이 연구에서는 명사 수식 부사를 포함한 구문이 보이는 분석의 오류를 해결하기 위하여 명사 수식 부사를 분류하고 명사 수식 부사들의 사용 양태를 살펴서 구문 분석시의 처리 방안을 수립하였다. 또한 이러한 작업이 실제로 분석의 정확도를 높이는 데 기여할 수 있음을 증명하기 위해 명사 수식 부사 처리기를 구현하여 구문 분석기의 성능 향상을 실험하였다. 제안된 방법에 의해서 구문 분석의 정확도는 81.9%에서 83.6% 정도로 향상되었다.