• The Journal of the Acoustical Society of Korea
• /
• v.21 no.4
• /
• pp.407-414
• /
• 2002

In this paper, we present a method that automatically generates concatenate morpheme based language models to improve the performance of Korean large vocabulary continuous speech recognition. The focus was brought into improvement against recognition errors of monosyllable morphemes that occupy 54% of the training text corpus and more frequently mis-recognized. Knowledge-based method using POS patterns has disadvantages such as the difficulty in making rules and producing many low frequency concatenate morphemes. Proposed method automatically selects morpheme-pairs from training text data based on measures such as frequency, mutual information, and unigram log likelihood. Experiment was performed using 7M-morpheme text corpus and 20K-morpheme lexicon. The frequency measure with constraint on the number of morphemes used for concatenation produces the best result of reducing monosyllables from 54% to 30%, bigram perplexity from 117.9 to 97.3. and MER from 21.3% to 17.6%.

• Annual Conference on Human and Language Technology
• /
• 1999.10e
• /
• pp.249-254
• /
• 1999

자연어 분석에서 발생하는 가장 큰 문제점은 분석의 각 단계에서 필요 이상의 모호성이 발생하는 것이다. 이러한 모호성은 각각의 분석 단계에서는 반드시 필요한 결과일 수 있지만 다음 단계의 관점에서는 불필요하게 과생성된 자료로 볼 수 있다. 특히 한국어 형태소 분석 단계는 주어진 문장에 대해 최소의 의미를 가지는 형태소로 분석하기 때문에 과생성된 결과를 많이 만들어 내는데, 이들 대부분이 보조용언이나 의존 명사를 포함하는 형태소열에서 발생한다. 품사 태깅된 코퍼스에서 높은 빈도를 나타내는 형태소들을 분석해 보면 주위의 형태소와 강한 결합 관계를 가지는 것을 발견할 수 있다. 이러한 형태소는 대부분 자립성이 없는 기능형태소로서, 개개의 형태소가 가지는 의미의 합으로 표현되기보다는 문장내에서 하나의 구문 단위로 표현될 수 있다. 본 논문에서는 이 형태소 열을 구문 형태소로 정의하고, 필요한 경우 일반 형태소 해석의 결과를 구문 형태소 단위로 결합하고 이를 바탕으로 구문 해석을 하는 방법을 제안한다. 구문 형태소 단위를 이용하여 구문해석을 수행함으로써, 형태소 해석 결과의 축소를 통해 불필요한 구문 해석 곁과를 배제할 수 있다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04c
• /
• pp.489-491
• /
• 2003

한국어는 형태론적 변형 현상이 자주 일어나게 되어 최종적으로 음성인식의 성능에 졸지 않은 영향을 끼친다. 본 논문에서는 연속음성 인식의 성능 개선을 위해 형태론적 변형을 처리하는 방법을 제시하고 짧은 형태소를 결합하여 의사형태소를 추출하고자 한다. 이 방법은 음성인식의 성능 개선을 위하여 품사세트와 사전을 다시 정의하고 텍스트 정규화를 수행한다. 그리고 불규칙 용언 처리의 규칙을 작성하고 나머지 형태론적 변형현상은 에러 패턴을 분석하여 빈출 어휘 중심 및 다단계로 규칙 처리하였다. 마지막으로, 단음절 형태소들을 결합함으로써 최종적으로 원하는 의사형태소를 구할 수 있었다. 제안된 시스템은 오 인식률이 높은 단음절 형태소들을 결합하여 성능 향상이 기대됨은 물론, 형태론적 변형현상에서는. 9~10%의 높은 성능 향상을 가져올 수 있었다.

• Korean Journal of Cognitive Science
• /
• v.3 no.1
• /
• pp.25-39
• /
• 1991

When an ending which begins with 'a/a'combines to a stem,'a/a'can be deleted.Especially when ot combines to an h-irregular verb,it is represented as a variant like '-a-','-e-','-ia-',or'-ie-'.In order to analyze the variants of 'a/a',we suggest the format of a grammatical morpheme dictionary which is represented as a binary tree and several procedures which process the variants so that the unexpected errors can be removed which occur frequently when we analyze Korean worl phrase.

• Annual Conference on Human and Language Technology
• /
• 2015.10a
• /
• pp.53-58
• /
• 2015

본 연구는 한국어 정보처리를 위한 형태소 연구 중 선어말어미 분석과 합성을 위한 처리 모형을 제안한다. 이를 위해 (1) 어미를 정의하고 선정한 뒤 (2) 낱말 패러다임 형태 이론에 기반하여 동사 어간을 그 특징에 따라 적절하게 분류한다. (3) 또한 형태소 결합을 위해 필요한 조작들을 기술하고 (4) 마지막으로 어미의 결합 순서와 결합 제약을 만족시킬 규칙을 만들어 제시함으로써 각 조작과 규칙을 이용하여 기계 분석을 하기 위한 프로그램 모형을 내놓는다.

• Annual Conference on Human and Language Technology
• /
• 2013.10a
• /
• pp.9-12
• /
• 2013

본 논문에서는 한국어 형태소 분할 및 품사 태깅 방법을 위한 결합 모델로 Semi-CRF와 Linear-chain CRF에 대한 초기 비교 실험을 수행한다. Linear-chain방법은 출력 레이블을 형태소 분할 정보와 품사 태그를 조합함으로써 결합을 시도하는 방식이고, Semi-CRF는 출력의 구조가 분할과 태깅 정보를 동시에 포함하도록 표현함으로써, 디코딩 과정에서 분할과 태깅을 동시에 수행하는 방법이다. Sejong품사 부착말뭉치에서 비교결과 Linear-chain방법이 Semi-CRF방법보다 우수한 성능을 보여주었다.

• Journal of KIISE:Software and Applications
• /
• v.27 no.7
• /
• pp.784-793
• /
• 2000

The conventional morphological analysis of Korean language presents various morphological ambiguities because of its agglutinative nature. These ambiguities cause syntactic ambiguities and they make it difficult to select the correct parse tree. This problem is mainly related to the auxiliary predicate or bound noun in Korean. They have a strong relationship with the surrounding morphemes which are mostly functional morphemes that cannot stand alone. The combined morphemes have a syntactic or semantic role in the sentence. We extracted these morphemes from 0.2 million tagged words and classified these morphemes into three types. We call these morphemes a syntactic morpheme and regard them as an input unit of the syntactic analysis. This paper presents the syntactic morpheme is an efficient method for solving the following problems: 1) reduction of morphological ambiguities, 2) elimination of unnecessary partial parse trees during the parsing, and 3) reduction of syntactic ambiguity. Finally, the experimental results show that the syntactic morpheme is an essential unit for reducing morphological and syntactic ambiguity.

• Journal of KIISE:Software and Applications
• /
• v.30 no.5_6
• /
• pp.476-486
• /
• 2003

There is no explicit spelling change information in part-of-speech tagged corpora of Korean. It causes some difficulties in acquiring the data to study Korean morphology, i.e. automatically in constructing a dictionary for morphological analysis and systematically in collecting the phenomena of the spelling changes from the corpora. To solve this problem, this paper presents a method to recognize spelling changes between morphemes of a Korean word in tagged corpora, only using a string matching, without using a dictionary and phonological rules. This method not only has an ability to robustly recognize the spelling changes because it doesn't use any phonological rules, but also can be implemented with few cost. This method has been experimented with a large tagged corpus of Korean, and recognized the 100% of spelling changes in the corpus with accuracy.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04c
• /
• pp.531-533
• /
• 2003

본 논문에서는 형태소 수준의 결합범주문법을 이용하여 형태소 분석을 포함한 자연언어처리의 여러 단계를 한 단계의 유도과정으로 처리하고 형태소 분석 단계에서 증가하는 애매성과 복잡도를 상위 분석 단계의 정보를 사용하여 줄이는 방법에 대해서 논한다. 한국어에서 나타나는 복잡한 언어 현상 중에 하나인 용언의 불규칙 활용을 확률 정보뿐만 아니라 음운정보를 포함만 통사 정보나 의미 정보 등의 상위 정보를 사용하여 처리하여보고 일반적인 형태소 분석기로서의 발전 가능성에 대해서 알아본다.

• KIPS Transactions on Software and Data Engineering
• /
• v.2 no.12
• /
• pp.865-872
• /
• 2013

Two-level morphology analysis method is one of rule-based morphological analysis method. This approach handles morphological transformation using rules and analyzes words with morpheme connection information in a lexicon. It is independent of language and Korean Two-level system was also developed. But, it was limited in practical use, because of using very small set of lexicon built manually. And it has also a over-generation problem. In this paper, we propose an automatic construction method of Korean Two-level lexicon for PC-KIMMO from morpheme tagged corpus. We also propose a method to solve over-generation problem using lexical information and sub-tags. The experiment showed that the proposed method reduced over-generation by 68% compared with the previous method, and the performance increased from 39% to 65% in f-measure.