• 한국어정보학회:학술대회논문집
• /
• 2016.10a
• /
• pp.285-290
• /
• 2016

한국어는 형태론적으로 굴절어에 속하는 언어로서, 어휘의 형태가 문장 속에서 문법적인 기능을 하게 되고, 형태론적으로 풍부한 언어라는 특징 때문에 조사나 어미와 같은 기능어들이 다양하게 내용어들과 결합한다. 이와 같은 특징들은 한국어를 대상으로 하는 구 기반 통계적 기계번역 시스템에서 데이터 부족문제(Data Sparseness problem)를 더욱 크게 부각시킨다. 하지만, 한국어의 몇몇 조사와 어미는 함께 결합되는 내용어에 따라 의미는 같지만 두 가지의 형태를 가지는 이형태로 존재한다. 따라서 본 논문에서 이러한 이형태들을 하나로 표준화하여 데이터부족 문제를 완화하고, 베트남-한국어 통계적 기계 번역에서 성능이 개선됨을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2016.10a
• /
• pp.285-290
• /
• 2016

한국어는 형태론적으로 굴절어에 속하는 언어로서, 어휘의 형태가 문장 속에서 문법적인 기능을 하게 되고, 형태론적으로 풍부한 언어라는 특징 때문에 조사나 어미와 같은 기능어들이 다양하게 내용어들과 결합한다. 이와 같은 특징들은 한국어를 대상으로 하는 구 기반 통계적 기계번역 시스템에서 데이터 부족 문제(Data Sparseness problem)를 더욱 크게 부각시킨다. 하지만, 한국어의 몇몇 조사와 어미는 함께 결합되는 내용어에 따라 의미는 같지만 두 가지의 형태를 가지는 이형태로 존재한다. 따라서 본 논문에서 이러한 이형태들을 하나로 표준화하여 데이터부족 문제를 완화하고, 베트남-한국어 통계적 기계 번역에서 성능이 개선됨을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.536-539
• /
• 2021

본 논문은 한국어에서 형태소 복원을 위한 새로운 방법을 제안한다. 일반적으로 기계학습 기반 형태소 분석에서 형태소 복원은 기분석 사전과 약간의 경험규칙을 이용한다. 이와 같은 방법은 모호성을 해결하기 위해 사전에 모든 정보를 저장하는 것이 불가능할 뿐 아니라 단음절 이형태의 모호성을 해결할 수 없을 것이다. 이러한 문제를 완화하기 위해 본 논문에서는 생성된 모호성을 Viterbi 알고리즘을 이용해서 해소한다. 본 논문의 형태소 복원 과정은 기본적으로 기분석 사전과 약간의 경험규칙을 이용하여 형태소 복원 후보를 찾고 여러 후보가 있을 경우(모호성의 생성), 그 결과를 Viterbi 알고리즘으로 이형태를 결정한다. 실험을 위해 모두의 말뭉치(형태 분석)를 사용하고, 평가는 NER 방식으로 평가한다. 그 결과 품사 부착에 대해 96.28%정도의 성능을 보여주었다.

• Annual Conference on Human and Language Technology
• /
• 1996.10a
• /
• pp.207-215
• /
• 1996

대량의 코퍼스를 이용해 여러 가지 일반적인 언어 현상을 관찰하고, 언어 지식을 자동으로 획득하여 자연 언어 처리의 여러 분야에 이용하는 등의 연구가 활발히 진행되고 있으며, 이에 따라 코퍼스에 대한 필요성이 날로 증가하고 있다. 코퍼스에서 추출할 수 있는 유용한 지식 중의 하나가 구문 관계 지식이다. 그러나 한국어에 자주 나타나는 격이동이나 생략 현상, 복합어의 이형태 등은 정확한 지식 획득을 어렵게 할 뿐 아니라 자료 회귀 문제를 더욱 심화시킨다. 본 논문에서는 한국어의 문법적인 특징을 반영한 코퍼스정규화에 의해 이러한 문제를 해결하고자한다.

• Annual Conference on Human and Language Technology
• /
• 1996.10a
• /
• pp.268-283
• /
• 1996

동사 어간과는 달리 명사 어간은 그 자체로도 어형(word form)이 될 수 있다. 그러나 일반적으로는 명사 어간에 조사가 하나 또는 여러 개가 결합되어 어형이 형성된다. 이 논문은 이러한 명사 어형을 효율적으로 생성할 수 있는 규칙기반의 어형 생성 시스템 골몰(KORean MORphological system)이 어떻게 운용되는가를 시연하는 것이 그 목적이다. 이 시스템 변이형 포함한 기본 조사 108개를 기초로 하여 3,000여개의 복합형 조사를 생성한다. 그러나 국어의 명사 어간에 조사가 하나뿐 아니라 6개까지도 결합될 수 있으므로 명사 어형 생성과정에서 과잉 생성의 문제 발생한다. 생성 과정을 통제하기 위하여 골몰은 기본 조사에 결합 순서치(Order)를 할당하고 좌연접 요구(Requires) 조건을 명시하여 줌으로써 조사가 이미 도입된 좌측의 명사 어간과 적절히 결합될 수 있도록 장치되었다. 이 논문은 명사 어간과 조사의 이러한 결합 통제 조건을 논하고 골몰을 통해 명사 어형들이 어떻게 분석되고 생성되는가를 간단히 예를 보여 줌으로써 시스템의 충족성을 뒷받침한다.

• Cross-Cultural Studies
• /
• v.36
• /
• pp.271-291
• /
• 2014

In this paper, we maintain that case makers '에e' and '에게ege', and '에서eseo' and '에게서egeseo' are not two separate morphemes but are simply allomorphs of the same morphemes respectively. When '에e' and '에게ege' are used as a dative marker, they show exactly the same semantic function and are in complementary distribution in relation to the semantic features of their preceding noun; that is, if the preceding noun is an animate noun, '에게ege' is used and '에e' is used if not. Also, '에게서egeseo' and '에서eseo' as ablative and locative case makers show exactly the same semantic function and show complementary distribution depending on whether the preceding noun is animate or non-animate. Therefore, we assume that these markers are semantically conditioned allomorphs.

• Annual Conference on Human and Language Technology
• /
• 2008.10a
• /
• pp.177-182
• /
• 2008

본 논문에서는 질의응답시스템에서 응답 추출 대상 문서로 사용할 적절한 문서를 찾는 방법으로 기계 학습 기반의 문서 품질 평가 기법을 사용한다. 본 논문에서는 기존 연구와 달리 객관적인 정보를 많이 포함하고 있는 문서를 선별하는 목적으로 문서 품질 평가를 위한 유용한 자질들을 제안한다. 본 논문에서 정의한 정보성 자질은 정보의 양을 측정하는 자질과 정보의 객관성을 측정하는 자질로 구성된다. 실험 결과, 기존 문서 품질 평가 연구에서 주로 사용된 자질들만 사용한 경우와 새로운 자질들을 추가한 경우를 비교하였을 때, 1.5배 정도 높은 평균 정확률을 보였다. 제안하는 자질들 중에는 정보성 자질이 매우 유용한 자질이었고, 가독성 자질은 비교적 낮은 성능을 보였다. 문서의 여과 실험 결과, 96.4%의 재현율을 유지하면서 전체 문서 집합 중, 60%에 해당하는 저품질 문서를 여과할 수 있었다.

• Cross-Cultural Studies
• /
• v.50
• /
• pp.425-451
• /
• 2018

In this paper, we examined the issues of the discussions on the subject of doublets. In general, as a definition, the use of doublets refer to a pair of words which have a common etymon, but also to a pair of words or grammatical morphemes that have the same meaning and similar forms of the word. In this paper, we have seen that a typical pairing word is a pair of words with a common etymology. Generally speaking, it is possible to divide doublets into subtypes depending on the identified similarities or differences in the meaning or form. The most distant type from the typical type of doublets is a pair of words that do not have a common etymon, but have the same meaning and are similar in form. The second issue about doublets is whether doublets include only words. For example, if some josas (postpositions or particles) have a common etymon, then it is noted that they can be accepted as a kind of doublets. In the case of suffixes, it may be possible to recognize the suffixes as doublets if they have a common etymon. In other words, it is not necessary to recognize the suffixes as doublets because the derivatives which are derived by the suffixes can be accepted as doublets. In the case of endings, it may be possible to recognize a pair of endings which have the same meaning and the common etymon as a doublet. Otherwise, the word forms to which the endings are combined can be accepted likewise as doublets. However, considering the fact that the endings typically in use in the Korean language may have syntactic properties, the endings should be considered as doublets rather than the words which have the endings. Finally, we conclude that there may be some debate as to whether stem doublets or ending doublets belong to a lexical item in the lexicon. It can be said that they are plural underlying forms and may be deserving of further research.