• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.13 no.8
• /
• pp.1705-1712
• /
• 2009

Recently, most Korean syntactic analysis systems use Dependency Grammar, because it is quite good to analysis of Korean language structures. But Dependency Grammar makes many ambiguities during syntax analysis of Korean. We implement a system which decreases many ambiguities in syntax analysis. To decrease ambiguities we suggest several methods. First, we use about 200 dependency rules, second, we suggest a new segmentation method and third, one predicate can not have more than one subject or object. Using these methods, we can reduce many ambiguities in Korean syntactic analysis.

• Proceedings of the Korean Society for Cognitive Science Conference
• /
• 2000.06a
• /
• pp.133-137
• /
• 2000

구문태그가 부착되지 않은 코퍼스를 사용하여 문법규칙의 확률을 훈련하는 비통제 학습(unsupervised learning) 방법의 대표적인 것이 CNF(Chomsky Normal Form)의 CFG(Context Free Grammar)를 입력으로 하는 inside-outside 알고리즘이다. 본 연구에서는 의존문법을 CNF로 변환하는 기법에 대해 논하고 의존문법을 위해 변형된 inside-outside 알고리즘을 논한다. 또한 이 알고리즘을 사용하여 실제 훈련한 결과를 보이고, 의존규칙과 구문구조 확률을 같이 사용하는 hybrid방식 구문분석기에 적용한 결과를 보인다.

• Journal of the Korea Society for Simulation
• /
• v.19 no.1
• /
• pp.103-111
• /
• 2010

Syntactic analysis is an important step in natural language processing. However, we cannot use the syntactic analyzer in Korean for low performance and without robustness. We propose new robust, high speed and high performance Korean syntactic analyzer using CRFs. We treat a parsing problem as a labeling problem. We use a cascaded chunking for Korean parsing. We label syntactic information to each Eojeol at each step using CRFs. CRFs use part-of-speech tag and Eojeol syntactic tag features. Our experimental results using 10-fold cross validation show significant improvement in the robustness, speed and performance of long Korea sentences.

• Annual Conference on Human and Language Technology
• /
• 1997.10a
• /
• pp.327-331
• /
• 1997

본 논문에서는 기계번역과 의미분석의 전단계로서의 구문분석에 대하여 논한다. 의존 문법에 기반을 둔 구문분석의 효율성을 위하여 한국어 어절에 대한 새로운 해석을 시도하며, 이를 기반으로 한국어 의존관계 파서의 새로운 기본 단위(SynN: Syntactic Node)를 제시한다. 또한 새로운 기본 단위를 구문분석 과정에 적용하는 방법과 그 결과를 보인다. 마지막으로, 구현된 구문분석기를 중간언어 방식 시스템인 한-중 기계번역 시스템에 채용하여 그 성능을 검증한다.

• Annual Conference on Human and Language Technology
• /
• 2008.10a
• /
• pp.23-28
• /
• 2008

한국어 처리에서 구문분석기에 대한 요구는 많은 반면 성능의 한계와 강건함의 부족으로 인해 채택되지 못하는 것이 현실이다. 본 연구는 구문분석을 레이블링 문제로 전환하여 성능, 속도, 강건함을 모두 실현한 시스템에 대해서 설명한다. 우리는 다단계 구 단위화(Cascaded Chunking)를 통해 한국어 구문분석을 시도한다. 각 단계에서는 어절별 품사 태그와 어절 구문표지를 자질로 사용하고 Conditional Random Fields(CRFs)를 이용하여 최적의 결과를 얻는다. 98,412문장 세종 구문 코퍼스로 학습하고 1,430문장(평균 14.59어절)으로 실험한 결과 87.30%의 구문 정확도를 보였다. 이 결과는 기존에 제안되었던 구문분석기와 대등하거나 우수한 성능이며 기존 구문분석기가 처리하지 못하는 장문도 처리 가능하다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2008.06c
• /
• pp.285-288
• /
• 2008

최근의 구문분석 연구는 컴퓨터 성능 향상과 사용 가능한 대량의 구문분석 말뭉치 증가, 견고한 기계학습 기법 개발 등에 힘입어 통계적인 모델 연구가 꾸준히 증가하고 있다. 본 논문에서는 기존에 개발된 다양한 기계학습 기법 중 ME(Maximum Entropy) 모델과 SVM(Support vector machine) 모델을 이용한 한국어 구문분석 방법을 제안한다. 국어정보베이스(KIBS) 구문분석 말뭉치를 가지고 실험한 결과 SVM 모델을 이용한 한국어 구문분석기가 기존의 확률 기반 통계적 한국어 구문분석기의 성능보다도 최대 1.84% 높은 87.46%의 의존관계 결정 정확률을 보였다. 추후 언어지식을 반영한 다양한 자질들을 이용할 경우 성능 향상이 기대된다.

• Annual Conference on Human and Language Technology
• /
• 1998.10c
• /
• pp.281-286
• /
• 1998

구문분석(syntactic analysis)은 형태소 분석된 결과를 입력으로 받아 구문단위간의 관계를 결정해 주는 자연어 처리의 한 과정이다. 그러나 구문분석된 결과는 많은 중의성(ambiguity)을 갖게 되며, 이러한 중의성은 이후의 자연어 처리 수행과정에서 많은 복잡성(complexity)를 유발하게 된다. 지금까지 이러한 문제를 해결하기 위한 여러 가지 연구들이 있었으며, 그 중 하나가 대량의 데이터로부터 추출된 통계치를 이용한 방법이다. 그러나, 생성된 모든 구문 트리(parse tree)에 통계치를 부여하고, 그것들을 순위화하는 것은 굉장히 시간 소모적인 일(time-consuming job)이다. 그러므로, 생성 가능한 트리의 수를 효과적으로 줄이는 방법이 필요하다. 본 논문에서는 이러한 문제를 해결하기 위해 개선된 beam search 알고리즘을 제안하고, 기존의 방법과 비교한다. 본 논문에서 제안된 beam search 알고리즘을 사용한 구문분석기는 beam search를 사용하지 않은 구문분석기가 생성하는 트리 수의 1/3정도만으로도 같은 구문 구조 정확률을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2010.10a
• /
• pp.73-77
• /
• 2010

본 논문은 의존 구조 분석기를 통합하기 위해 입력 문장의 단어 특성을 활용하는 단어 단위 분배기를 제안한다. 본 모델은 기존의 문장 수준 분배기와는 달리 입력 문장의 단어 특성에 따라 가장 적절한 의존 구조 분석기를 선택하고, 선택된 의존 구조 분석기의 결과를 최종 결과로 사용한다. 기존의 문장 단위 분배기보다 단어 수준의 풍부한 특질을 활용할 수 있다는 장점과 큰 크기의 코퍼스를 사용할 수 있다는 장점이 있다. 총 6개 언어의 LAS를 측정했는데, MALT 보다는 평균 1.98%, MST 보다는 0.54%의 성능 향상이 있었다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.103-107
• /
• 2020

의존구조 말뭉치는 자연언어처리 분야에서 문장의 의존관계를 파악하는데 널리 사용된다. 이러한 말뭉치는 일반적으로 오류가 없다고 가정하지만, 현실적으로는 다양한 오류를 포함하고 있다. 이러한 오류들은 성능 저하의 요인이 된다. 이러한 문제를 완화하려고 본 논문에서는 XGBoost와 교차검증을 이용하여 이미 구축된 구문분석 말뭉치로부터 오류를 탐지하는 방법을 제안한다. 그러나 오류가 부착된 학습말뭉치가 존재하지 않으므로, 일반적인 분류기로서 오류를 검출할 수 없다. 본 논문에서는 분류기의 결과를 분석하여 오류를 검출하는 방법을 제안한다. 성능을 분석하려고 표본집단과 모집단의 오류 분포의 차이를 분석하였고 표본집단과 모집단의 오류 분포의 차이가 거의 없는 것으로 보아 제안된 방법이 타당함을 알 수 있었다. 앞으로 의미역 부착 말뭉치에 적용할 계획이다.

• Annual Conference on Human and Language Technology
• /
• 2000.10d
• /
• pp.133-137
• /
• 2000

구문태그가 부착되지 않은 코퍼스를 사용하여 문법규칙의 확률을 훈련하는 비통제 학습(unsupervised learning) 방법의 대표적인 것이 CNF(Chomsky Normal Form)의 CFG(Context Free Grammar)를 입력으로 하는 inside-outside 알고리즘이다. 본 연구에서는 의존문법을 CNF로 변환하는 기법에 대해 논하고 의존문법을 위해 변형된 inside-outside 알고리즘을 논한다. 또한 이 알고리즘을 사용하여 실제 훈련한 결과를 보이고, 의존규칙과 구문구조 확률을 같이 사용하는 hybrid방식 구문분석기에 적용한 결과를 보인다.