Recognition and Evaluation of Efficient Language Analysis Unit for Korean

한국어에서 실용적 언어분석 단위의 인식과 평가

In this paper, we observe the differences between linguistic and computational aspect in the automatic processing of languages which are dominant representation method for information in the Internet. For efficient information retrieval, information extraction and machine translation from the massive documents, we investigate analysis units for morphology analysis, syntactic analysis and semantic analysis. and propose the syntactic longest analysis unit rather than morphological unit based on linguistics. Also, by evaluating with massive documents, we show that the proposed analysis units can be used for the constraint which can reduce the ambiguity occurring in the language processing.

본 논문에서는 인터넷에서 대부분 정보의 표현 형태인 언어의 자동화된 분석을 위한 접근 방법으로 언어학적 접근과 전산학적 처리의 관점을 살펴본다. 또한, 대용량의 자료에 대한 실용적인 정보 색인과 검색, 정보추출, 기계번역 등을 위해 형태소분석, 구문분석 및 의미분석의 각 단계에서 실용적인 분석의 단위를 살펴보고, 언어학에 기반한 형태론적 단위보다 구문적 최장 분석 단위를 제안한다. 그리고 대량의 문서에 대한 실험을 통해, 제안하는 언어분석의 단위가 언어처리 과정에서 발생하는 모호성을 축소하는 제약으로도 사용될 수 있음을 보인다.