Proceedings of the Korean Society for Cognitive Science Conference (한국인지과학회:학술대회논문집)
- 2000.05a
- /
- Pages.137-142
- /
- 2000
Dimension-Reduced Model for Word Co-occurrence Probability Estimation
단어 공기 확률 추정을 위한 차원 축소 모델
Abstract
본 논문에서는 확률적 자연언어 처리에서 중요한 문제인 자료 희귀(data sparseness)의 어려움을 해결하는 새로운 방법으로 차원 축소 모델을 제시한다. 세 가지의 세부 방법이 제안되었으며 Katz의 back-off 방법의 성능을 최저로 했을 때에 비해 약 60%정도의 성능이 향상되었다. 현재까지 최고의 성능을 보이고 있는 유사도 기반의 방법에 비해서도 약 5∼20%의 성능이 향상되었다. 따라서 차원 축소 모델은 확률 추정의 새로운 방법으로 쓰일 수 있다.
Keywords