Dimension-Reduced Model for Word Co-occurrence Probability Estimation

단어 공기 확률 추정을 위한 차원 축소 모델

본 논문에서는 확률적 자연언어 처리에서 중요한 문제인 자료 희귀(data sparseness)의 어려움을 해결하는 새로운 방법으로 차원 축소 모델을 제시한다. 세 가지의 세부 방법이 제안되었으며 Katz의 back-off 방법의 성능을 최저로 했을 때에 비해 약 60%정도의 성능이 향상되었다. 현재까지 최고의 성능을 보이고 있는 유사도 기반의 방법에 비해서도 약 5∼20%의 성능이 향상되었다. 따라서 차원 축소 모델은 확률 추정의 새로운 방법으로 쓰일 수 있다.