A Quantative Evaluation Method of the Quality of Natural Language Sentences based on Genetic Algorithm

유전자 알고리즘에 기반한 자연언어 문장의 정량적 질 평가 방법

본 논문에서는 자연언어 문장의 객관적 정량적인 질 측정 방법의 구축에 대해 설명하고, 이를 문장 퇴고 시스템의 사례에 적용해 본다. 문장의 질을 평가한다는 것은 본질적으로 주관적이고 정량화가 어려운 작업이기 때문에, 이 과정에서 질의 객관적 계량화가 가능한지 여부가 가장 중요한 문제가 된다. 이 논문에서는 이러한 문제를 해결하기 위해 유전자 알고리즘을 이용한 진화적 접근 방법을 통해 객관적이고 정량적인 질의 측정 공식을 유도하는 방법론을 제시하였다. 이 논문에서 제시한 방법론의 핵심은 간단히 말해서 사람이 행하는 정성적인 판단을, 이에 가장 근접하는 정량적 측정 체계로 전환시키는 것이라고 보면 된다. 이것을 위해 정량화 문제를 문장의 단순 언어 특징들의 변화값을 이용한 최적화 문제로 환원시키고, 다시 이 최적화 문제를 유전자 알고리즘을 이용해 해결함으로써 문제를 효과적으로 해결할 수 있었다. 실험 결과를 보면, 본 논문에서 제시한 최적화 방법은 주어진 훈련용 예제와 검증용 예제 중 각각 99.84%, 99.88%를 만족시키는 해를 찾아내었으므로 정량적 질 평가 공식의 유도에 매우 효과적임을 알 수 있었다. 또한 도출된 측정 공식을 이용해서 실제 퇴고 시스템 평가에 적용한 결과 문장 질의 측정에 매우 유용하게 이용될 수 있음을 알 수 있었다. 이와 같이 질의 정량적 평가가 가능하다는 사실이 갖는 또 한가지 중요한 의미는 최종 사용자의 구매 의사나 개발자의 공학적 의사 결정을 위한 객관적 성능 평가 자료의 제공에 이 방법이 유용하게 사용될 수 있다는 점이다.Abstract This paper describes a method of building a quantitative measure of the quality of natural language sentences, particularly produced by document revision systems. Evaluating the quality of natural language sentences is intrinsically subjective, so what is most important as to the evaluation is whether the quality can be measured objectively. To solve such problem of objective measurability, genetic algorithm, an evolutionary learning method, is employed in this paper. The underlying standpoint of this approach is that building the quality measures is a task of constructing a formulae that produces as close results as can to the qualitative decisions made by humans. For doing this, the problem of measurability has been simply reduced to an optimization problem using the change of the values of simple linguistic parameters found in sentences, and the reduced problem has been solved effectively by the genetic algorithm. Experimental result shows that the optimization task satisfied 99.84% and 99.88% of the given objectives for training and validation samples, respectively, which means the method is quite effective in constructing the quantitative measure of the quality of natural language sentences. The actual evaluation result of a revision system shows that the measure is useful to quantize the quality of sentences. Another important contribution of this measure would be to provide an objective performance evaluation data of natural language systems on a basis of which end-users and developers can make their decision to fit their own needs.