DOI QR코드

DOI QR Code

Target Word Selection Disambiguation using Untagged Text Data in English-Korean Machine Translation

영한 기계 번역에서 미가공 텍스트 데이터를 이용한 대역어 선택 중의성 해소

  • 김유섭 (한림대학교 정보통신공학부) ;
  • 장정호 (서울대학교 컴퓨터공학부)
  • Published : 2004.10.01

Abstract

In this paper, we propose a new method utilizing only raw corpus without additional human effort for disambiguation of target word selection in English-Korean machine translation. We use two data-driven techniques; one is the Latent Semantic Analysis(LSA) and the other the Probabilistic Latent Semantic Analysis(PLSA). These two techniques can represent complex semantic structures in given contexts like text passages. We construct linguistic semantic knowledge by using the two techniques and use the knowledge for target word selection in English-Korean machine translation. For target word selection, we utilize a grammatical relationship stored in a dictionary. We use k- nearest neighbor learning algorithm for the resolution of data sparseness Problem in target word selection and estimate the distance between instances based on these models. In experiments, we use TREC data of AP news for construction of latent semantic space and Wail Street Journal corpus for evaluation of target word selection. Through the Latent Semantic Analysis methods, the accuracy of target word selection has improved over 10% and PLSA has showed better accuracy than LSA method. finally we have showed the relatedness between the accuracy and two important factors ; one is dimensionality of latent space and k value of k-NT learning by using correlation calculation.

본 논문에서는 미가공 말뭉치 데이터를 활용하여 영한 기계번역 시스템의 대역어 선택 시 발생하는 중의성을 해소하는 방법을 제안한다. 이를 위하여 은닉 의미 분석(Latent Semantic Analysis : LSA)과 확률적 은닉 의미 분석(Probabilistic LSA : PLSA)을 적용한다. 이 두 기법은 텍스트 문단과 같은 문맥 정보가 주어졌을 때, 이 문맥이 내포하고 있는 복잡한 의미 구조를 표현할 수 있다 본 논문에서는 이들을 사용하여 언어적인 의미 지식(Semantic Knowledge)을 구축하였으며 이 지식은 결국 영한 기계번역에서의 대역어 선택 시 발생하는 중의성을 해소하기 위하여 단어간 의미 유사도를 추정하는데 사용된다. 또한 대역어 선택을 위해서는 미리 사전에 저장된 문법 관계를 활용하여야 한다. 본 논문에서는 이러한 대역어 선택 시 발생하는 데이터 희소성 문제를 해소하기 위하여 k-최근점 학습 알고리즘을 사용한다. 그리고 위의 두 모델을 활용하여 k-최근점 학습에서 필요한 예제 간 거리를 추정하였다. 실험에서는, 두 기법에서의 은닉 의미 공간을 구성하기 위하여 TREC 데이터(AP news)론 활용하였고, 대역어 선택의 정확도를 평가하기 위하여 Wall Street Journal 말뭉치를 사용하였다. 그리고 은닉 의미 분석을 통하여 대역어 선택의 정확성이 디폴트 의미 선택과 비교하여 약 10% 향상되었으며 PLSA가 LSA보다 근소하게 더 좋은 성능을 보였다. 또한 은닉 공간에서의 축소된 벡터의 차원수와 k-최근점 학습에서의 k값이 대역어 선택의 정확도에 미치는 영향을 대역어 선택 정확도와의 상관관계를 계산함으로써 검증하였다.젝트의 성격에 맞도록 필요한 조정만을 통하여 품질보증 프로세스를 확립할 수 있다. 개발 된 패키지의 효율적인 활용이 내조직의 소프트웨어 품질보증 구축에 투입되는 공수 및 어려움을 줄일 것으로 기대된다.도가 증가할 때 구기자 열수 추출 농축액은 $1.6182{\sim}2.0543$, 혼합구기자 열수 추출 농축액은 $1.7057{\sim}2.1462{\times}10^7\;J/kg{\cdot}mol$로 증가하였다. 이와 같이 구기자 열수 추출 농축액과 혼합구기자 열수 추출 농축액의 리올리지적 특성에 큰 차이를 나타내지는 않았다. security simultaneously.% 첨가시 pH 5.0, 7.0 및 8.0에서 각각 대조구의 57, 413 및 315% 증진되었다. 거품의 열안정성은 15분 whipping시, pH 4.0(대조구, 30.2%) 및 5.0(대조구, 23.7%)에서 각각 $0{\sim}38.0$$0{\sim}57.0%$이었고 pH 7.0(대조구, 39.6%) 및 8.0(대조구, 43.6%)에서 각각 $0{\sim}59.4$$36.6{\sim}58.4%$이었으며 sodium alginate 첨가시가 가장 양호하였다. 전체적으로 보아 거품안정성이 높은 것은 열안정성도 높은 경향이며, 표면장력이 낮으면 거품형성능이 높아지고, 비점도가 높으면 거품안정성 및 열안정성이 높아지는 경향이 있었다.protocol.eractions between application agents that are developed using different

Keywords

References

  1. I. Dagan and A. Itai, 'Word Sense Disambiguation Using a Second Language Monolingual Corpus,' Computational Linguistics, 20, pp.563-595, 1994
  2. N. Kim and Y. Kim, 'Determining Target Expression Using Parameterized Collocations from Corpus in Korean-English Machine Translation,' Proceedings of Pacific Rim International Corference on Artificial Intelligence, 1994
  3. I. Dagan, L. Lee and F. Fereira, 'Similarity-based Models of Word Cooccurrence Probabilities,' Machine Learning, 34, pp.43-69, 1999 https://doi.org/10.1023/A:1007537716579
  4. Y. Kim, B. Zhang and Y. Kim, 'Collocation Dictionary Optimization using WordNet and k- nearset Neighbor Learning,' Machine Translation, 16, pp.89-108, 2001 https://doi.org/10.1023/A:1014540107013
  5. T. K. Landauer and S. T. Dumais, 'A Solution to Plato's Problem: The Latent Semantic Analysis Theory of the Acquisition, Induction, and Representation of Knowledge,' Psychological Review, 104, 1988 https://doi.org/10.1037/0033-295X.104.2.211
  6. S. Deerwester, S. Dumais, G. Furnas, T. Landauer and R. Harshman, 'Indexing by Latent Semantic Analysis,' Journal of the American Society for Information Science, 41, pp. 391-407, 1990 https://doi.org/10.1002/(SICI)1097-4571(199009)41:6<391::AID-ASI1>3.0.CO;2-9
  7. P. Foltz, W. Kintsch and T. Landauer, 'The Measurement of Textual Coherence with Latent Semantic Analysis,' Discourse Processes, 25, pp.285-307, 1998 https://doi.org/10.1080/01638539809545029
  8. Y. Kim, J. Chang and B. Zhang, 'Target Word Selection using WordNet and Data-driven Model in Machine Translation,' Lecture Notes in Artificial Intelligence, 2417, p.607, 2002
  9. T. K. Landauer, P. W. Foltz and D. Laham, 'An Introduction to Latent Semantic Analysis,' Discourse Processes, 25, pp.259-284, 1998 https://doi.org/10.1080/01638539809545028
  10. T. Hoffmann, 'Probabilistic Latent Semantic Analysis,' Proceedings of the Fifteenth Conference on Uncertainty in Artificial Intelligence(UAI 1999), 1999
  11. T. Hoffmann, J. Puzicha and M. Jordan, 'Unsupervised Learning from Dyadic Data,' Advances in Neural Iriformation Processing Systems, 11, 1999
  12. T. Hoffmann, 'Probabilistic Latent Semantic Indexing,' Proceedings of the 22th Annual International ACM SIGIR conference on Research and Development in Information Retrieval(SIGIR99), pp.50-57, 1999 https://doi.org/10.1145/312624.312649
  13. E. Voorhees and D. Harman, 'Overview of the Seventh Text Retrieval Conference(TREC-7),' Proceedings of the Seventh Text REtrieval Conference(TREC-7), pp.1-24, 1998
  14. T. Cover and P. Hart, 'Nearest Neighbor Pattern Classification,' IEEE trans. on Information Theory, 13, pp. 21-27, 1967 https://doi.org/10.1109/TIT.1967.1053964
  15. D. Aha, D. Kibler and M. Albert, 'Instance-based Learning Algorithms,' Machine Learning, 6(1) pp. 37-66, 1991 https://doi.org/10.1007/BF00153759
  16. Y. Gotoh and S. Renals, 'Document Space Models using Latent Semantic Analysis,' Proceedings of Eurospeech-97, pp.1443-1446, 1997
  17. D. Gildea and T. Hofmann, 'Topic Based Language Models using EM,' Proceedings of the 6th European Conference on Speech Communication and Technology, 1999
  18. T. Hofmann, J. Puzicha and M. Jordan, 'Unsupervised Learning from Dyadic Data,' Advances in Neural Irformation Processing Systems, 11, 1999
  19. M. Berry, T. Do, G. O'Brien, V. Krishna and S. Varadhan, 'SVDPACKC : Version 1.0 User's Guide,' University of Tennessee Technical Report, CS-93-194, 1993
  20. F. R. K. Chung, 'Spectral Graph Theory,' Corference Board of the Mathematical Sciences, 92, American Mathematical Society, 1997
  21. http://www.smartran.co.kr/
  22. L. Bain and M. Engelhardt, 'Introduction to Probability and Mathematical Statistics,' Thomson Learning, pp.179-190, 1987