DOI QR코드

DOI QR Code

A Question Example Generation System for Multiple Choice Tests by utilizing Concept Similarity in Korean WordNet

한국어 워드넷에서의 개념 유사도를 활용한 선택형 문항 생성 시스템

  • 김용범 (한림대학교 정보통신공학부) ;
  • 김유섭 (한림대학교 컴퓨터공학과)
  • Published : 2008.04.30

Abstract

We implemented a system being able to suggest example sentences for multiple choice tests, considering the level of students. To build the system, we designed an automatic method for sentence generation, which made it possible to control the difficulty degree of questions. For the proper evaluation in the multiple choice tests, proper size of question pools is required. To satisfy this requirement, a system which can generate various and numerous questions and their example sentences in a fast way should be used. In this paper, we designed an automatic generation method using a linguistic resource called WordNet. For the automatic generation, firstly, we extracted keywords from the existing sentences with the morphological analysis and candidate terms with similar meaning to the keywords in Korean WordNet space are suggested. When suggesting candidate terms, we transformed the existing Korean WordNet scheme into a new scheme to construct the concept similarity matrix. The similarity degree between concepts can be ranged from 0, representing synonyms relationships, to 9, representing non-connected relationships. By using the degree, we can control the difficulty degree of newly generated questions. We used two methods for evaluating semantic similarity between two concepts. The first one is considering only the distance between two concepts and the second one additionally considers positions of two concepts in the Korean Wordnet space. With these methods, we can build a system which can help the instructors generate new questions and their example sentences with various contents and difficulty degree from existing sentences more easily.

본 논문에서는 난이도를 고려하여 선택형 문항을 자동으로 생성하는 방법을 고안하였으며, 학습자 수준에 적합하도록 동적인 형태로 다양한 문항 제시를 할 수 있는 시스템을 구현하였다. 선택형 문제를 통한 평가에서는 적절한 규모의 문제 은행이 필요하다. 이와 같은 요구를 만족시키기 위해서는 보다 쉽고 빠른 방식으로 다양하고 많은 문제 및 문항을 생성할 수 있는 시스템이 필요한데, 본 논문에서는 문제 및 문항의 생성을 위하여 워드넷이라는 언어 자원을 이용한 자동 생성 방법을 고안하였다. 자동 생성을 위해서는 주어진 문장에서 형태소 분석을 통해 키워드를 추출하고, 각 키워드마다 워드넷의 계층적 특성에 따라 유사한 의미를 가진 후보 단어를 제시한다. 의미 유사 후보 단어를 제시할 때, 기존의 한국어 워드넷의 스키마를 개념간 의미 유사도 행렬을 구할 수 있는 형태의 스키마로 변경한다. 단어의 의미 유사도는 동의어를 의미하는 수준 0에서 거의 유사도가 없다고 볼 수 있는 수준 9까지 다양하게 제시될 수 있으며, 생성될 문항에 어느 정도의 유사도를 가진 어휘를 포함시키느냐에 따라서 출제자의 의도에 따른 난이도의 조정이 가능하다. 후보 어휘들의 의미 유사도 측정을 위해서, 본 논문에서는 두 가지 방법을 사용하여 구현하였다. 첫째는 단순히 두 어휘의 워드넷 상에서의 거리만을 고려한 것이고 둘째는 두 어휘가 포함되어 있는 트리 구조의 크기까지 추가적으로 고려한 것이다. 이러한 방법을 통하여 실제 출제자가 기존에 출제된 문제를 토대로 더 다양한 내용과 난이도를 가진 문제 또는 문항을 더 쉽게 출제할 수 있는 시스템을 개발할 수 있었다.

Keywords

References

  1. Educational Testing Service, http://www.ets.org
  2. 황대준, “사이버 스페이스상의 상호참여형 실시간 원격교육 시스템에 관한 연구”, 한국정보처리학회 제4권 3호, 1997. 5
  3. 조은순, “원격교수-학습을 위한 사고의 전환: 하드웨어에서 소프트웨어로”, 한국정보처리학회 제4권 3호, 1997. 5
  4. 원대희, 강태호, 김원진, 방훈, 이재영, “임의 추출 분할 방식을 이용한 동적 문제 출제 시스템”, 한국정보과학회 추계학술대회, 2001
  5. 오정석, 추승우, 조우진, 김유섭, 이재영, “한글 워드넷을 이용한 동적 문제 출제 시스템 설계”, 한국정보기술학회 논문지 4권 5호 pp.37-44, 2006
  6. G. A. Miller, "WordNet: An On-Line Lexical Database," International Journal of lexicography, 1990
  7. 이은령 임성신, “WordNet2.0의 한국어 번역 작업과 결과물”, 부산대학교 한국어정보처리연구실
  8. 최수일, 임지희, 최호섭, 옥철영, “사용자 어휘지능망과 자동문제생성기술을 이용한 한국어 어휘학습시스템”, 제 18회 한글 및 한국어 정보처리 학술대회 논문집, pp.15-21, 2006
  9. Graeme Hirst and David St-Onge, “Lexical chains as representations of context for the detection and correction or malapropisms,” In Fellbaum, pp.305-332, 1998
  10. Claudia Leacock and Martin Chodorow, “Combining local context and WordNet similarity for word sense identification,” In Fellbaum, pp.265-283, 1998
  11. 강승식, 범용 형태소 분석기 “HAM Ver 6.0.0”, 국민대학교 자연언어 정보 검색 연구실, http://nlp.kookmin.ac.kr
  12. Wikipedia, http://en.wikipedia.org/wiki/WordNet
  13. Budanitsky, A., and G. Hirst, “Semantic Distance in WordNet: An Experimental Application-oriented Evaluation of Five Measures“, Workshop on WordNet and Other Lexical Resources, in the North American Chapter of the Association for Computational Linguistics (NAACL-2001), Pittsburgh, PA, June, 2001
  14. Date, C. J., “An Introduction to Database Systems: 7th edition,” Addison Wesley Longman, 1999
  15. 대한상공회의소 감정사업단, http://www.passon.co.kr
  16. Goulden, C. H., “Methods of Statistical Analyssi 2nd ed.,” New York: Wiley, pp.50-55, 1956

Cited by

  1. Movie Contents Design of One-Person Production Using IP Cameras vol.11, pp.2, 2011, https://doi.org/10.5392/JKCA.2011.11.2.001
  2. Automatic Grading System for Subjective Questions Through Analyzing Question Type vol.11, pp.2, 2011, https://doi.org/10.5392/JKCA.2011.11.2.013