Semi-Automatic Scoring for Short Korean Free-Text Responses Using Semi-Supervised Learning

준지도학습 방법을 이용한 한국어 서답형 문항 반자동 채점

  • 천민아 (한국해양대학교 컴퓨터공학과) ;
  • 서형원 (한국해양대학교 컴퓨터공학과) ;
  • 김재훈 (한국해양대학교 컴퓨터공학과) ;
  • 노은희 (한국교육과정평가원) ;
  • 성경희 (한국교육과정평가원) ;
  • 임은영 (한국교육과정평가원)
  • Received : 2015.03.12
  • Accepted : 2015.05.29
  • Published : 2015.06.30


Through short-answer questions, we can reflect the depth of students' understanding and higher-order thinking skills. Scoring for short-answer questions may take long time and may be an issue on consistency of grading. To alleviate such the suffering, automated scoring systems are widely used in Europe and America, but are in the initial stage in research in Korea. In this paper, we propose a semi-automatic scoring system for short Korean free-text responses using semi-supervised learning. First of all, based on the similarity score between students' answers and model answers, the proposed system grades students' answers and the scored answers with high reliability have been included in the model answers through the thorough test. This process repeats until all answers are scored. The proposed system is used experimentally in Korean and social studies in Nationwide Scholastic Achievement Test. We have confirmed that the processing time and the consistency of grades are promisingly improved. Using the system, various assessment methods have got to be developed and comparative studies need to be performed before applying to school fields.


  1. 이양락 외 (2010). 2014학년도 대학수학능력시험체제 개발을 위한 기초 연구, 한국교육과정평가원 연구보고서 대수능 CAT 2010-3.
  2. 진경애 (2007). "영작문 자동 채점 시스템 개발 연구", 영어어문교육, 13(1): 236-237.
  3. S. Dikli (2006). "An Overview of Automated Scoring of Essays", The Journal of Technology, Learning, and Assessment, 5(1): 5-35.
  4. E. Jang, S. Kang, E. Noh, M. Kim, K. Sung, and T. Seong, "KASS: Korean Automatic Scoring System for Short-answer Questions", Proceedings of the 6th International Conference on Computer Supported Education, pp.226-230.
  5. Y. Chen, C. Liu, C. Lee, and T. Chang (2010). "An Unsupervised Automated Essay-Scoring System", IEEE Intelligent Systems, September/October, 61-67.
  6. C. Leacock and M. CHodorow (2003). "C-rater: Automated Scoring of Short-Answer Questions", Computers and the Humanities 37: 389-405.
  7. 박일남, 강승식, 노은희, 김명화, 성태제 (2013). "정답 템플릿 작성 방식에 의한 한국어 서답형 문항 자동채점 시스템", 정보과학회논문지: 컴퓨팅의 실제 및 레터, 19(12): 630-636.
  8. Y. Attali and J. Burstein (2005). Automated Essay Scoring with E-rator v.2.0, ETS Research Report RR-04-45.
  9. L. M. Rudner, V. Garcia, and C. Welch (2006). "An Evaluation of the IntelliMetric$^{SM}$ Essay Scoring System", The Journal of Technology, Learning, and Assessment, 4(4).
  10. ETS (2010). ETS Automated Scoring Technologies. ETS Report.
  11. 최동경 (2001). 벡터 유사도와 시소러스를 이용한 주관식 답안의 채점 방법. 동국대학교 교육대학원 석사학위논문.
  12. 박희정, 강원석 (2003). "유의어 사전을 이용한 주관식 문제 채점 시스템 설계 및 구현", 한국컴퓨터교육학회논문지 6(3): 207-216.
  13. 강원석 (2011). "질의문 유형 분석을 통한 서답형 자동채점 시스템", 한국콘텐츠학회논문지 11(2): 13-21.
  14. 조우진, 오정석, 이재영, 김유섭 (2005). "의미 커널과 한글 워드넷에 기반한 지능형 채점 시스템", 정보처리학회논문지 A, 12(6): 539-546.
  15. 노은희 외 (2014). 한국어 서답형 문항 자동채점 프로그램 개발 및 실용성검증, 한국교육과정평가원, 연구보고서 RRE 2014-6.
  16. P. Harrington (2012). Machine Learning in Action, Manning Publications.
  17. O. Chapelle, B. Scholkopf, and A. Zien (2006). Semi-supervised learning. The MIT Press, pp.1-8.
  18. A. Sogaard (2013). Semi-Supervised Learning and Domain Adaptation in Natural Language Processing, Morgan & Claypool Publishers.
  19. S. Bergsma (2010). Large-Scale Semi-Supervised Learning for Natural Language Processing, PhD Dissertation, Department of Computing Science, University of Alberta.
  20. 국립국어원 (2011). 21세기 세종계획, 문화체육관광부,
  21. 김성용 (1987). Tabular parsing 방법과 접속정보를 이용한 한국어 형태소 분석기, 한국과학기술원 석사 학위논문, pp.21-37.
  22. 김재훈 (1998). "가중치망 모델을 이용한 한국어 품사 태깅", 한국정보과학회논문지 25(6): 951-959.
  23. J. Nivre (2008). "Algorithms for Deterministic Incremental Dependency Parsing", Computational Linguistics 34(4): 513-553.
  24. G. Salton and M. J. McGill (1983). Introduction to Modern Information Retrieval, McGraw-Hill, pp.118-120.
  25. G. Casella, S. Fienberg and I. Olkin (2013). An Introduction to Statistical Learning with Applications in R, Springer.
  26. 한국교육과정평가원 (2013). 2013년도 국가 수준 학업 성취도 평가 기출답안 및 정답,