준지도학습 방법을 이용한 한국어 서답형 문항 반자동 채점

Semi-Automatic Scoring for Short Korean Free-Text Responses Using Semi-Supervised Learning

  • 천민아 (한국해양대학교 컴퓨터공학과) ;
  • 서형원 (한국해양대학교 컴퓨터공학과) ;
  • 김재훈 (한국해양대학교 컴퓨터공학과) ;
  • 노은희 (한국교육과정평가원) ;
  • 성경희 (한국교육과정평가원) ;
  • 임은영 (한국교육과정평가원)
  • 투고 : 2015.03.12
  • 심사 : 2015.05.29
  • 발행 : 2015.06.30

초록

서답형 문항은 학생들의 종합적인 사고력을 평가할 수 있다는 장점이 있으나, 채점 비용이 많이 들고 채점자의 주관이 개입될 수 있다는 단점이 있다. 이런 단점을 개선하기 위해 영어권에서는 자동채점 시스템을 개발하여 사용하고 있으나, 한국어의 경우에는 아직 여전히 연구 단계에 있다. 본 논문에서는 준지도학습 방법을 이용한 한국어 서답형 문항의 채점 시스템을 제안한다. 제안된 시스템은 모범답안을 초기 모델로 학생답안의 일부를 채점하고 그 결과를 이용해서 점진적으로 학생답안의 채점을 늘려가는 준지도학습 방법을 이용한다. 제안된 시스템을 평가하기 위해서 2013학년도 학업성취도 평가의 국어 및 사회 과목의 서답형 문항을 사용했다. 채점 시간과 일관성에 관해서 매우 좋은 결과를 얻었다. 그 결과 채점 시간을 크게 단출할 수 있었으며 다양한 채점 방법을 적용하여 객관성을 확보한다면 현장에서 바로 적용할 수 있을 것으로 기대된다.

참고문헌

  1. 이양락 외 (2010). 2014학년도 대학수학능력시험체제 개발을 위한 기초 연구, 한국교육과정평가원 연구보고서 대수능 CAT 2010-3.
  2. 진경애 (2007). "영작문 자동 채점 시스템 개발 연구", 영어어문교육, 13(1): 236-237.
  3. S. Dikli (2006). "An Overview of Automated Scoring of Essays", The Journal of Technology, Learning, and Assessment, 5(1): 5-35.
  4. E. Jang, S. Kang, E. Noh, M. Kim, K. Sung, and T. Seong, "KASS: Korean Automatic Scoring System for Short-answer Questions", Proceedings of the 6th International Conference on Computer Supported Education, pp.226-230.
  5. Y. Chen, C. Liu, C. Lee, and T. Chang (2010). "An Unsupervised Automated Essay-Scoring System", IEEE Intelligent Systems, September/October, 61-67.
  6. C. Leacock and M. CHodorow (2003). "C-rater: Automated Scoring of Short-Answer Questions", Computers and the Humanities 37: 389-405. https://doi.org/10.1023/A:1025779619903
  7. 박일남, 강승식, 노은희, 김명화, 성태제 (2013). "정답 템플릿 작성 방식에 의한 한국어 서답형 문항 자동채점 시스템", 정보과학회논문지: 컴퓨팅의 실제 및 레터, 19(12): 630-636.
  8. Y. Attali and J. Burstein (2005). Automated Essay Scoring with E-rator v.2.0, ETS Research Report RR-04-45.
  9. L. M. Rudner, V. Garcia, and C. Welch (2006). "An Evaluation of the IntelliMetric$^{SM}$ Essay Scoring System", The Journal of Technology, Learning, and Assessment, 4(4).
  10. ETS (2010). ETS Automated Scoring Technologies. ETS Report.
  11. 최동경 (2001). 벡터 유사도와 시소러스를 이용한 주관식 답안의 채점 방법. 동국대학교 교육대학원 석사학위논문.
  12. 박희정, 강원석 (2003). "유의어 사전을 이용한 주관식 문제 채점 시스템 설계 및 구현", 한국컴퓨터교육학회논문지 6(3): 207-216.
  13. 강원석 (2011). "질의문 유형 분석을 통한 서답형 자동채점 시스템", 한국콘텐츠학회논문지 11(2): 13-21. https://doi.org/10.5392/JKCA.2011.11.2.013
  14. 조우진, 오정석, 이재영, 김유섭 (2005). "의미 커널과 한글 워드넷에 기반한 지능형 채점 시스템", 정보처리학회논문지 A, 12(6): 539-546.
  15. 노은희 외 (2014). 한국어 서답형 문항 자동채점 프로그램 개발 및 실용성검증, 한국교육과정평가원, 연구보고서 RRE 2014-6.
  16. P. Harrington (2012). Machine Learning in Action, Manning Publications.
  17. O. Chapelle, B. Scholkopf, and A. Zien (2006). Semi-supervised learning. The MIT Press, pp.1-8.
  18. A. Sogaard (2013). Semi-Supervised Learning and Domain Adaptation in Natural Language Processing, Morgan & Claypool Publishers.
  19. S. Bergsma (2010). Large-Scale Semi-Supervised Learning for Natural Language Processing, PhD Dissertation, Department of Computing Science, University of Alberta.
  20. 국립국어원 (2011). 21세기 세종계획, 문화체육관광부, http://korean.go.kr/sejong
  21. 김성용 (1987). Tabular parsing 방법과 접속정보를 이용한 한국어 형태소 분석기, 한국과학기술원 석사 학위논문, pp.21-37.
  22. 김재훈 (1998). "가중치망 모델을 이용한 한국어 품사 태깅", 한국정보과학회논문지 25(6): 951-959.
  23. J. Nivre (2008). "Algorithms for Deterministic Incremental Dependency Parsing", Computational Linguistics 34(4): 513-553. https://doi.org/10.1162/coli.07-056-R1-07-027
  24. G. Salton and M. J. McGill (1983). Introduction to Modern Information Retrieval, McGraw-Hill, pp.118-120.
  25. G. Casella, S. Fienberg and I. Olkin (2013). An Introduction to Statistical Learning with Applications in R, Springer.
  26. 한국교육과정평가원 (2013). 2013년도 국가 수준 학업 성취도 평가 기출답안 및 정답, http://kice.re.kr/board.do?boardConfigNo=112&menuNo=372