Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))
- 2016.10a
- /
- Pages.181-185
- /
- 2016
- /
- 2005-3053(pISSN)
Performance Comparison of Automated Scoring System for Korean Short-Answer Questions
한국어 서답형 문항 자동채점 시스템의 성능 개선
- Cheon, Min-Ah (Department of Computer Engineering, Korea Maritime and Ocean University) ;
- Kim, Chang-Hyun (Electronics and Telecommunications Research Institute) ;
- Kim, Jae-Hoon (Department of Computer Engineering, Korea Maritime and Ocean University) ;
- Noh, Eun-Hee (Korea Institute for Curriculum and Evaluation) ;
- Sung, Kyung-Hee (Korea Institute for Curriculum and Evaluation) ;
-
Song, Mi-Young
(Korea Institute for Curriculum and Evaluation)
;
- Park, Jong-Im (Korea Institute for Curriculum and Evaluation) ;
- Kim, Yuhyang (Korea Institute for Curriculum and Evaluation)
- 천민아 (한국해양대학교, 컴퓨터공학과) ;
- 김창현 (한국전자통신연구원) ;
- 김재훈 (한국해양대학교, 컴퓨터공학과) ;
- 노은희 (한국교육과정평가원) ;
- 성경희 (한국교육과정평가원) ;
-
송미영
(한국교육과정평가원)
;
- 박종임 (한국교육과정평가원) ;
- 김유향 (한국교육과정평가원)
- Published : 2016.10.07
Abstract
최근 교육과정에서 학생들의 능력 평가는 단순 암기보다 학생들의 종합적인 사고력을 판단할 수 있는 서답형 문항을 늘리는 방향으로 변하고 있다. 그러나 서답형 문항의 경우 채점하는 데 시간과 비용이 많이 들고, 채점자의 주관에 따라 채점 결과의 일관성과 신뢰성을 보장하기 어렵다는 문제가 있다. 이런 점을 해결하기 위해 해외의 사례를 참고하여 국내에서도 서답형 문항에 자동채점 시스템을 적용하는 연구를 진행하고 있다. 본 논문에서는 2014년도에 개발된 '한국어 문장 수준 서답형 문항 자동채점 시스템'의 성능분석을 바탕으로 언어 처리 기능과 자동채점 성능을 개선한 2015년도 자동채점 시스템을 간략하게 소개하고, 각 자동채점 시스템의 성능을 비교 분석한다. 성능 분석 대상으로는 2014년도 국가수준 학업성취도평가의 서답형 문항을 사용했다. 실험 결과, 개선한 시스템의 평균 완전 일치도와 평균 정확률이 기존의 시스템보다 각각 9.4%p, 8.9%p 증가했다. 자동채점 시스템의 목적은 가능한 채점 시간을 단축하면서 채점 기준의 일관성과 신뢰성을 확보하는 데 있으므로, 보완한 2015년 자동채점 시스템의 성능이 향상되었다고 판단할 수 있다.