DOI QR코드

DOI QR Code

Building an Automated Scoring System for a Single English Sentences

단문형의 영작문 자동 채점 시스템 구축

  • 김지은 (한국어학원대학교 영어학부) ;
  • 이공주 (충남대학교 전기정보통신공학부) ;
  • 진경애 (한국교육과정평가원)
  • Published : 2007.06.30

Abstract

The purpose of developing an automated scoring system for English composition is to score the tests for writing English sentences and to give feedback on them without human's efforts. This paper presents an automated system to score English composition, whose input is a single sentence, not an essay. Dealing with a single sentence as an input has some advantages on comparing the input with the given answers by human teachers and giving detailed feedback to the test takers. The system has been developed and tested with the real test data collected through English tests given to the third grade students in junior high school. Two steps of the process are required to score a single sentence. The first process is analyzing the input sentence in order to detect possible errors, such as spelling errors, syntactic errors and so on. The second process is comparing the input sentence with the given answer to identify the differences as errors. The results produced by the system were then compared with those provided by human raters.

영어 작문 자동 채점 시스템은 수험자가 작성한 영작문을 사람의 개입 없이 시스템이 처리하여 점수나 피드백을 줄 수 있는 시스템이다. 본 연구에서는 영작문 중 여러 문장이나 단락으로 구성된 에세이가 아닌 단문형의 영작문을 채점하는 시스템을 개발하였다. 단일 문장을 채점하기 때문에 정답 문장과 좀 더 자세한 비교를 할 수 있고 수험자들에게 좀 더 상세한 피드백을 제공해 줄 수 있다. 단일 문장을 채점하기 위해서는 크게 두 단계의 처리가 요구된다. 첫 번째 단계는 문장내의 오류를 탐지하는 과정으로, 수험자의 영작문을 분석하여 문장 내에 포함되어 있을 수 있는 철자 및 구문 오류를 검사한다. 둘째 단계는 문장 간 오류를 탐지하는 과정으로 문제 출제자가 제공한 정답문장과 수험자의 영작문을 비교하여 두 문장 사이의 차이를 오류로 인식한다. 실제로 중학교 3학년 학생들을 대상으로 영작문 시험을 수행하였고, 이를 본 연구에서 개발한 영작문 자동 채점 시스템을 이용하여 채점해 보았다 인간 채점자와의 비교를 통해서 영작문 자동 채점 시스템의 효용성을 살펴보았다.

Keywords

References

  1. Christiane Fellbaum, WordNet An Electronic Lexical Database. The MIT Press, 1998
  2. David A. Schneider and Kathleen F. McCoy. Recognizing Syntactic Errors in the Writing of Second Language Learners. In Proceedings of the 17th International Conference on Computational Linguistics (COLING- ACL '98), 1998 https://doi.org/10.3115/980432.980765
  3. Higgins, D., Burstein, J., Marcu, D., & Gentile, C. Evaluating multiple aspects of coherence in student essays (PDF). In Proceedings of the Annual Meeting of HLT/NAACL, 2004
  4. Jill Burstein, Daniel Marcu and Kevin Knight, Finding the WRITE Stuff: Automatic Identification of Discourse Structure in Student Essays. IEEE Intelligent Systems, Vol 18, Issue 1, 32-39, 2003 https://doi.org/10.1109/MIS.2003.1179191
  5. Jill Burstein, Martin Chodorow and Claudia Leacock. Criterion Online Essay Evaluation: An Application for Automated Evaluation of Student Essays. In Proceedings of the Fifteenth Annual Conference on Innovative Applications of Artificial Intelligence, 2003
  6. Jill Burstein and Derrick Higgins, Advanced Capabilities for Evaluation Student Writing: Detecting Off-Topic Essays Without Topic-Specific Training, In Proceedings of the International Conference on Artificial Intelligence in Education, July 2005
  7. Koldo Gojenola and Maite Oronoz. Corpus-based syntactic error detection using syntactic patterns. In Proceedings of the workshop on Student research. 24-29, 2000
  8. M. Chodorow and C. Leacock. An Unsupervised Method for Detecting Grammatical Errors. In Proc. First Meeting of the North American Chapter of the Association for Computational Linguistics (ANLPNAACL -2000), 140-147, 2000