A Usability Test of a New Computerized Open-ended Math Testing System for Elementary School Students

초등학생용 컴퓨터화 개방형 수학 시험 방식의 사용가능성 검증

In this study, a new open-ended format math testing system for elementary school students has been proposed. This system is an application of the recently proposed Constructive Multiple-choice Testing (CMT) system on math testing. The CMT system is a testing system in which the examinee has to respond to an item twice, first in an open ended format, and then in the multiple choice format. The advantages of this system is that process information can easily be obtained and that the examinee can receive feedback immediately after the test, based on his/her multiple choice responses. This open-ended format math testing system includes the manager mode, which allows the generation of the test items and student account management, and the testing mode, which allows the students to input their solution process using the menu bar and the keyboard. When two groups, one tested using the CMT system and the other tested using the paper and pencil test, were compared, there was no significant difference in average scores between the two groups although the testing time was longer for the group tested using the CMT system. This result suggests that the open-ended format math testing system proposed in this study can be used effectively in the actual classroom setting.

본 연구에서는 초등학생을 위한 새로운 수학평가 시스템을 만들고 그 사용가능성을 알아보았다. 이 시스템은 최근 제안된 구성적 선다형 방식(constructive multiple-choice testing system)을 수학에 확장한 것이다. 구성적 선다형은, 동일한 문제에 대해 먼저 개방형으로 반응한다음 다시 같은 문제를 선다형으로 반응하게 하는 방식이다. 그 장점은 과정 정보를 나중에 확인할 수 있고, 수험자는 시험 종료 직후 선다형에 근거하여 피드백을 받을 수 있다는 것이다. 본 연구에서 제안된 시스템은, 수학 문제의 출제, 계정 관리를 위한 관리자 모드와 학생들이 실제 풀이 과정을 메뉴바와 키보드로 입력할 수 있도록 하는 시험 모드로 구성되어 있다. 이 방식으로 시험을 보게 한 집단과 중간 과정을 지필식으로 보게 한 집단을 비교했을 때, 시험 시간은 길어졌지만, 선다형의 집단 간 평균 점수 상에서는 차이가 없음이 관찰되었다. 이 결과는 본 연구에서 구현된 개방형 수학 시험 시스템이 실제 교실 평가에서 효과적으로 사용될 수 있음을 보여준다.