Abstract
Even though assessment using information and communication technology will most likely lead the future of educational assessment, there is little domestic research on this topic. Computerized assessment will not only cut costs but also measure students' performance in ways not possible before. In this context, this study introduces a tool which can overcome the problems of multiple choice tests, which are most widely used type of assessment in current Korean educational setting. Multiple-choice tests, in which options are presented with the questions, are efficient in that grading can be automated; however, they allow for students who don't know the answer, to find the correct answer from the options. Park(2005) has developed a modified multiple-choice testing system (CMMT) using the interactivity of computers, that presents questions first, and options later for a short time when the student requests for them. The present study was conducted to find out if penalizing wrong answers could lower the possibility of students choosing an answer among the options when they don't know the correct answer. 116 students were tested with the directions that they will be penalized for wrong answers, but not for no response. There were 4 experimental conditions: 2 conditions of high or low percentage of penalizing, each in traditional multiple-choice or CMMT format. The results were analyzed using a two-way ANOVA for the number of no response, the test score and self-report score. Analysis showed that the number of no response was significantly higher for the CMMT format and that test scores were significantly lower when the penalizing percentage was high. The possibility of applying CMMT format tests while penalizing wrong answers in actual testing settings was addressed. In addition, the need for further research in the cognitive sciences to develop computerized assessment tools, was discussed.
정보통신 기술을 활용한 평가가 미래의 교육 평가를 주도할 가능성이 높은 가운데 이에 대한 국내 연구가 활발하지 않다. 컴퓨터를 이용하여 평가를 하게 되면 비용을 줄일 수 있을 뿐만 아니라 이전에는 가능하지 않은 방식으로 학생들의 수행 능력을 측정할 수 있다. 이런 맥락에서 본 연구에서는 현재 우리나라 교육 현장에서 가장 광범위하게 사용되는 선다형 방식의 문제점을 극복하는 방안을 제시하고 그 효과를 검증하였다. 답지가 문제와 함께 제시되는 선다형 시험 방식은 채점이 쉽지만, 학생들이 정답을 몰랐다가 답지를 보고 정답을 찾아낼 수 있다는 단점을 가지고 있다. Park(2005)은 컴퓨터의 상호작용성을 이용하여, 문제만 먼저 제시하고, 답지는 학생이 답을 먼저 생각하게 하고 나서 요청하면 짧게 제시되도록 하고 그 때 선택하도록 하는, 컴퓨터화 변형 선다형 시험 방식을 개발하였다. 본 연구는 이 방식에 감점제를 추가하면 학생들이 잘 모르면서도 답지를 보고 정답을 찾고자 할 가능성을 낮출 수 있는지를 알아보기 위해 수행되었다. 반응을 포기하면 감점이 없지만, 반응을 해서 틀릴 경우에는 감점이 이루어진다는 지시와 함께, 116 명의 대학생을 대상으로 상식 시험을 보도록 하였다. 조작된 변인은 감점 비율과 시험 방식이었다. 높고 낮은 비율과 전통적 선다형과 변형 선다형 방식이 교차된 4 실험 조건이 사용되었다. 종속측정치는 시험점수, 반응을 포기한 문항수, 그리고 자기보고 점수였다. 이들에 대한 이원분산분석 결과, 반응을 포기한 문항수는 컴퓨터화 변형 선다형 방식에서 유의미하게 많았고 시험 점수는 높은 감점 조건에서 유의미하게 낮아짐을 발견하였다. 논의에서는 실제 교육 현장에서 변형 선다형 시험방식에 감점제를 적용한 평가가 적용될 가능성과 함께 컴퓨터화 평가 도구 개발에 대한 인지과학적 연구의 활성화를 촉구하였다.