서론
교육 평가의 기능에는 수업목표 달성도 파악, 학습의 진단과 치료, 학습촉진, 수업방식을 개선하거나 보충자료를 제작하는데 이용 하는 등 여러 가지 기능이 있으며, 특히 지필평가의 결과는 학생의 선발을 위한 기초 자료로서 중요하게 사용 된다.1-3
통계청에서 발표한 자료에 따르면 2008학년도 대학 진학률은 83%이다.4 즉 우리나라 고등학교 졸업생 10명 중 8명은 고등교육기관에 진학한다는 것이다. 우리나라 인문계 고등학교 교육 체제는 대학진학을 위한 대비 과정으로 구성되어 있으며, 이 교육 체제는 초 · 중등 교육과도 맞물려서 진행되고 있다. 특히 중학교의 내신 성적은 다양한 고등학교의 입시전형에 중요한 기초 자료로 사용되고 있기 때문에 대학진학에 있어서 중학교 내신 성적이 어느 정도 영향을 미친다고 볼 수 있다.
중학교 과학교과의 내신 평가는 지필평가와 같은 정기고사와 실험보고서, 조사 및 발표를 포함하는 수행평가로 이루어진다. 그러나 타당도와 신뢰도 측면의 여러 문제점과 한계점에 의해 평가의 대부분은 지필평가로 이루어지며, 이것은 내신의 70 ~ 80%의 높은 비중을 차지하고 있다.5 따라서 지필평가에서는 문항의 의미를 명확히 제시하는 것이 중요하다.2,6 지필평가 문항의 불명확한 의미 전달은 학생이 추측에 의한 해답을 할 가능성으로 인하여 과학학습의 성취도를 제대로 평가하는 것을 어렵게 한다. 또한 학생들에게 오개념을 형성하게 하고, 논리적인 사고와 문제해결력 향상에 부정적인 영향을 줄 수 있다.7
그동안 학교 내신의 지필평가 문항과 관련된 연구들은 문항의 체제 관련 연구와 오류 분석 연구로 구분된다. 첫째, 과학과 지필평가에서의 평가내용과 교과서 및 교육과정 목표를 비교하는 체제 관련 연구가 진행되었다.5,8,9 박주영9은 수도권 중학교 2학년을 대상으로 지필평가 문항 실태를 과학적 지식과 탐구내용으로 분류하여 조사함으로써, 탐구 능력 평가의 개선 방향을 제시하고자 하였다. 나종철10은 초등학교 과학과 지필평가 문항이 과학과 교육과정에서 제시하고 있는 교육 목표를 제대로 반영하고 있는지 알아보기 위하여, Klopfer의 교육목표 분류 체계를 이용하여 초등학교 5학년 1학기 과학과 지필 평가 문항의 행동영역과 교사용지도서의 수업목표를 비교분석하였다. 오현석 등5은 내신 지필평가의 현황을 파악하고자, 현행 중등학교 과학교과 지필평가 문항을 내적 문항 분류 틀과 외적 문항 분류틀을 구안하여 분석하였다. 내적 문항 분류틀 에서는 내용, 지식 및 탐구과정, 맥락차원에서 분석을 하고 외적 문항 분류틀에서는 문항표현, 문항유형, 문항형식 범주에 의해 분류하여 조사하였다. 이 연구들은 문항 자체에 대한 연구라기보다는 문항과 관련된 외형적 부분에 대한 것이다.
둘째, 문항 오류 분석은 학생들의 문제 풀이 과정에서 발생하는 오류를 분석하는 연구이다. 예를 들면, 정미라 등11의 연구에서는 초등학교 학생들의 과학 선다형 평가 문항 풀이 과정에서 겪는 오류 유형을 분석하였는데, 문제 이해 단계에서 오류를 범한 학생들은 거의 오답을 선택하는 것으로 나타났으며, 일상지식과 더불어 오개념을 가지고 있거나 학습 상황을 직접 경험해 보지 않은 학생은 주로 오답을 선택하였다. 최영기 등12은 선다형 평가문항에서의 오류분석을 위한 구체적인 방법과 절차를 모색하기 위하여, 오류 분석을 가능하게 하는 선다형 평가문항 작성원칙을 제시하였으며, 실험평가를 통한 결과 분석을 통해 학생들의 오류, 학습상태 등에 대한 중요한 정보들의 분석이 가능하다고 하였다. 이용경13의 연구에서는 중학교 2학년 수학과 각단원별 학습목표에 대한 평가문항을 개발한 뒤 평가문항에 대한 학생들의 오류를 분석한 결과 문제의 의미를 제대로 파악하지 못하는 경우와 전 단계에서 제대로 학습이 이루어 지지 않은 경우, 교사가 문항에서 제시한 용어의 의미를 제대로 파악하지 못하는 경우에 오류를 발견할 수 있다고 보았다. 이 연구는 문항이 가질 수 있는 오류는 전제하지 않고 문항의 문제들을 해결하는 과정에 관심을 가지고 진행되었다.
위에서 살펴본 것과 같이, 선행 연구에서는 학습자의 오류에 대한 분석연구는 많이 실시 되었지만, 평가문항 자체의 오류 분석에 대한 연구는 극히 제한적으로 수행되어 왔다. 교사가 출제한 평가 문항의 오류는 학생의 과학학습 성취에 대한 올바른 평가를 어렵게 한다. 학생들이 과학적 개념이나 능력을 올바로 평가받지 못한다면 학생들의 효능감이 저하되고 궁극적으로는 과학 학습에 대한 부정적인 영향을 줄 뿐 만 아니라 오개념을 형성할 가능성이 많다.14,15
한편 중학교 1학년 1학기 지필평가는 학생들이 초등과정을 마치고 중등교육에 들어서서 공식적으로 처음 만나는 정기고사로, 학생들의 학습내용, 학습방향, 학습에 대한 흥미 등을 결정할 수 있는 중요한 시험이다. 현재 입시 체제와 과학이 어렵다고만 생각하는 학생들의 인식 때문에 과학이 점점 등한시 되고 있는 상황에서, 학생들에게 과학에 대해 흥미를 주기 위해서는 교수방법의 개선도 중요하지만,16 평가 문항 자체의 오류를 최소화하여 평가 문항의 타당도를 높이는 것이 매우 중요하다.14,17 학습자가 평가에 대하여 성공적인 경험을 하게 되면, 그 과목에 대해 긍정적인 자아 개념이 생기게 되고, 흥미를 가지고 더욱 열심히 하려는 태도를 형성할 수 있기 때문이다.18-20 따라서 이 연구에서는 중학교 1학년 내신 지필평가 문항의 정보 제시 오류를 조사함으로써 교사가 지필평가 문항의 개발 시 어떠한 오류를 범하고 있는지를 파악하고자 한다.
‘오류’의 의미는 국어사전에서 찾아보면, ‘행동이나 사고가 그릇되어 이치에 어긋나는 일’, ‘바르지 못한 논리적 과정 및 그 결과로 생긴 추리나 판단’으로 기술하고 있다.21 이 연구에서 정보 제시 오류는 ‘평가 문항이 학생들의 문제해결 과정에 대한 안내를 잘못할 수 있는 근거를 제공하는 자료’로 정의하여 사용한다. 이 연구에서는 학교 내신 지필평가에 대한 중요도가 높아지고 있는 현 시점에서, 중학교 1학년 내신 지필평가 문항의 정보제시 오류를 조사함으로써 교사에게 지필평가 문항의 개발에 있어서 유의점으로 제공하여 일선 학교의 지필평가 문항의 질적 수준을 향상 시키는데 기초자료로 제시하고자 한다. 이를 위한 구체적인 연구 내용은 다음과 같다.
첫째, 지필평가 문항의 정보 제시 오류를 조사하여 유형화한다.
둘째, 지필평가 문항의 오류 유형별 빈도수를 조사한다.
연구 방법
연구대상
이 연구는 특정 도시의 15개 중학교의 학교장과 과학 교사들에게 연구 목적에 대해 설명하고, 학교명이나 교사명이 거론되지 않는다는 전제하에 1학년 1학기 지필평가 문항지를 제공받았다. 예비 조사로서 물질 단원 문항이 포함되어있는 지필 평가지를 임의로 선택하여 5개 중학교의 지필평가 47문항을 대상으로 정보 제시 오류의 유형을 조사 · 분석하고, 정의 하였다. 예비조사의 결과에 따라 분석틀을 구성하여, 예비조사에 사용된 지필 평가지를 제외한 10개 중학교의 지필평가 중 물질 단원 문항 167개를 최종 연구 대상 자료로 하여 분석하였다(Table 1).
Table 1.Subject
자료 수집 및 분석
수집된 지필평가 문항 자료는 학년, 학교, 학기, 중간 및 기말고사, 문항번호의 순서로 구분하여 정리하여 분석하였다. 예를 들면, ‘B-I-나-12’ 은 B학교, 1학기, 기말고사, 12번 문항을 나타낸다.
본연구진들과 교사 연구회의 교사 5인이 중학교 1학년 1학기 과학 교과 물질단원의 지필평가 문항을 분석하여, 문항에 포함된 정보에 어떠한 오류가 있는지를 분석하였다. 조사된 정보 제시 오류를 유형화하여 정의하고, 그에 근거하여 지필 평가 문항의 오류 빈도를 조사하였다.
각각의 연구자가 각기 문항을 분석하고 연구자별 문항 분석 결과를 확인하였다. 분석결과가 일치하지 않은 경우에는 논의 과정을 반복하여 연구자간의 오류 및 유형의 기준 일치도를 확인함으로써 신뢰도와 타당도를 높였다.
이 연구는 지필평가지 공개를 꺼려하는 교육현장 문화 등 현실적인 여건상, 특정 지역의 지필평가 문항을 분석하였으므로, 연구 결과를 전체적인 지역으로 일반화하기 어렵다는 제한점을 갖는다.
연구 결과
정보제시 오류 유형 및 정의
중학교 1학년 물질단원 지필평가 문항의 정보제시 오류를 분석한 결과, Table 2에서 제시된바와 같이 불충분한 정보제시 (insufficient information), 불필요한 정보제시 (unnecessary information), 잘못된 정보제시 (inaccurate information), 교육과정 내용을 초월한 정보 제시 오류 (information against curriculum), 불명확한 정보 제시(unclear information) 등 크게 다섯 가지로 분류되었다.
Table 2.Types of errors
불충분한 정보 제시: 문제를 해결함에 있어서 반드시 필요한 정보가 빠진 경우를 의미한다. 예를 들면, B-I-나-13 문항의 경우, 출제자가 그림을 제시한 의도는 상태변화 시 분자의 배열이 달라진다는 것과 분자간 거리가 달라진다는 것을 나타내기 위함이다. 하지만 주어진 그림은 상태변화 시 입자의 개수가 줄어든다는 정보를 인지할 수도 있어, 학생이 제시된 문항을 정확히 파악하게 하려면, 그림에 “상태변화 시 입자의 개수는 변화가 없다.”라는 등의 부연 설명을 덧붙여야 한다. 또한 이 문제의 정답은 일반적인 물질은 (가)에서 (나)로 변할 때 부피가 증가하지만, 물의 경우에는 반대로 감소하기 때문에 답이 ①과 ②로 두가지가 가능해진다. 답이 좀 더 명확해 지기 위해서는 “단, 제시된 분자배열은 물을 제외한 일반적인 물질이다.” 라는 표현이 제시되어야 한다.
불필요한 정보 제시: 문제를 해결하는데 있어 필요하지 않는 표나 그림, 문구가 포함되어 문제 해결 과정에서 혼란을 야기할 수 있는 오류를 말한다. 예를 들면, A-I-가-18 문항의 출제 의도는 보일법칙에 관한 개념을 정확히 알고 있는지 물어보는 것이다. 그러나 이 문항은 제시된 표만 가지고도 충분히 문제를 풀 수 있으며, 함께 제시된 그림은 문항을 풀이하는 과정에서 반드시 필요한 자료가 아니다. 물론 문항에 실험과정을 포함하여 제시하는 것은 학생의 이해에 도움을 준다. 그러나 문항에 제시된 표는 압력이 1, 2, 4, 5일 때 네 개의 실험과정에 따른 압력과 부피가 제시 되어 있는 반면, 실험과정은 (가)에서 (나)로 변하는 한 단계의 실험과정만 제시가 되어서 실험결과와 과정이 일치하지 않으며, 오히려 그림에 의해 항상 추 1개당 1기압이 증가한다는 오개념을 형성시키는 자료가 될 수도 있다. 또한 D-I-나-11 문항은 상태변화를 제대로 이해했는지 평가하는 문항이다. 하지만 주어진 문제와 그림이 전혀 관계가 없기 때문에 주어진 조건과 그림에서 답을 유추하는 것이 아니라 기존에 가지고 있는 지식으로 문제의 답을 유추 해야한다. 제시된 그림보다는, 용광로에서 철을 녹이는 장면이나 쇳물을 거푸집에 붓는 그림을 제공을 하였다면, 더욱 적절한 문항이 되었을 것이다.
잘못된 정보 제시: 제시된 문항의 그림이나, 그래프, 내용이 틀리거나, 사실과 다르게 제시가 된 경우를 말한다. 예를 들면, K-I-나-20 문항의 경우, 열에너지는 물체의 온도나 상태변화에 대해 정의하는 에너지로서 물체의 내부에너지의 증가량과 물체가 외부로 한 일의 양을 가지고 정의한다. 따라서 열에너지는 가지고 있는 것이 아니라 에너지를 다른곳으로 전달할 때 열로써 전달하는 것이다. 변화가 일어나는 동안에만 드나드는 것이 열이기 때문에 변화가 완료된 상태에서의 열에너지란 용어 사용은 적절하지 않다. 또한 그래프에서 액체인 물의 열용량(기울기)이 고체나 기체에 비하여 작은 것으로 도시되어 있다. 그리고 어는점은 0 ℃로 제시되어 있는 반면, 물의 끊는 점은 90 ℃ 로 도시되어 물의 끓는점과 어는점이 다른 기압 하에 있을 때의 수치로 표기되는 오류를 범하고 있다.
B-I-나-13
A-I-가-18
D-I-나-11
교육과정 내용을 초월한 정보 제시: 제 7차 중학교 1학년 과학과 교육과정 이상의 내용이 포함되거나, 사용된 예시가 중학교 1학년 수준에 맞지 않는 경우를 말한다. O-I-나-25 문항은 샤를 법칙과 관련된 내용이다. 중학교의 샤를 법칙은 현상적 이해와 정의, 공식 소개 수준에서 다루도록 교육과정에 제시되어 있다. 그러나, 아래 문항은 고등학교 화학Ⅱ에 소개되는 내용으로, 문항을 정확히 풀기 위해서는 기체의 인력, 반발력, 기체분자 자체의 부피 등 여러 가지 요인을 고려해야 하기 때문에 중학교 과학과 교육과정을 벗어난다고 볼 수 있다.
K-I-나-20
O-I-나-25
O-I-나-20
불명확한 정보 제시: 제시된 그림이나 그래프 등이 명확한 의미전달이 어려운 경우를 의미한다. 예를 들면, O-I-나-20문항은 상태변화와 그에 따른 분자사이의 거리변화에 대한 개념을 묻는 문제이다. 일반적으로 상태변화 중 승화현상이 일어날 때 거리가 가장 크게 변하기 때문에 제시된 예시가 어떠한 상태변화인지만 판단한다면, 문제를 해결 할 수 있을 것이다. 하지만, ‘크게 변한다.’의 의미는 ‘작은 것에서 큰 것으로’의 변화도 되지만, 반대의 경우도 가능하므로 더욱 정확하게 묻고자 하는 것을 나타내기는 “거리가 크게 증가하는 것”으로 표현을 해야 한다.
정보제시 오류 유형별 빈도 분석
167개의 문항을 정보제시 오류 유형별로 분석한 결과는 다음과 같다(Table 3).
Table 3.Frequency of types of errors
총 167개의 문항 중 81개의 문항(48.50%)에서 정보제시 오류가 있는 것으로 조사되었다. 교육과정을 초월한 정보 제시가 가장 많았으며, 잘못된 정보 제시, 불충분한 정보 제시, 불필요한 정보 제시, 불명확한 정보 제시의 순서로 높은 빈도수가 나타났다. 일반적으로 어려운 문제는 학습 내용의 깊이나 적용에서 접근하기도 하지만, 상급 학년의 수준으로 출제되는 경향이 있다.23 교육과정 내용을 초월한 정보가 지필평가 문항지에 제시되게 되면, 학생은 선수 학습을 해야 한다고 인식하게 될 것이고, 사교육에 의존하게 될 수 있다. 결국 교육과정의 수준과 범위를 넘어선 지필평가 문항은 사교육 조장하는 원인으로 작용할 수도 있다.
잘못된 정보의 제시는 학습자에게 오 개념을 제공할 수도 있다7는 관점에서 볼 때 지필평가 문항에서의 정확한 정보 제시는 매우 중요하다. 교사는 지필평가의 결과를 통해 학습자의 성취정도를 파악하는 자료로 이용하며, 학습자는 평가 문항을 통해서 학습 내용의 중요도나 공부할 때 놓쳐서 하지 못한 부분을 인지할 수 있다. 지필평가에 잘못된 정보가 제시된 경우에는 학습자가 그 내용을 보고 잘못된 정보를 습득하게 될 수도 있다. 그렇기 때문에 교사가 지필평가 문항을 개발함에 있어서 보다 세심한 검토를 해야 한다.
결론 및 시사점
이 연구는 중학교 1학년 과학과 지필평가 문항 중 물질 분야 문항에 나타난 정보제시의 오류와 오류 유형별 빈도수를 조사 · 분석하였다.
첫째, 중학교 1학년 과학과 물질 분야 문항에서 조사된 정보 제시 오류 유형은 불충분한 정보, 불필요한 정보, 잘못된 정보, 교육과정 내용을 초월한 정보, 불명확한 정보 등의 다섯 가지로 나타났다. 이러한 지필평가 문항의 다양한 정보 제시 오류는 직접 또는 간접적으로 교육에 영향을 줄 수 있다. 예를 들면, 학습자들은 정보 제시 오류로 인하여 문항의 의미를 올바로 파악하지 못하고, 임의적인 추측이나 직관에 따라 문제를 풀게 될 것이다. 그러한 경우, 교사는 지필평가 결과를 이용하여 학습자 및 학습 과정에 대한 올바른 평가를 하기가 어려워진다. 교사는 과학과 지필평가 문항을 개발함에 있어서 다양한 유형의 정보 제시 오류에 대한 인식을 해야 하며, 이점에 유의하여 문항을 제작해야 할 것 이다.
둘째, 분석한 167개의 문항 중 81개의 문항(48.50%)에서 정보 제시 오류가 있는 것으로 조사 되었다. 교육과정 내용을 초월한 정보 제시 , 잘못된 정보 제시, 불충분한 정보 제시, 불필요한 정보 제시, 불명확한 정보 제시 등의 순서로 높은 빈도가 나타났다. 이 결과는 교사가 지필 평가 문항을 개발할 때, 교육과정 수준과 범위, 그리고 과학 내용에 대한 철저한 검토가 선행되어야 함을 의미한다. 교육과정을 벗어난 정보 제시로 인한 사교육 조장, 혹은 잘못된 정보의 제시로 야기될 수 있는 학습자의 오개념 형성의 원인이 될 수 있기 때문이다. 이 연구결과는 지필평가 문항의 정보 제시 오류로 인하여 발생 할 수 있는 학습자의 과학 학습에 대한 부정적인 관점에 대한 세심한 고려와 검토가 필요하다는 것을 의미한다. 왜냐하면, 교사는 지필평가의 결과를 통해 학습자의 성취정도를 파악하는 자료로 이용하며, 학습자는 평가 문항을 통해서 학습 내용의 중요도나 공부할 때 놓쳐서 하지 못한 부분을 인지할 수 있기 때문이다.
셋째, 문항 또는 답지에서 불충분한, 불명확한 정보를 제시하는 경우 문제를 해결함에 있어서 충분한 정보가 제시되어 있지 않기 때문에 학습자가 문제에 대한 의미를 정확히 파악하지 못하고 추측에 의해 정답을 선택하게 할 가능성이 있으며 문제를 해결하는 과정에 있어서 오히려 혼란을 가중시킬 뿐만 아니라 학업성취정도를 정확하게 평가하는 것을 불가능하게 만들 수 있다.
교사가 지필평가 문항을 개발함에 있어서 오류를 최소화하기 위해서는, 첫째, 과학 교사들을 대상으로 지속적인 평가 관련 연수와 워크숍 등의 기회가 필요하다. 연수를 통해 실제 문항을 제작하고 서로 평가해보는 기회 등과 같은 평가 문항제작에 대한 전문성 계발은 지필평가 문항의 정보 제시 오류를 최소화하는데 실질적인 도움이 될 것이다. 둘째, 개발된 문항을 검토할 수 있는 체제나 시간적 지원이 요구된다. 현재 내신 지필평가는 학교별, 교사별로 문항 개발 과정 및 방법이 다양하다. 과학교사들이 한 명씩 순서대로 평가 문항 전체를 출제하는 학교가 있고, 어떤 경우는 과학 교사들이 공동 출제 시스템으로 문항이 개발된다. 또한 출제 기간도 학교별로 차이가 난다. 시간적 여유를 두지 않고 단시간에 문항을 개발하게 될 경우, 문제에 대해 깊이 생각할 시간이 없게 되므로 오류 발생 빈도가 더 높아지게 된다. 따라서, 평가 문항을 개발 할 때 시간적인 여유를 두고 문항을 출제하며, 동교과, 동교과목 교사간의 교차 검토를 통해서 보다 체계적이고 합리적인 문항 개발을 할 수 있는 체제가 이루어져야겠다.
References
- Kwon, J.; Kim, B.; Woo, J., Cheong, W.; Jung, J.; Choi, B. Theory of Science Education, Educational Science: Seoul, Korea, 1998.
- Marzano, R. J. Classroom Assessment and Grading that Work. Association for Supervision and Curriculum Development: VA, USA., 2006.
- Mintzes, J.; Wandersee, J.; & Novak, J. Assessing science understanding. Academic Press: CA, USA., 2000.
- Korea Educational Development Institute, Educational statistics analysis. KEDI: Seoul, Korea, 2009.
- Oh, H.; Lee, K. J. of Curriculum & Evaluation 2006, 9(1), 405-424.
- Marzano, R. J.; Haystead, M. W. Making standards useful in the classroom, ASCD. 2008.
- Airasian, P. W. Assessment in the Classroom: A Concise Approach (2nd ed.); McGraw-Hill: MA, USA. 2000.
- Yang, I.; Lim, S.; Lim, J.; Choi, H. J. of Korean Society of Elementary Science Education 2008, 27(3), 221-232.
- Park, J. An Analysis of Summative Evaluation Items of the Secondary School Science; Thesis of Ewha Womans University, 1998.
- Na, J. Analysis of science test items used for student evaluation in elementary school; Thesis of Korea National University of Education, 2006.
- Jeong, M.; Lee, K.; Kim, C. J. of Korean Society of Mathematical Education 2004, 23(4), 332-343.
- Choi, Y.; Hong, G.; Do, J.; Kim, M. J. of Korean Society of Elementary Science Education 2002, 14, 151-162.
- Lee, Y. Analysis of Evaluation Items and Student's Errors in Solving: 8th grade. Thesis of Ajou University, 2002.
- Kweon, Y.; Chun, J. Secondary Institute Of Education 2002, 14, 1-47.
- Airasian, P. W. Classroom Assessment: Concepts and Applications (4th ed.); McGraw-Hill: MA, USA, 2001.
- Gronlund, N. E. How to Write and Use Instructional Objectives (6th ed.); Prentice Hall: NJ, USA, 2000.
- Radatz, H. J. for Research in Mathematics Education 1979, 10, 163-172. https://doi.org/10.2307/748804
- Stiggins, R. Student-Centered Classroom Assessment; Macmillan Publishing Company: NY, USA, 1994.
- Wiggins, G. Assessing Student Performances; Jossey-Bass Publishers: CA, USA, 1993.
- Wiggins, G. Educative Assessment: Designing Assessments to Inform and Improve Student Performance; Jossey-Bass Publishers: CA, USA, 1998.
- National Institute of the Korean Language Korean Dictionary; the National Institute of the Korean Language: Seoul, Korea. 2009.
- Dong-A Prime English-Korean Dictionary; DoosanDong-A: Seoul, Korea, 2008.
Cited by
- A Survey on the Conditions of Middle School Science Evaluation vol.55, pp.3, 2010, https://doi.org/10.15812/ter.55.3.201609.389