• 과학교육연구지
• /
• 제36권2호
• /
• pp.293-302
• /
• 2012

이 연구는 중학교 1학년 과학과 총괄 지필평가 출제경향을 조사하기 지필평가 문항의 행동영역, 내용영역, 문항유형, 난이도에 대하여 조사 분석하였다. 10개의 중학교의 1차와 2차 지필평가 문항의 총 645개를 연구대상으로 하여 분석하였다. 연구결과는 다음과 같다. 첫째, 지필평가 문항의 행동영역은 '지식, 이해' 수준으로 편중되어 있으며, 적용, 분석, 종합, 평가 영역의 문항은 거의 출제가 되고 있지 않았다. 둘째, 내용영역은 기존의 연구의 결과에 비해 과학적 탐구과정의 출제 빈도수가 많아졌지만, 여전히 과학지식을 묻는 문항이 과학적 탐구과정의 문항과 비교하여 두 배 이상의 비율로 출제되고 있음을 알 수 있었다. 셋째, 문항유형은 선다형 문항 중심으로 출제 되고 있는 것으로 조사되었다. 넷째, 정답률을 기준으로 문항의 난이도를 분석한 결과, 전체적인 빈도수에서 '상'에 해당하는 문항의 비율은 교사가 목표로 하는 난이도 비율보다 낮았으며, '중'의 비율은 교사가 생각하는 난이도 비율보다 높은 것으로 조사되었다. 과학학습에 대한 다양한 영역의 총체적인 평가를 위해서는 교사의 평가 및 문항 개발의 전문성 신장에 대한 노력이 이루어져야 할 것이다.

• 한국과학교육학회지
• /
• 제37권2호
• /
• pp.225-237
• /
• 2017

이 연구에서는 예비 화학 교사가 개별적으로 지필평가 문항을 제작하는 과정의 특징을 분석하였다. 이를 위하여 8명의 예비 화학 교사가 기체 법칙에 대한 6개의 지필평가 문항을 제작하는 발성 사고 과정과 개별 심층 면담 전사본을 분석하였다. 분석 결과, 예비교사들은 지필평가 문항 제작 과정에서 문항 제작 계획 단계의 체계성 부족, 수업과 평가의 상호관련성에 대한 인식 및 고려 부족, 문항 유형 결정 기준의 다양성, 문항의 행동 영역과 난이도 판별 곤란, 교사용 지도서 활용의 제한성과 교사용 지도서에 대한 오해, 검토 관점과 내용의 제한성 및 검토시기에 따른 차이점 등의 6가지 특징을 보였다. 이는 예비교사의 지필평가 문항 제작 능력을 향상시키는 방안을 모색하는 데 의미있는 시사점을 제공할 수 있다.

• 과학교육연구지
• /
• 제34권1호
• /
• pp.155-163
• /
• 2010

이 연구의 목적은 본 연구는 영재선발도구로서 지필 검사 문항의 적합성에 대한 검토를 위해 초등과학영재교육원의 학생 선발에 지난 3년간 사용된 지필 검사 문항들을 대상으로 문항 분석을 하여, 영재교육 대상자 선발 방법에 대한 새로운 전형방식에 주는 교훈을 얻기 위하여 실시하였다. 문항 분석 결과, 평균 문항 난이도와 변별도는 대체로 양호한 편이었으며, 교과 및 내용별로도 큰 차이가 없는 것으로 분석되었다. 서술형 문항이 객관형 문항에 비해 어렵게 출제되었으며, 변별력이 높았던 것으로 분석되었다. 특정 문항들과 총점과의 상관관계에서 객관형 문항의 경우는 물질 문항과, 자료변환 및 자료해석 문항에서 가장 높은 상관이 나타났으며, 서술형 문항의 창의성 문항이 총점과의 상관이 가장 높은 것으로 분석되었다. 선발 시험에 응시한 학생들의 성별의 따른 차이를 t 검증으로 분석한 결과, 자료변환 및 자료해석과 창의성에서 남학생의 평균이 유의미하게 높은 것으로 나타났다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(B)
• /
• pp.262-265
• /
• 2011

많은 학습 시스템에서 학습자의 수준에 맞는 맞춤학습을 위해서 학습자의 정확한 능력을 측정하는 평가 방법이 필요하다. 기존의 지필고사는 이를 위해서 학습자의 능력과 관련된 많은 수의 문항을 똑같은 시간과 순서대로 풀게 되므로 평가의 효율성 면에서 문제를 가지고 있다. 따라서 이러한 지필고사방식의 문제점을 해결하기 위해 문항정보이론과 컴퓨터의 처리성능을 결합시킨 컴퓨터화된 적응적 검사(CAT)에 대한 연구가 활발히 진행되고 있다. CAT는 지필고사의 문제점을 상당부분 해결했으나 문항간 연관성에 대해서는 독립을 가정하여 그렇지 않은 경우에는 비효율성을 가져올 수 있다. 본 논문에서는 문항반응이론 방식의 CAT가 가진 문제점을 해결하면서 성능이 개선된 베이지안 네트워크를 도입한 CAT를 제안한다. 이는 베이지안 네트워크에 평가문항을 세부분야별로 대입하여 한 문항에 대한 응답으로 그와 연관된 분야의 학습자 능력을 추론한다. 또한 실험을 통해 기존의 기법을 사용했을 때에 비해 학습자의 실제 능력치에 수렴하는 속도가 증가함을 보인다.

• 대한수학교육학회지:학교수학
• /
• 제19권1호
• /
• pp.43-58
• /
• 2017

교사의 교육과정에 대한 이해 정도에 따라 교수 학습 방법에 상당한 차이가 존재할 수 있으며 평가 문항은 이러한 차이를 반영하는 대표적 산물 중 하나이다. 그러므로 지필평가 문항 분석을 통하여 교사의 교육과정에 대한 이해도가 지필평가에 어떻게 반영되고 있는가에 대한 실태 연구가 필요하다. 본 연구에서는 2009 개정 수학과 교육과정에 기반하여 중간고사와 기말고사로 출제된 '미적분I' 219개 검사지에 수록된 문항 중 '수열의 극한'을 내용 영역으로 하는 문항을 중심으로 변화된 교육과정이 학교 현장의 지필평가에서 어떻게 반영되고 있는지를 분석하였다. 분석 결과를 토대로 지필평가에서 나타난 문제점을 확인하고, 교육과정 개정 이후 새로운 교육과정의 안정적 안착을 위하여 반드시 동반되어야 할 교육정책 관련 시사점을 도출하고자 하였다.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제18권2호
• /
• pp.143-154
• /
• 2004

학교에서 실시되는 평가의 주체는 교사이므로, 교사는 '좋은 평가 도구'를 개발 ${\cdot}$ 제작 할 수 있어야 한다. 좋은 평가 도구를 제작하기 위해서는 이에 대한 직접적인 훈련이 필수적인 동시에 교사 교육의 첫 단계부터 좋은 평가 도구로 평가를 받는 간접 경험도 중요하다. 이 논문에서는 문항반응이론을 적용하여 수학교사 양성기관에서 사용되는 지필고사 문항에 대하여 신뢰도, 타당도, 난이도 및 변별도를 측정하였다. 이 결과는 평가 문항을 개발할 때에 기초자료로 사용될 수 있다.

• 대한수학교육학회지:수학교육학연구
• /
• 제24권4호
• /
• pp.573-594
• /
• 2014

교사의 평가 전문성의 영역 중에서도 평가 문항 제작 능력은 평가의 타당도, 신뢰도에 있어 필수적인 요소이다. 다시 말해, 평가문항의 내용적인 측면과 형식적인 측면에서의 오류는 올바른 평가를 저해하는 요소이며 이러한 평가를 통하여 긍정적 피드백이 이루어질 수 없다. 본 연구는 서울 경기 인천 일반고등학교 45개교 수학과 중간고사와 기말고사 기하와 벡터 60개 시험지의 문항 분석을 통하여 지필평가의 내용적인 측면과 형식적인 측면에서의 문항 오류와 개선점에 대하여 논하고, 이를 통하여 교사들의 평가 문항 제작에 대한 능력 제고를 그 목적으로 하고 있다.

• 대한화학회지
• /
• 제54권6호
• /
• pp.781-786
• /
• 2010

이 연구는 중학교 1학년 과학과 지필평가 문항 중 물질 분야 문항에 나타난 정보제시의 오류와 오류 유형별 빈도수를 조사 분석하였다. 중학교 1학년 과학과 물질 분야 문항에서 조사된 정보 제시 오류 유형은 불충분한 정보, 불필요한 정보, 잘못된 정보, 교육과정 내용을 초월한 정보, 불명확한 정보 등의 다섯 가지로 나타났다. 분석한 167개의 문항 중 81개의 문항(48.50%)에서 정보 제시 오류가 있는 것으로 조사 되었다. 지필평가 문항의 정보 제시 오류로 인하여 학습자의 과학 학습에 대한 부정적인 관점이 발생할 수 있기 때문에 교사가 문항 개발할 때 세심한 검토가 필요하다.

• 대한화학회지
• /
• 제65권1호
• /
• pp.48-57
• /
• 2021

본 연구는 국제 학업성취도 평가인 TIMSS 2019 사전검사에서 지필 평가와 컴퓨터 기반 평가로 시행된 과학 평가 문항을 분석하여 검사 매체에 따라 문항 정답률에 영향을 미치는지를 문항 및 학년별로 살펴보았다. 그 결과, 4학년과 8학년 모두 검사 매체에 따른 과학과 문항 정답률 차이가 크지 않았다. 학년별로 살펴보면, 8학년보다는 4학년의 경우 정답률 차이가 상대적으로 크게 나타났다. 문항별로 살펴보면, 선다형 문항보다는 서답형 문항의 경우 정답률 차이가 상대적으로 크게 나타났다. 검사 매체 영향에 대한 과학과 평가 문항 내용을 분석한 결과로는 선다형 문항은 지필 평가와 컴퓨터 기반 평가 문항간의 차이가 거의 없었으나, 서답형 문항은 지필 평가에 비해 서답형 문항의 정답률이 낮아지는 경향을 보였다. 또한, 학년별로는 4학년 학생들이 8학년 학생들보다 서답형 문항에서 정답률이 낮아지는 것으로 나타났다. 본 연구를 토대로, 우리나라 컴퓨터 기반 평가의 개발과 현장 도입과 관련된 시사점을 제공하고 컴퓨터 기반 평가가 학교 평가로 잘 정착하기 위한 교육적 함의를 고찰하고자 한다.

• 한국과학교육학회지
• /
• 제28권1호
• /
• pp.32-46
• /
• 2008

이 연구에서는 과학 영재 선발 도구로 사용된 지필검사(기초 지식 및 탐구 능력 검사, 창의성 검사) 문항의 질적 특성과 양적 특성을 살펴봄으로써 타당하고 신뢰로운 영재 선발 도구로서 지필검사의 적합성을 탐색하는데 필요한 기초자료를 얻고자 하였다. 문항의 질적 특성을 분석하기 위해 내적 및 외적 문항 분석틀을 구안하여 적용하였으며, 문항의 양적 특성과 질적 특성의 연관성을 분석하였다. 연구 결과, 다수의 문항이 중학교 교육 과정을 벗어난 속진 맥락으로 출제되어 내용 타당도에 문제가 있는 것으로 분석되었다. 또한 출제되는 내용이나 맥락에서 교과별 및 연도별로 상당한 차이가 있어 검사 도구의 안정성에도 문제가 있는 것으로 나타났다. 기초 지식 및 탐구 능력 검사의 경우는 지식이 차지하는 비율이 가장 높으며, 탐구 과정 중에서는 자료 해석 및 분석에 치중됨으로써 고른 탐구 능력을 측정하고 있지 못한 것으로 드러났다. 창의성 검사에서는 대다수의 문항이 발산적 사고나 연관적 사고보다는 수렴적 사고를 주로 측정하고 있는 것으로 나타났다. 한편, 분석된 대부분의 문항이 그래프보다는 그림이나 표를 이용하여 표현되는 것으로 나타났으며, 문항 유형에서는 서술형보다는 선다형이나 단답형의 비율이 훨씬 높았다. 문항의 변별도는 두 검사 모두 양호하였으나, 문항별 난이도 편차는 매우 큰 것으로 나타났다. 교과 간 및 검사도구 간 상관은 매우 낮았으며, 신뢰도 또한 낮은 것으로 나타났다. 또한 난이도는 낮아 쉬운 문제였지만 변별도가 양호한 유형의 문항이 가장 많았으며, 속진 맥락의 문항이 심화 맥락에 비해 변별도가 더 양호한 것으로 나타났다. 이와 같은 분석 결과들은 영재 교육 기관에서 학생 선발에 적합한 지필 검사 도구를 개발하는 데 기초 자료로 활용될 수 있을 것이다.