• 한국과학교육학회지
• /
• 제37권2호
• /
• pp.225-237
• /
• 2017

이 연구에서는 예비 화학 교사가 개별적으로 지필평가 문항을 제작하는 과정의 특징을 분석하였다. 이를 위하여 8명의 예비 화학 교사가 기체 법칙에 대한 6개의 지필평가 문항을 제작하는 발성 사고 과정과 개별 심층 면담 전사본을 분석하였다. 분석 결과, 예비교사들은 지필평가 문항 제작 과정에서 문항 제작 계획 단계의 체계성 부족, 수업과 평가의 상호관련성에 대한 인식 및 고려 부족, 문항 유형 결정 기준의 다양성, 문항의 행동 영역과 난이도 판별 곤란, 교사용 지도서 활용의 제한성과 교사용 지도서에 대한 오해, 검토 관점과 내용의 제한성 및 검토시기에 따른 차이점 등의 6가지 특징을 보였다. 이는 예비교사의 지필평가 문항 제작 능력을 향상시키는 방안을 모색하는 데 의미있는 시사점을 제공할 수 있다.

• 대한지역사회작업치료학회지
• /
• 제9권2호
• /
• pp.43-58
• /
• 2019

목적 : 본 연구는 한국형 작업균형을 측정할 수 있는 평가도구를 개발하고자 실시되었다. 연구방법 : 2017년 3월부터 2019년 7월까지 선행연구 분석, 전문가 포커스 회의를 통해 예비문항을 작성하였고, 2차의 델파이조사를 통해 예비문항을 선정하였다. 문항의 타당성 검증을 위해 라쉬분석을 실시하여 대상자 및 문항적합도, 문항난이도, 평정척도, 분리신뢰도를 분석하여 최종문항을 도출하였다. 결과 : 조사대상자 141명 중 시간사용에서 9명(6.38%), 작업영역에서 11명(7.80%)이 부적합 대상자로 나타났다. 시간사용 적합대상자 132명, 작업영역 적합대상자 130명을 대상으로 문항의 적합도를 분석한 결과 3개 문항이 부적합 문항으로 판정되었으나, 이론 및 임상적 근거에 기초하여 최종적으로 작업특성 영역의 1개 문항을 삭제하였다. 문항의 난이도 분석에서 당신은 가정 내에서 다른 사람을 위한 활동에 사용하는 시간의 양은 어떠합니까?, 당신은 정규교육이나 관심분야를 위한 교육을 받고 있습니까? 문항이 높은 난이도를 보였다. 평정척도 분석결과에서는 5점 척도보다 4점 척도가 적합한 것으로 나타났고, 분리신뢰도는 .86~.94이었다. 최종적으로 3개 범주(시간사용, 작업영역, 작업특성), 18개 문항이 최종 선정되었다. 결론 : 작업균형 평가도구는 3개 범주 영역, 18개 문항을 최종 선정하였고, 4점 리커트 척도로 개발되었다. 추후 연구에서는 작업균형을 측정하는 다른 평가도구와의 상관관계를 통해 공인타당도를 입증하고, 작업균형에 영향을 미치는 요인을 분석하는 추가연구가 필요할 것이다.

• 대한수학교육학회지:학교수학
• /
• 제14권4호
• /
• pp.517-529
• /
• 2012

학교에서의 수학 평가는 국가 교육과정과 일관되게 이루어져야 한다. 본 연구는 예비교사들이 교육과정에 충실하게 평가 문항을 개발한 과정을 분석하였다. 예비교사들은 교육과정에 대한 지식을 이미 갖추었지만 평가 문항에 교육과정을 충실하게 반영하지 못했다. 그러나 동료들과 여러 차례의 검토와 수정 과정을 거친 토론 속에서 평가 문항의 교육과정 충실도는 점점 더 높아졌다. 그리고 예비교사들은 토론을 통한 문항 수정을 하면서 교육과정 외에 출제자의 의도에 부합하게 문항을 구성하고, 학생들이 문항을 쉽게 이해할 수 있도록 돕고, 문항들 간의 일관성을 갖기 위한 의견을 제시하면서 문항의 완성도를 높여 갔다.

• 컴퓨터교육학회논문지
• /
• 제11권1호
• /
• pp.65-74
• /
• 2008

본 논문은 데이터 마이닝 기법 중 연관규칙 추출 알고리즘을 이용하여 시험 응답 데이터에서 서로 연관된 문항들을 찾아내고, 그 원인을 규명함으로써 교육평가에서 사용되고 있는 기존의 검사이론 기반의 분석 결과와 함께 사용되면 문항의 질뿐만 아니라 피험자의 성취 수준을 심층적으로 분석하는데 도움을 줄 수 있는 시험 응답데이터 분석시스템을 개발하고 구현하는데 연구의 목적이 있다. 현재의 교육평가 분야에서 문항 분석에 사용되는 고전검사 이론과 문항반응 이론은 각 문항의 독립성을 전제로 하고, 피험자들이 각 개별 문항에 반응하여 나타나는 결과를 통계적 수치를 이용하여 설명하고 있다. 그러나 실제 학교 현장에서 실시한 시험의 결과를 보면, 피험자들의 반응에 의하여 문항간 연관성이 발생하게 되며 이러한 연관성은 각각의 문항들을 분석하고 피험자의 능력을 추정하는 데 의미 있는 영향을 미치게 된다. 제안된 시스템은 연관규칙 마이닝을 이용하여 흥미로운 문항간 연관성을 추출하고, 그 원인을 분석하여 사용자에게 제공함으로써 교수-학습 방법 개선이나 문제은행의 질을 향상시키는데 도움을 줄 수 있도록 하였다.

• 한국컴퓨터교육학회 학술대회
• /
• 한국컴퓨터교육학회 2018년도 동계학술대회
• /
• pp.107-110
• /
• 2018

본 연구에서는 컴퓨팅 사고력 평가도구로써 비버 챌린지 문항을 활용하기 위하여 문항반응이론을 통해 비버 챌린지 문항을 분석하고, 비버 챌린지에서 기존에 제시하는 난이도와 문항반응이론을 통한 난이도 간의 상관관계를 분석하였다. 분석 결과 비버 챌린지는 쉽고 변별력이 높은 검사로 나타났으나, 비버 챌린지에서 제시하는 난이도와 문항반응이론을 통한 난이도 간의 상관관계는 없었다. 난이도에 따라 가점과 감점이 이루어지는 비버 챌린지 채점 기준을 고려할 때 정확한 컴퓨팅 사고력 측정을 위해서는 난이도에 대한 수정 및 보완이 필요하다.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제18권2호
• /
• pp.143-154
• /
• 2004

학교에서 실시되는 평가의 주체는 교사이므로, 교사는 '좋은 평가 도구'를 개발 ${\cdot}$ 제작 할 수 있어야 한다. 좋은 평가 도구를 제작하기 위해서는 이에 대한 직접적인 훈련이 필수적인 동시에 교사 교육의 첫 단계부터 좋은 평가 도구로 평가를 받는 간접 경험도 중요하다. 이 논문에서는 문항반응이론을 적용하여 수학교사 양성기관에서 사용되는 지필고사 문항에 대하여 신뢰도, 타당도, 난이도 및 변별도를 측정하였다. 이 결과는 평가 문항을 개발할 때에 기초자료로 사용될 수 있다.

• 대한화학회지
• /
• 제65권1호
• /
• pp.48-57
• /
• 2021

본 연구는 국제 학업성취도 평가인 TIMSS 2019 사전검사에서 지필 평가와 컴퓨터 기반 평가로 시행된 과학 평가 문항을 분석하여 검사 매체에 따라 문항 정답률에 영향을 미치는지를 문항 및 학년별로 살펴보았다. 그 결과, 4학년과 8학년 모두 검사 매체에 따른 과학과 문항 정답률 차이가 크지 않았다. 학년별로 살펴보면, 8학년보다는 4학년의 경우 정답률 차이가 상대적으로 크게 나타났다. 문항별로 살펴보면, 선다형 문항보다는 서답형 문항의 경우 정답률 차이가 상대적으로 크게 나타났다. 검사 매체 영향에 대한 과학과 평가 문항 내용을 분석한 결과로는 선다형 문항은 지필 평가와 컴퓨터 기반 평가 문항간의 차이가 거의 없었으나, 서답형 문항은 지필 평가에 비해 서답형 문항의 정답률이 낮아지는 경향을 보였다. 또한, 학년별로는 4학년 학생들이 8학년 학생들보다 서답형 문항에서 정답률이 낮아지는 것으로 나타났다. 본 연구를 토대로, 우리나라 컴퓨터 기반 평가의 개발과 현장 도입과 관련된 시사점을 제공하고 컴퓨터 기반 평가가 학교 평가로 잘 정착하기 위한 교육적 함의를 고찰하고자 한다.

• 한국과학교육학회지
• /
• 제36권1호
• /
• pp.87-101
• /
• 2016

본 연구의 목적은 초등학교에서 개발 시행된 서술형 평가 문항의 내용타당도를 분석하는데 있으며, 이 평가 문항들의 개선을 위한 기초자료를 제시하는데 연구의 의의가 있다. 이를 위하여 여러 초등학교의 서술형 평가문항을 수집하고, 이원분류표의 평가목표와 문항의 평가목표가 요구하는 행동소를 비율차 검정하였다. 분석의 결과 교사가 제작한 서술형 평가문항은 '지식', '이해'를 주로 측정하고 있으며, 행동영역의 내용타당도가 낮음을 확인하였다. 내용타당도가 낮은 결과를 설명하기 위해 9명의 초등 교사를 대상으로 면담을 실시하였다. 면담의 결과 초등학교 과학과 서술형 평가문항의 내용타당도 확보를 저해하는 요인으로 교사내적요인과 교사외적요인을 추출하였다. 교사내적요인에는 바르지 않은 이원분류표의 작성법, 초등학생의 발달 단계 고려, 난이도, 채점의 용이성, 경로의존성 등이 포함되었다. 그리고 교사외적으로는 교육과정 및 학부모 그리고 행정적 요소 등이었다. 이상의 결과를 바탕으로 과학교사의 서술형 평가전문성을 위한 요인들을 제언하였다.

• 대한수학교육학회지:수학교육학연구
• /
• 제26권3호
• /
• pp.527-542
• /
• 2016

통계 정보에 대한 비판적 이해 능력을 강조하는 통계적 소양이 통계 교육의 목표로 주목받고 있다. 통계적 소양 교육을 위해서는 평가의 역할이 중요하다. 특히 대학수학능력시험이 우리나라 학교 수업에 미치는 영향을 고려할 때, 대학수학능력시험에서 통계적 소양을 평가할 수 있는 문항이 출제될 필요가 있다. 이를 확인하기 위하여 PISA 평가틀(OECD, 2013)을 이용하여 대학수학능력시험의 통계 문항이 통계 정보에 대한 비판적 이해 능력을 측정하는지, 다양한 맥락을 활용하는지를 분석하였다. 대학입학시험에서 통계적 소양의 평가와 측정을 반영하기 위한 시사점을 도출하고자, 미국의 대학입학시험인 SAT의 통계 문항과 비교 또한 시도하였다. 분석 결과 수능과 SAT 모두 다양한 유형의 맥락을 활용하고 있었으나, 수능에 출제된 통계 문항들은 비판적 이해 능력을 평가하는 것에 있어 제한적인 것으로 나타났다. SAT에 출제된 통계 문항에는 비판적 이해 능력을 평가하는 것이 상당수 포함되어 있다. 이를 포함하여 통계적 소양을 평가하기 위한 다양한 문항들이 있다. 이 문항들을 참고하여 우리나라의 교육과정에서 제시하는 통계교육의 목표, 내용, 방법에 적합한 통계적 소양 평가문항을 개발할 필요가 있다.

• 한국학교수학회논문집
• /
• 제15권2호
• /
• pp.281-297
• /
• 2012

수학과 평가는 학생들의 수학적 사고력과 성취도를 측정하는데 있다. 또한 이를 분석 활용하여 수학교육의 질을 높이는데 그 목적이 있다. 이러한 평가는 좋은 문항제작에서부터 시작된다. 이에 본고는 문항제작 관련 이론을 고찰하고, 교육목표에 따른 예시 문항과 문항제작시의 유의점을 살펴보며, 계획 단계, 초안 문항제작 단계, 검토 단계, 최종 문항제작 단계 등 단계별 문항제작의 실제를 안내하고자 한다.