• 한국과학교육학회지
• /
• 제36권1호
• /
• pp.87-101
• /
• 2016

본 연구의 목적은 초등학교에서 개발 시행된 서술형 평가 문항의 내용타당도를 분석하는데 있으며, 이 평가 문항들의 개선을 위한 기초자료를 제시하는데 연구의 의의가 있다. 이를 위하여 여러 초등학교의 서술형 평가문항을 수집하고, 이원분류표의 평가목표와 문항의 평가목표가 요구하는 행동소를 비율차 검정하였다. 분석의 결과 교사가 제작한 서술형 평가문항은 '지식', '이해'를 주로 측정하고 있으며, 행동영역의 내용타당도가 낮음을 확인하였다. 내용타당도가 낮은 결과를 설명하기 위해 9명의 초등 교사를 대상으로 면담을 실시하였다. 면담의 결과 초등학교 과학과 서술형 평가문항의 내용타당도 확보를 저해하는 요인으로 교사내적요인과 교사외적요인을 추출하였다. 교사내적요인에는 바르지 않은 이원분류표의 작성법, 초등학생의 발달 단계 고려, 난이도, 채점의 용이성, 경로의존성 등이 포함되었다. 그리고 교사외적으로는 교육과정 및 학부모 그리고 행정적 요소 등이었다. 이상의 결과를 바탕으로 과학교사의 서술형 평가전문성을 위한 요인들을 제언하였다.

• 한국수학교육학회지시리즈C:초등수학교육
• /
• 제13권1호
• /
• pp.1-11
• /
• 2010

본 연구는 NRC(2001)의 수학 실력(Mathematical Proficiency)의 구성요소 즉 개념적 이해, 절차상의 능숙, 전략적 능력, 적응 추론, 생산적 성향 등을 바탕으로 교육청 단위 평가에서 수학 실력의 구성요소별 문항 수와 학생들의 성취도를 조사해 봄으로써 그 시사점을 도출하였다. 수학적인 문제를 공식화하고 표현하고 그리고 풀 수 있는 전략적 능력(strategic competence)을 요구하는 문항이 40%로 가장 많았고, 적응 추론(adaptive reasoning)과 개념적 이해(conceptual understanding)를 요구하는 문항에서는 80%가 넘는 높은 정답률을 보이는 반면, 가장 문항 수를 가진 전략적 능력(strategic competence)을 요구하는 문항은 생산적 성향을 제외한 요소들 중에 가장 낮은 정답률을 나타냈다. 앞으로 초등학교 수학평가에서 수학 실력의 균형적인 평가가 필요하고, 평가 결과가 교사의 교수 활동과 수업 방법을 개선하는데 활용되어야 한다.

• 기술혁신연구
• /
• 제31권3호
• /
• pp.171-199
• /
• 2023

본 연구는 K연구원의 상향식 R&D과제기획 차원의 신규 연구기획과제 선정평가를 위한 평가도구 개발에 목적을 두고 진행하였다. 이를 위해 CIPP모형과 연구기획평가를 위한 선정평가 및 평가지표에 관한 선행연구를 중심으로 R&D과제기획 선정평가 항목과 문항을 개발 한 후, 2회에 걸친 델파이 조사를 실시하였다. 개발된 평가도구는 13명의 전문가를 대상으로 설문조사를 실시하여 내용타당도, 합의도 및 수렴도를 검증하였다. 최종 선정된 R&D과제기획 선정평가 도구는 8개 항목에 총 21개 문항으로, 상황평가 5 문항, 투입평가 2문항, 과정평가 8문항, 산출평가 6문항으로 구성되었다. 개발된 평가 도구는 상향식 기획 과정상의 문제점을 해소하고 연구자들의 기획역량을 제고하는 데 기여할 것이다. 또한, 선정평가 시 평가에 대한 일관성과 효율성 제고에 기여할 것이다.

• 대한화학회지
• /
• 제54권3호
• /
• pp.329-337
• /
• 2010

본 연구는 과학 교사들에게 교과서에 실린 문항에 대한 관심을 높일 뿐 아니라 교과서 문항을 효과적으로 사용할 수 있는 기초 자료를 제공하고자 고등학교 화학II 교과서 8종의 단원 평가 문항을 블룸의 개정된 교육목표 분류틀에 따라 분석하였다. 연구 결과 블룸의 인지 영역에 따른 분류에서는 '이해(44.7%)'에 해당하는 문항이 가장 많았고, '적용(29.9%)', '지식(15.6%)', '분석(9.5%)' 순이었으며 이러한 결과는 일반화학 교재의 단원 평가 문항 분석 결과인 '적용', '분석', '이해' 순으로 되어 있는 것과 뚜렷한 차이를 보였다. 특히 '평가'에 해당하는 문항은 전체 화학II 교과서에서 단 한 문제도 발견되지 않았으며 '종합(0.3%)'에 해당하는 문항도 거의 찾아볼 수 없었다. 한편 '적용'에 해당하는 문항의 대부분이 특정한 계산을 요하는 '양적인 수행'이었으며 '이해' 및 '양적인 수행'에 해당하는 문항의 비율은 분석된 총 문항의 70%에 이르렀다.

• 한국가정과교육학회지
• /
• 제23권3호
• /
• pp.69-90
• /
• 2011

본 연구는 중학교 기술 가정 교과 의생활 영역을 중심으로 타당도 신뢰도 높은 서술형 평가 문항을 개발하여, 이를 학생들에게 적용해보고, 평가 결과를 분석해보는 것에 목적을 두었다. 이를 위해 평가할 내용을 분석하고, 평가 문항을 설계 개발하여 평가를 실시한 후 그 결과를 분석하였다. 목표 이원분류표와 평가 영역 및 평가 목표 설정을 토대로 서술형 평가 문항 초안을 작성하였고, 채점 기준표와 예시답안을 함께 작성하였다. 전문가 검토와 예비 검사를 거쳐, 최종적으로 서술형 평가 문항 총 23개를 완성하였으며, 이를 중학교 2학년 2개 학급 총 65명을 대상으로 본 검사를 시행하고 분석하였다. 본 연구의 결과, 서술형 평가 문항의 타당도는 각 문항별로 비교적 높게 나타났다. 채점자간 신뢰도는 세 채점자간에 강한 상관관계가 있는 것으로 나타나 개발된 평가 문항은 타당하고 신뢰할 만한 문항이라고 할 수 있다. 반면, 개발된 서술형 평가 문항에 대한 학업 성취도는 전반적으로 낮았다. 즉, 알고 있는 지식을 자신의 언어로 표현해서 서술하는 것과 정확하고 구체적인 답안을 작성하는 것을 힘들어했다. 또한 서술형 평가에 대해 비교적 긍정적으로 인식하고 있었으나, 서술하는 것에 대한 어려움, 학습량의 증가 등이 학생들에게 서술형 평가를 부담스러워 하는 것으로 인식하였다. 따라서 서술형 평가 방식을 통한 학생들의 평가가 보다 효율적이고 변별력 있게 시행되기 위해서는 서술형 평가를 위한 별도의 학습이나 훈련이 반드시 필요하다고 볼 수 있다. 이를 위해 앞으로 학생들은 수업시간을 통해서 교과 내용과 관련된 교과서 이외의 다양한 자료를 접해보고, 주어진 문제의 해결 방법에 대해 자신의 생각을 정리해보며, 사고를 확장시키고, 이를 글로 서술하여 표현해보는 연습이 요구된다. 그러므로 서술형 평가가 학교 현장에서 공정하고 객관성 있게 시행되기 위해서는 타당도 신뢰도 높은 평가 문항의 개발이 더욱 활발히 이루어져야 하고, 평가 문항의 개발과 관련된 교사들의 자발적이고 적극적인 연수와 연찬을 제안해 본다.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제29권1호
• /
• pp.73-90
• /
• 2015

교사는 도형과 그래프를 포함하는 내용 영역에 대한 평가 문항을 제작하는데 있어서 문항이 포함하는 그림이 가지는 역할을 제대로 나타낼 수 있도록 도형과 그래프를 제시해야 한다. 본 연구는 2014 수능형 문항 출제 전문성 향상 연수에 참여한 교사들이 GeoGebra를 활용하여 도형과 그래프를 작도하고, 이를 활용하여 문항을 수정하는 과정과 이 과정에서 나타난 문항 제작에 대한 사례를 제시하고 문항제작에 대한 교사들의 인식을 살펴보고자 한다. 9명의 교사들은 연수 후 작성한 설문에서 GeoGebra를 활용한 문항 제작 과정을 통하여 문항 출제에 대한 자신의 한계를 극복하였고 GeoGebra가 창의적 문항 개발의 도구적 역할을 할 수 있다고 언급하였다. 이와 같은 결과를 토대로 교사들의 평가 문항 제작 능력 제고에 대한 시사점을 제공하고자 한다.

• 컴퓨터교육학회논문지
• /
• 제15권6호
• /
• pp.33-41
• /
• 2012

본 논문은 온라인 평가 문항 관리 시스템 및 방법에 관한 것이다. 제안하는 시스템은 학습자 정보 데이터베이스, 영역별, 난이도별로 분류된 문항을 저장하는 문제 은행 데이터베이스로 구성된다. 문제은행 데이터베이스는 특정 학습자 또는 특정 학습에 대한 문항을 선택하는 문항 선제부, 특정 학습자 또는 특정 학습에 대한 문제지를 제작하는 문제지 제작부, 문제지를 저장하였다가 온라인 테스트를 수행할 때 출력하는 문제지 은행 데이터베이스를 포함한다. 학습자가 온라인 테스트에 제출된 문항들에 대한 문항 선택순서, 보기 선택순서, 클릭회수, 반응시간에 대한 평가 데이터를 수집하는 온라인 테스트부, 및 온라인 테스트부로부터 수집된 학습자의 온라인 테스트 평가 데이터를 분석하여 학습자의 학습수준과 학습능력, 성향을 평가하고 진단하여 보고하는 반응패턴 분석부를 포함한다. 제안하는 시스템은 보기 선택순서, 클릭회수, 반응시간을 학습자의 평가결과에 반영하여 효율적으로 학습자의 학습수준과 학습능력, 성향을 평가하고 진단할 수 있다.

• 디지털융복합연구
• /
• 제19권4호
• /
• pp.339-347
• /
• 2021

본 연구는 객관식 문항이 폐지된 이후인 2014년부터 2020년까지 7년간 체육 중등교사 임용시험의 교과교육학 문항을 한국교육과정평가원에서 제시한 평가내용요소를 근거로 분석하였다. 연구결과로 교과교육학 문항은 7년간 48문항이 출제되었으며, 83개의 하위질문이 발견되었다. 시사점으로는 첫째, 하위질문 개수의 빈도가 높아지면서 통합형 문제가 출제되고 있다. 둘째, 출제 문항 영역의 심각한 불균형 문제가 드러났다. 셋째, 체육교수학습 및 평가, 체육교육과정 영역에 지나친 출제 의존도를 보이고 있었다. 넷째, 교과내용학과 중복되는 평가 영역이 존재함에 따라 혼란이 가중되었다. 그러므로 한국교육과정평가원의 기존 평가 영역별 분류표를 기반으로 평가 내용 요소에 대한 정의가 명확하게 내려져야 하며 신뢰로운 교사시험을 위해 특정 학자와 이론에 의존에서 벗어나 학교현장에서 도움이 될 수 있는 문항들이 개발될 필요가 있다.

• 컴퓨터교육학회논문지
• /
• 제6권4호
• /
• pp.1-10
• /
• 2003

제7차 교육과정이 시작되면서 수업의 형태가 다양화되어지고 있다. 이 중에 팀별로 문제를 해결하는 협동학습이 학교에서 진행되고 있는데, 협동학습 시 평가를 위한 연구는 많이 진행되고 있지 않다. 한편, 웹기반교육인 경우 매체의 특성 때문에 협동학습이 더욱 잘 활용될 수 있다. 향 후, 웹기반 협동학습을 위한 선행연구로서 전통적 협동학습에서 결과 중심의 평가방법을 지양하면서 팀별로 문제해결을 위한 과정을 종합적으로 평가하며 팀 구성원을 개별적으로 평가할 수 있는 새로운 학습자 평가문항이 요구된다. 본 논문에서는 ABET EC-2000에서 개발한 프로그램 결과물과 평가에 관한 속성들 중에서 관련되는 속성을 추출하고 Bloom의 인지적 영역을 혼합하여 평가문항을 마련한다. 또한, 본 논문에서는 제안한 평가문항의 신뢰도를 검증하고, 각 평가문항의 척도를 임의적으로 계량화한 후 학생들이 전통적인 평가방법에 의해 받은 점수와 제안한 평가문항으로 설문을 실시한 후의 점수를 이용하여 본 논문의 결과물에 대한 응용 사례를 제시한다.

• 영재교육연구
• /
• 제16권1호
• /
• pp.81-100
• /
• 2006

본 논문에서는 초등정보과학영재의 선발을 위한 평가문항을 개발하고 학교 현장에 적용한 결과를 분석하여 개발 문항의 타당도를 검증하였다. 이를 위하여 다음과 같은 단계를 통하여 연구를 진행하였다. 첫째, 다양한 측면에서 정보과학영재에 대한 특성을 분석한 후 정보과학영재를 정의하였다. 둘째, 제7차 초등수학교육과정 속의 이산수학적 요소를 분석하여 초등정보과학영재의 선발을 위한 평가문항을 개발하였다. 셋째, 개발한 평가문항을 학교현장에 투입하여 다양한 관점의 결과를 분석하였다.