• 대한화학회지
• /
• 제54권6호
• /
• pp.781-786
• /
• 2010

이 연구는 중학교 1학년 과학과 지필평가 문항 중 물질 분야 문항에 나타난 정보제시의 오류와 오류 유형별 빈도수를 조사 분석하였다. 중학교 1학년 과학과 물질 분야 문항에서 조사된 정보 제시 오류 유형은 불충분한 정보, 불필요한 정보, 잘못된 정보, 교육과정 내용을 초월한 정보, 불명확한 정보 등의 다섯 가지로 나타났다. 분석한 167개의 문항 중 81개의 문항(48.50%)에서 정보 제시 오류가 있는 것으로 조사 되었다. 지필평가 문항의 정보 제시 오류로 인하여 학습자의 과학 학습에 대한 부정적인 관점이 발생할 수 있기 때문에 교사가 문항 개발할 때 세심한 검토가 필요하다.

• 대한수학교육학회지:수학교육학연구
• /
• 제23권2호
• /
• pp.193-212
• /
• 2013

본 연구의 목적은 선택형 문항 제작 전문성 향상 연수에 참여한 고등학교 수학교사들의 경험을 바탕으로 평가 문항 제작 전문성 향상 연수 프로그램의 효과 제고 요인을 밝히기 위한 것으로, 이를 위하여 사례연구를 실시하였다. 연수 한 팀에 교사 5명이 참여하였고 연수 후 포커스 그룹 인터뷰를 실시하였다. 두 차례의 포커스 그룹 인터뷰 자료에 대한 질적 분석을 통해 선택형 평가 문항 연수의 효과 제고 요인을 도출하였다. 연구 결과로 연수 프로그램 효과 제고 요인은 집중 훈련 가능한 프로그램 구조(소규모 인원의 협력학습, 적정량의 집중적인 훈련), 문항 제작 습관 표면화와 수정(사전과제를 통한 문항 제작습관 표면화, 문항 제작에 대한 즉각 피드백), 교사간 공감대 형성(적극적인 학습태도, 문항 제작 과정 공유), 평가 문항 제작 전문성에 대한 자기 성찰(문항 제작 과정에 대한 반성, 문항 제작 전문성 중 취약점 자각)이었다. 이러한 요인을 바탕으로 평가 문항 제작 전문성 향상 연수 프로그램 개발을 위한 시사점을 도출하였다.

• 한국가정과교육학회지
• /
• 제32권3호
• /
• pp.135-159
• /
• 2020

본 연구는 교육과정, 수업, 평가의 일체화를 강조하고 있는 교육의 변화 속에서 2015 개정 가정과 교육과정에서 수업과 평가를 연계할 수 있는 서술형 평가 문항을 개발하는 것에 목적을 두었으며 연구의 내용은 다음과 같다. 첫째, 평가계획 수립 단계에서는 평가기준에 제시된 평가 영역 중 서술형 평가에 적합한 14개의 성취기준이 분석되었으며 총 29개 문항의 내용요소를 포함하여 문항요소를 개발하였다. 둘째, 평가도구 개발 단계에서는 서술형 문항의 구조에 알맞은 문항을 사전개발하고, 문항에서 활용할 자료, 채점기준의 제시 방법을 각 문항에 맞게 선택하였다. 셋째, 답안 및 채점기준표 작성 단계에서는 채점기준과 부분점수별 예시 답안을 채점기준표로 작성하고 평가목표와 채점 항목, 항목별 배점을 검토하였다. 넷째, 전문가 검토 및 수정·보완 단계에서는 개발된 문항과 답안들은 전문적 교과학습공동체 교사들과 함께 문항 구성요소, 평가목표의 구체화, 출제 의도의 구현 여부, 채점 결과에 대하여 예비검토와 상호검토를 거쳐 수정·보완하였다. 본 연구는 서술형 평가 문항과 채점기준 개발을 위한 기초 연구로 활용될 수 있으며, 이를 통해 교사의 평가 전문성에 대한 인식변화를 도모하고 추후 학습자의 지식 적용능력을 높이기 위한 서술형 문항개발 연구에 도움이 될 수 있을 것이다.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제16권
• /
• pp.201-215
• /
• 2003

이 연구에서는 창의적인 문제해결능력을 검사하는 도구로 널리 알려진 개방형 문항 5 문제를 수정 또는 번역하여 중학교 2학년 학생들에게 적용하고 그 결과를 분석하였다. 검사도구에 대한 양호도 분석 결과는 다음과 같다. 첫째, 문항 내적 일관성 신뢰도(Cronbach ${\alpha}$)의 계수는 0.8이다. 둘째, 문항반응이론에 근거한 문항의 적합도 지수는 모두 1.2미만으로서 분석모형에 적합한 문항이라고 볼 수 있다. 또한, 문항간의 난이도의 차이는 로짓트 점수가 0.6을 넘지 않은 범위에서 골고루 분포되어 있다. 셋째, 문항 신뢰도 지수가 모두 0.80보다 높은 것으로 나타나 사용된 문항들은 서로 잘 분리되어 창의적 문제해결력을 추정하고 변별하는데 무리가 없다. 학생들의 반응에 대한 분석 결과는 다음과 같다. 문항1에서 곡선을 이용한 반응은 영재학생들에서만 발견할 수 있었다. 문항2에 대한 각 반응의 독창성 점수는 모두 0이다 이것은 문항2가 널리 알려진 문제에 기인한 것으로 해석된다. 문항3은 영재학생들이 더 많은 반응을 보인 것으로 모든 반응이 독창성 점수를 부여받았다. 문항4에 대하여 일반학생들은 거의 반응을 하지 못하였다. 문항5는 대부분의 학생이 반응을 하였으며 반응의 종류도 가장 다양하였다.

• Communications for Statistical Applications and Methods
• /
• 제17권4호
• /
• pp.591-598
• /
• 2010

설문문항에는 유사한 문항이나 중복문항이 있는 경우들이 있다. 본 연구에서는 전체 문항의 응답패턴을 군집분석하여 군집의 성격을 파악하고, 유사한 문항을 묶어 대표 문항을 찾는 방법을 시도하였다. 문항의 유사정 측정은 상호정보를 이용하였고 군집분석과 다차원척도법을 이용하여 대표 문항을 찾는 방법을 제안 하였으며 엔트로피를 이용하여 대표 문항을 평가하였다.

• 한국인지과학회:학술대회논문집
• /
• 한국인지과학회 2002년도 춘계학술대회
• /
• pp.3-8
• /
• 2002

대규모 수험자를 대상으로 하는 경우, CBT 방식은 PBT 방식에 비해 비용이나 처리 방법에 있어 효율적이라는 장점을 갖고 있다. 하지만, CBT 평가가 제대로 운영되려면 많은 문항으로 구성된 대규모의 문제 은행이 있어야 하며, 기 구축된 문항은 적합성과 공정성이 반드시 보장되어야 한다. 이에 본 연구는 4,000여 명 이상의 수험자를 대상으로 8000문제가 넘는 문제 은행이 구축되어 실제 CBT 시스템을 개발·운영하고 있는 P 대학교 CBLT 테스트 시스템의 문항들을 분석할 방법을 제안한다. 연구 결과 CBLT 테스트 시스템의 문제 은행의 개별 문항들이 출제자 1인의 주관적 판단에 달려있어 문항에 대한 질 관리가 어렵다는 문제점을 해결하기 위해서는 고전검사이론이 적합하다고 판단된다. 그러나 매 시험이 동질한 문항 세트로 구성되기 위해서는 문항에 대한 충분하고 객관적인 자료가 절대적으로 필요하다. 이를 위해서는 CBLT 테스트 시스템과 같이 응답자 수가 2∼300여 명 전후이며, 40문항의 문항 세트에 대한 분석은 2모수 정도가 적당하다고 판단된다.

• 한국초등수학교육학회지
• /
• 제18권2호
• /
• pp.297-318
• /
• 2014

이 연구는 서술형 평가문항을 스스로 선발하거나 개발해야하는 초등학교 교사들에게 평가 문항에 대한 안목과 평가문항 제작 시 유의점을 제공하기 위해 시도되었다. 이를 위해 서술형 평가시행에 대해 적극적인 노력을 기울여 왔던 경기도 교육청이 2011년과 2012년에 개발한 초등학교 서술형 평가 문항 30개와 그 문항으로 시험을 치룬 2개 초등학교 3, 4, 5, 6학년 학생들의 채점된 답안지를 분석하였다. 이 연구에서는 학생들의 채점된 답안지에서 발견된 채점 및 답안 기술의 오류가 교사나 학생의 문제가 아니라 평가 문항의 결함에서 비롯된 것이라 여겨지는 것들만 선별하여 사례로 정리하고, 그에 대응하는 개선방안을 제시하였다. 이 연구에서 도출한 초등학교 수학과 서술형 평가 문항의 문제점은 크게 세 가지이다. 첫째, 고등사고력을 평가한다는 서술형 평가의 기본취지를 살리지 못하는 경우, 둘째, 채점의 공정성 문제를 불러일으키는 경우, 셋째, 문제에 포함된 내용이 학생에게 그릇된 단서로 작용하는 경우 등이 그것이다.

• 한국컴퓨터교육학회 학술대회
• /
• 한국컴퓨터교육학회 2018년도 하계학술대회
• /
• pp.103-106
• /
• 2018

2015 개정 교육과정에서 컴퓨팅 사고력의 함양을 강조하고 있지만 컴퓨팅 사고력을 평가하기 위한 도구에 대한 개발이 미흡하다. 비버 챌린지 문항은 전 세계 60여개국의 정보 교육 전문가 집단이 약 1년 동안 공동 출제 및 검토를 통해 개발되는 문항이므로 문항의 타당도가 높다고 볼 수 있다. 다만 초기의 개발 목적이 평가도구로써 사용하기 위함이 아니었기 때문에 과연 컴퓨팅 사고력의 평가 도구로 사용할 수 있는 신뢰도를 가진 문항인가를 검증하기 위해 본 연구에서는 비버 챌린지 2017 그룹 III의 문항을 대상으로 문항내 적일관성신뢰도를 통계적으로 검증하였으며 그 결과 Cronbach ${\alpha}=.784$로 신뢰도가 높게 나타났다.

• 한국지역지리학회지
• /
• 제11권5호
• /
• pp.474-487
• /
• 2005

본 연구 목적은 2001년에 시행된 미국 NAEP 지리 평가에 대한 학생들의 문항반응경향성을 분석하여 귀납적으로 성취수준을 기술하는데 있다. NAEP 지리 평가는 4 8 12학년 학생을 대상으로 실시되는데, 평가영역은 내용영역과 행동영역으로 구분된다. 내용영역은 공간과 장소 환경과 사회 공간직 역동성과 연계성이고, 행동영역은 지식 이해 적용이다. 성취수준은 기초 숙달 수월수준으로 구분된다. 본 연구에서는 각 수준과 대표 문항을 연계하는 방법(item mapping method)을 사용하여 성취수준에 대하여 분석하였다. 그 결과 NAEP 지리 성취수준 설정위원회에서 제시한 성취수준과 대표 문항 분석에 기초한 성취수준은 큰 차이가 있는 것으로 나타났다. 대표 문항 분석을 기초로 도출된 성취수준은 실제 학생들의 문항반응에 기초하여 도출되었기 때문에 지리교육과정 개선을 위한 효과적인 송환 역할을 할 수 있을 것이다.

• 대한지리학회지
• /
• 제50권1호
• /
• pp.91-103
• /
• 2015

본 연구의 목적은 대학수학능력시험 한국지리 평가 문항들에서 지역적인 편중이 발생하는가를 알아보기 위한 것이다. 이를 위해 2005~2015학년도의 수능 한국지리 평가 문항에서 지도와 설명 및 그래프를 통하여 특정 지역이 한국지리 세부 영역별로 어느 정도의 빈도로 출제되었는가를 분석하였다. 분석 결과 수능 한국지리 220문항 중 약 42%에서 지도가 활용되고 있었고, 약 33%에서 구체적인 지역 정보가 제시되고 있었다. 한국지리의 세부 영역별로 볼 때 기후, 산업, 지역(지방) 영역에서 구체적인 지역 정보 제시가 많았다. 지난 11년 동안 수능 한국지리 출제 문항에 언급된 시 군은 모두 76곳이며, 이들 중 3번 이상 언급된 곳은 25곳이다. 가장 높은 출제 빈도를 보인 지역은 서울이며, 인천과 대구, 부산, 강릉, 제주 등이 출제 빈도가 높은 지역이었다. 수능 한국지리 평가 문항 분석 결과 세부 영역에 따라 차이가 있기는 하지만 지역적인 편중이 존재함을 확인할 수 있었다.