• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제28권4호
• /
• pp.431-455
• /
• 2014

이 연구는 미국 수학교사의 교수 질 평가도구 분석을 통하여 우리나라 수학교사들의 수업관찰 평가의 현장 적용 가능성을 모색하였다. 자료는 2007년부터 미국국립과학재단의 지원을 받아 수행되고 있는 중등수학 교수와 제도적 구성 프로젝트에서 수집한 수학 수업관찰 평가 종단 자료 중 3차년도와 4차년도의 96명의 수학교사 수업관찰 평가점수를 활용하였다. 이 프로젝트는 대규모로 야심차고 공평한 교수 실제를 위한 수학교사의 전문성 개발을 지원하기 위해 필요한 것들을 탐구하고 있다(MIST, 2007). 이 연구에서는 GENOVA 프로그램을 이용하여 단변량 일반화가능도 분석을, 그리고 mGENOVA 프로그램을 이용하여 다변량 일반화가능도 분석을 수행하였다. 구체적으로 교수 질 평가도구를 사용한 수학 수업관찰 평가에서 발생하는 오차요인들의 상대적인 영향력을 살펴보고, 적정 수준의 신뢰도를 확보하기 위한 최적의 측정 조건을 탐색하였다. 이러한 방법론적 틀은 평가의 측정학적 특성을 바탕으로 우리나라 수학교사들의 수업 전문성을 평가하는 교원능력개발평가에서 최적의 측정 조건을 탐구하는데 적용 가능하다. 마지막으로 이 연구의 제한점과 후속연구를 제시하였다.

• 영재교육연구
• /
• 제23권5호
• /
• pp.671-695
• /
• 2013

이 연구는 관찰 추천제에 의한 수학영재 선발 시 사용되는 자기소개서와 교사추천서를 활용하여 측정상황에서 발생하는 오차요인들의 상대적인 영향력을 살펴보고, 이를 바탕으로 채점 영역 내의 문항 수의 조건을 변화시킴으로써 일반화가능도계수를 최대화할 수 있는 효율적인 측정 조건을 탐색하는 방법을 제시하였다. 이를 위해 2011학년도 수도권에 소재하고 있는 대학부설 과학영재교육원 수학분야에 지원한 90명의 자기소개서와 교사추천서를 2명의 교사가 분석적 방법으로 채점한 자료에 대해 다변량 일반화가능도 분석을 적용하였다. 이 연구 결과 산출된 최적의 측정 조건은 특정 영재교육원에서 제작한 루브릭을 바탕으로 수학영재를 선발하기 위해 사용된 선발도구에만 국한되지만, 이 연구에서 적용한 방법론적 틀은 시 도 교육청 영재교육원, 영재학급 그리고 대학의 영재교육원 등 각 영재교육 현장에서 직접 제작한 선발도구에 측정학적 특성을 바탕으로 최적의 측정 조건을 탐색하는 데 적용 가능하다.

• 한국수학교육학회지시리즈A:수학교육
• /
• 제57권2호
• /
• pp.179-196
• /
• 2018

The purpose of this study was to investigate the measurement equivalence and to suggest application ways in teaching aptitude and personality test results for pre-service mathematics teachers between a graduate school of education and a college of education. This study analyzed the scores of the teaching aptitude and personality test of 36 pre-service mathematics teachers enrolled in a graduate school of education and 111 pre-service mathematics teachers in a college of education by performing a multivariate generalizability analysis. The main results were as follows. First, graduate's pre-service mathematics teachers had a higher level of teaching aptitude and personality than that of college's pre-service mathematics teachers based on the total scores. In addition, graduate's pre-service mathematics teachers had higher levels of teaching aptitude and personality than those of college's pre-service mathematics teachers except for a creativity application domain based on the sub-domain scores. Second, cognitive domains were measured more precisely but affective domains were measured less precisely for graduate's pre-service mathematics teachers than for college's pre-service mathematics teachers. Third, regardless of school levels, Cronbach's ${\alpha}$ values, which might be overestimated by applying the classical test theory, were higher than dependability coefficients. Fourth, this study showed a somewhat negative result in ensuring the measurement equivalence for a problem solving exploration domain. However, regardless of school levels, this study indicated that the overall measurement was generally reliable on composite scores. Based on these results, it was confirmed that multivariate generalizability methodologies' approach can be useful for exploring the measurement equivalence issues. Finally, this study suggests how to utilize the results of the test, how to apply a multivariate generalizability analysis for detecting the measurement equivalence, and how to develop future research based on limitations.

• 과학교육연구지
• /
• 제47권2호
• /
• pp.211-224
• /
• 2023

본 연구의 목적은 예시 자료를 활용하여 자동문항생성을 기반으로 생성된 평가도구의 신뢰도를 산출하는 방안을 제시하는 데 있다. 이를 위해 학생들마다 다른 문항에 응답하는 설계와 평가 점수에 다중 오차요인을 반영할 수 있는 다변량일반화가능도이론을 예시 자료에 적용하여 분석하였다. G-연구분석 결과, 대부분의 설계에서 잔차 효과 다음으로 고전검사이론의 진점수에 해당하는 학생 효과가 크게 나타났다. 또한 문항 내용 영역을 고정한 설계에서 학생들의 상대적 순위는 문항 유형이나 문항에 따라 변하지 않았으며, 문항 유형을 고정한 설계에서 내용 영역에 따라 난이도는 거의 변화가 없는 것으로 나타났다. D-연구 분석 결과, 원자료는 적정수준 이상의 신뢰도를 확보하였으며, 수와 연산, 기하, 확률 및 통계 영역의 문항 수를 줄이거나 문자와 식과 함수 영역의 가중치를 높게 반영함으로써 원자료보다 높은 신뢰도를 산출할 수 있는 것으로 나타났다. 본 연구에서 제시한 효율적인 측정 조건은 예시 평가 자료에 제한되지만 본 연구에서 활용한 방법은 자동문항생성 기반의 다양한 평가 상황에서 측정학적 특성을 바탕으로 신뢰도를 산출하고, 효율적인 측정 조건을 탐색하는 데 적용 가능하다.