• Proceedings of the Korea Multimedia Society Conference
• /
• 2001.06a
• /
• pp.403-406
• /
• 2001

문제은행 시스템은 피험자의 조건에 따라 데이터베이스에서 문항을 추출하여 가상공간에서 평가를 수행한다. 가상 공간에서의 평가는 피험자에게 적용하는 경우 출제 빈도에 따라 운항의 난이도 및 변별력에 영향을 주게 된다 출제 빈도에 따라 난이도나 변별력이 낮아지는 문항은 출제를 제한하는 기준이 필요하다. 본 논문에서는 문항 사후 난이도와 문항 변별도를 기반으로 하여, 문항 차분 난이도를 주기적으로 측정하고 난이도 차이가 일정 수준 이상이 되는 문항에 대해 출제를 제한하는 방안과 전체 피험자에 대한 운항의 변별력을 측정하러 변별력이 떨어지는 문항을 출제자에게 문항을 수정하게 하거나 삭제하도록 하는 방안들 제안한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2008.05a
• /
• pp.296-299
• /
• 2008

E-Learning 환경에서 학습자에게 보다 정확한 맞춤형 교육 시스템을 제공하기 위하여 평가 문항 및 학습 문항의 난이도, 변별도 등과 같은 문항 정보 활용이 필요하다. 본 논문에서는 문항 난이도, 변별도의 수치를 메타데이터에 저장하고, 평가 문항 및 학습 문항을 저작할 수 있는 템플릿(Templates) 및 GUI(Graphical User Interface) 기반의 SMIL(Synchronized Multimedia Integration Language) 저작도구를 설계 구현 하였다. 구현한 시스템은 SMIL 문법을 모르는 교수자가 문항 난이도, 변별도를 메타데이터에 저장하고, 학습 문항을 쉽게 저작하는데 효율적이다. 또한 저작된 문항은 XML(Extensible Markup Language) 기반 메타데이터를 활용함으로서 다른 플랫폼과의 통합 관리 및 재사용에 용이하다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2007.11a
• /
• pp.609-612
• /
• 2007

정보사회와 컴퓨딩환경의 발전으로 언어, 학력, 인지도 등의 평가도구로서 컴퓨터기반의 평가환경이 보편화되었다. 특히 컴퓨터기반의 학력평가 환경을 위해서는 문항의 난이도와 변별도 등 문항의 특성을 정확히 분석하는 것이 필수적이다. 문항분석은 컴퓨터기반의 평가를 위한 양질의 문제은행 구성 및 문항과 수험자 능력의 정확한 추정과 체계적이고 과학적인 평가를 위한 전제조건이라 할 수 있다. 본 논문에서는 고전평가이론의 문제분석을 적용한 문제은행 시스템을 구현하였으며 수험결과를 분석하여 각 문제의 곤란도나 변별도, 문항분포도를 통하여 문제를 분석할 수 있도록 하였다. 또한 수험자가 각 문제를 푸는데 걸린 시간을 기록하여, 수험자의 문제에 이해도를 정확히 분석하고 수험자의 추측, 랜덤 선택 등으로 인한 정답을 맞힐 가능성과 한 문제를 읽고 이해하는 시간이 너무 오래걸린 이유에 대해서도 추정하였다. 문제분석 및 수험결과의 평가 및 분석으로 교사들은 문항의 양호도를 높일 수 있고 문제은행에 저장되어 있는 문항들을 수정하고 보완하여 양질의 문항을 출제할 수 있도록 하였다.

• Communications for Statistical Applications and Methods
• /
• v.17 no.3
• /
• pp.327-335
• /
• 2010

Item response theory provides a fixed results about students, regardless of the item difficulty and discrimina-tion and it is also a kind of item analysis methods which provides the same proper competence scores to students in spite of them taking different test repeatedly. In this paper, we researched item difficulty and item discrimina-tion and analyzed items in the national academic aptitude test which were given from 2000 to 2009 in the past 10 years through item response theory, especially, in connection with given items about statistical unit. As a result, we found that about 60 percents of the items were too difficult for high school students to solve, however, item discrimination proved to be great.

• The Journal of Korean Association of Computer Education
• /
• v.9 no.6
• /
• pp.11-18
• /
• 2006

The purpose of this paper is to draw problems from analyzing "General Computer" questions of Career Searching Section in the College Scholastic Ability Test in 2005 and 2006 and to offer some suggestions about them. For the qualitative research, this paper analyzed content validity. For the quantitative research, this paper analyzed item difficulty and item discrimination by using Bayesian 1.0 based on 2-parameter item response model and this paper analyzed item reliability and distracters by using Testan 1.0. By analyzing "General Computer" questions, this paper would like to improve the quality of items and estimate item difficulty. Therefore, "General Computer" questions could be suggested as materials for developing reliable and discriminative questions.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2000.05a
• /
• pp.21-26
• /
• 2000

인간의 잠재적 능력을 측정하기 위하여 많은 검사가 이루어진다. 이러한 검사를 위하여 양질의 문항 제작이 필수적이다. 그러나 문항 제작의 중요성을 인식하지 못하고 단시간에 쉽게 제작된 문항들을 쓰고 폐기하는 경우가 많다. 본 논문에서는 양지르이 문항 제작을 위하여 문항 내용 분석, 문항 응답 자료 분석, 문항 난이도, 문항 변별도, 문항 추측도, 오답의 능률도를 이용하여 자료분석에 유용한 효과를 보이는 신경망을 이용한 학업 성취도 시스템 모델을 제안하였다.

• Journal of Science Education
• /
• v.34 no.1
• /
• pp.155-163
• /
• 2010

The purpose of this study was to analyze the items that were used in entrance examination for science gifted education center for elementary school students by using content analysis and classical item analysis. In content analysis, objective type items exhibited matter and interpreting data were dominant. And essay type items consisted of creativity items, evaluated creative problem solving ability. Item difficulty and discrimination index, on the whole, were appropriate. Comparing with objective type, essay type has higher discrimination index. In correlation analysis between total score and score of each type of items, total score has the highest correlation with matter items, interpreting data and creativity.

• Communications of Mathematical Education
• /
• v.18 no.2 s.19
• /
• pp.239-250
• /
• 2004

수학적 힘의 함양과 문제해결력의 신장을 위한 수학교육에서 확률영역은 중요한 학습소재임에도 불구하고, 확률영역은 어려운 것으로 고착되었다. 이 연구에서는 학생들이 확률영역의 어떤 부분을 어려워하고 이해하기 힘들어하는지를 구체적 문항분석을 통하여 알아봄으로서 교수-학습의 기초자료를 제공하고자한다. 이를 위하여, 지난 10년간 출제되었던 대학수학능력시험의 확률영역 16문항을 고등학교 학생 220명에게 실시하고, 고전검사이론과 문항반응이론울 적용하여 그 결과를 분석하였다. 고전검사이론에서는 신뢰도와 변별도를 측정하였고, 문항반응이론에서는 Rasch 1-모수 문항반응모형에 근거한 BIGSTEP을 사용하여 내적타당도와 난이도를 측정하였다.

• Communications of Mathematical Education
• /
• v.18 no.1 s.18
• /
• pp.191-199
• /
• 2004

본 연구에서는, 6년 전에 개발된 수학 창의적 문제 해결력 검사(MCPSAT; 한국교육개발원(김흥원 외, 1997))에 대한 현시점의 적합성여부를 알아보기 위하여 이 검사의 중학교 1-3학년용 A형 1부 검사와 고등학교 1-2학년용 A형 1부 검사를 해당 학년 학생들에게 적용하여 분석하였다. 검사도구의 양호도는 비교적 좋은 것으로 나타났다. 즉, 중학교와 고등학교 모두 문항 내적 일관성 신뢰도(Cronbach ${\alpha}$)의 계수가 약간 떨어져 있지만 비교적 양호한 것으로 볼 수 있으며 변별도는 점이연 상관 계수가 0에 가까운 문항이 없는 것으로 나타났다. 따라서 모든 문항이 학생들의 수학 창의적 문제 해결력을 변별해 줄 수 있을 것으로 생각한다. 내적 타당도는 중학교의 경우 관대하게 본다면 수용할 만 하고, 고등학교의 경우 아직은 우려할 수준은 아니다. 즉, 중학교 문항 1과 문항 4는 적합도 지수 1.2를 상회하였으나 Infit과 Outfit 모두 1.5를 넘는 문항은 없었다. 고등학교의 문항 4는 문항의 적합도 지수 1.2를 상회하는 것으로 나타나고 있으나 Infit과 Outfit 모두 1.2를 상회하지 않았다. 난이도 측면에서 볼 때, 이 검사의 계속 사용은 염려스러운 면이 있다. 즉, 중학교에서는 6년 전 보다 쉬운 것으로 나타나고 있는 바 이것은 현재의 학생들이 이러한 유형의 문항을 많이 접하였을 것으로 추측할 수 있다. 고등학교에서는 6년 전 보다 조금 더 어려워 졌다고 볼 수 있다. 위의 사항을 종합할 때, 수학 창의적 문제 해결력 검사에서 중학생용은 현재의 학생들의 수준을 고려하여 재 표준화하는 것이 바람직하고, 고등학생용은 개발 당시의 신뢰도, 난이도, 변별도 등에서 유사하므로 당분간 계속 사용하여도 될 것이다.

• Journal of The Korean Association For Science Education
• /
• v.28 no.1
• /
• pp.32-46
• /
• 2008

The purpose of this study was to analyse the qualitative and quantitative characteristics of paper-pencil tests for exploring its appropriateness as a selection tool of the gifted in science. For this purpose, we developed two (internal and external) item analysis frameworks, and applied these frameworks to analyse qualitative characteristics. Also, we analysed the relationship between two characteristics. The results of analysing qualitative characteristics revealed that the portion of items with acceleration context exceeding middle school curriculum level was relatively large, which caused low content validity. Furthermore, there was considerable deviation in content and context by subject matter and year, which caused test unstability. Items measuring knowledge domain was the most prevalent, and too much weight on data interpretation & analysis domain in inquiry process skills. In case of creativity test, the portion of items measuring convergent thinking was much larger than that of divergent or associative thinking. Most of these items were represented by using pictures and tables rather than using graphs. Item types of multiple-choice and short answers were superior to essay types. Discrimination index, on the whole, was appropriate (above 0.3), but item difficulty showed a vast deviation ($0.01{\sim}0.90$). Correlation coefficients among subject matters and test tools were very low, and test reliabilities were also low. Low item difficulty & high discrimination index item types were distinguishable. Items with acceleration context were more discriminating than enrichment context. Implications of developing quality paper-pencil test items in the selection of gifted students are discussed.