• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2001년도 춘계학술발표논문집
• /
• pp.403-406
• /
• 2001

문제은행 시스템은 피험자의 조건에 따라 데이터베이스에서 문항을 추출하여 가상공간에서 평가를 수행한다. 가상 공간에서의 평가는 피험자에게 적용하는 경우 출제 빈도에 따라 운항의 난이도 및 변별력에 영향을 주게 된다 출제 빈도에 따라 난이도나 변별력이 낮아지는 문항은 출제를 제한하는 기준이 필요하다. 본 논문에서는 문항 사후 난이도와 문항 변별도를 기반으로 하여, 문항 차분 난이도를 주기적으로 측정하고 난이도 차이가 일정 수준 이상이 되는 문항에 대해 출제를 제한하는 방안과 전체 피험자에 대한 운항의 변별력을 측정하러 변별력이 떨어지는 문항을 출제자에게 문항을 수정하게 하거나 삭제하도록 하는 방안들 제안한다.

• 한국컴퓨터교육학회 학술대회
• /
• 한국컴퓨터교육학회 2018년도 동계학술대회
• /
• pp.107-110
• /
• 2018

본 연구에서는 컴퓨팅 사고력 평가도구로써 비버 챌린지 문항을 활용하기 위하여 문항반응이론을 통해 비버 챌린지 문항을 분석하고, 비버 챌린지에서 기존에 제시하는 난이도와 문항반응이론을 통한 난이도 간의 상관관계를 분석하였다. 분석 결과 비버 챌린지는 쉽고 변별력이 높은 검사로 나타났으나, 비버 챌린지에서 제시하는 난이도와 문항반응이론을 통한 난이도 간의 상관관계는 없었다. 난이도에 따라 가점과 감점이 이루어지는 비버 챌린지 채점 기준을 고려할 때 정확한 컴퓨팅 사고력 측정을 위해서는 난이도에 대한 수정 및 보완이 필요하다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (A)
• /
• pp.566-568
• /
• 2003

본 논문에서는 SCORM을 기반으로 한 e-Learning 시스템에서 학습자의 학습 활동을 트래킹하여 학습자의 수준을 적응적으로 판단하는 기법을 제시하였다. 제시된 기법에서는 모집단의 크기가 작을 경우 교수자가 지정한 난이도를 이용하여 학습자의 수준을 판단하고, 모집단의 크기가 충분히 클 경우에는 문항반응이론을 적응한 난이도에 의해 학습자의 수준을 판단하였다. 문항반옹이론을 적용할 시점에서 교수자가 지정한 난이도가 문항반응이론에서 추정한 난이도와 차이가 날 경우, 교수자가 지정한 난이도를 문항반응이론의 난이도로 수정하는 적응적인 기법을 제시하였다. SCORM의 트래킹 기능을 이용하여 실험한 결과 문제를 푼 학습자의 수가 적을 경우에는 학습자 수의 변화에 따라 학습자의 수준이 계속 바뀌는 문제점이 있음을 알 수 있었다. 따라서 모집단의 크기가 작을 경우, 본 논문에서 제안한 방법에 의해 교수자가 지정한 문항의 난이도를 이용하여 학습자의 수준을 판단하는 것이 효과적이었다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.113-118
• /
• 2023

딥러닝을 이용한 언어 모델은 다양한 분야에서 사용되고 있는데, 그 중 교육 분야에선 꾸준히 시험 문항을 자동으로 생성하려는 요구가 존재해 왔다. 그러나 빈칸 추론 문항, 그 중에서도 어구 단위 빈칸 추론 문항은 학습 및 평가 목적으로 널리 쓰이고 있지만, 이를 자동 생성하려는 연구는 상대적으로 드물다. 이에 본 연구에선 masked language modeling (MLM)을 이용한 난이도 조절이 가능한 어구 단위 빈칸 추론 문항 생성 시스템을 제안한다. 본 시스템은 정답 생성 모델의 attention 정보에 따라 지문 내 중요한 어구를 삭제해 오답을 생성하고, 동시에 어구의 삭제 비율을 조절함으로써 더 쉽거나 더 어려운 오답을 만들어낼 수 있다. 평가 결과, 제안한 시스템은 기존 접근법보다 정답과의 유사도가 최고 28.3% 낮았고, 또한 난이도 설정에 따라 쉬운 오답이 어려운 오답에 비해 유사도가 15.1% 낮아, 더 정답과 먼 뜻의 오답을 생성해내었다.

• 과학교육연구지
• /
• 제36권2호
• /
• pp.293-302
• /
• 2012

이 연구는 중학교 1학년 과학과 총괄 지필평가 출제경향을 조사하기 지필평가 문항의 행동영역, 내용영역, 문항유형, 난이도에 대하여 조사 분석하였다. 10개의 중학교의 1차와 2차 지필평가 문항의 총 645개를 연구대상으로 하여 분석하였다. 연구결과는 다음과 같다. 첫째, 지필평가 문항의 행동영역은 '지식, 이해' 수준으로 편중되어 있으며, 적용, 분석, 종합, 평가 영역의 문항은 거의 출제가 되고 있지 않았다. 둘째, 내용영역은 기존의 연구의 결과에 비해 과학적 탐구과정의 출제 빈도수가 많아졌지만, 여전히 과학지식을 묻는 문항이 과학적 탐구과정의 문항과 비교하여 두 배 이상의 비율로 출제되고 있음을 알 수 있었다. 셋째, 문항유형은 선다형 문항 중심으로 출제 되고 있는 것으로 조사되었다. 넷째, 정답률을 기준으로 문항의 난이도를 분석한 결과, 전체적인 빈도수에서 '상'에 해당하는 문항의 비율은 교사가 목표로 하는 난이도 비율보다 낮았으며, '중'의 비율은 교사가 생각하는 난이도 비율보다 높은 것으로 조사되었다. 과학학습에 대한 다양한 영역의 총체적인 평가를 위해서는 교사의 평가 및 문항 개발의 전문성 신장에 대한 노력이 이루어져야 할 것이다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2008년도 춘계학술발표대회
• /
• pp.296-299
• /
• 2008

E-Learning 환경에서 학습자에게 보다 정확한 맞춤형 교육 시스템을 제공하기 위하여 평가 문항 및 학습 문항의 난이도, 변별도 등과 같은 문항 정보 활용이 필요하다. 본 논문에서는 문항 난이도, 변별도의 수치를 메타데이터에 저장하고, 평가 문항 및 학습 문항을 저작할 수 있는 템플릿(Templates) 및 GUI(Graphical User Interface) 기반의 SMIL(Synchronized Multimedia Integration Language) 저작도구를 설계 구현 하였다. 구현한 시스템은 SMIL 문법을 모르는 교수자가 문항 난이도, 변별도를 메타데이터에 저장하고, 학습 문항을 쉽게 저작하는데 효율적이다. 또한 저작된 문항은 XML(Extensible Markup Language) 기반 메타데이터를 활용함으로서 다른 플랫폼과의 통합 관리 및 재사용에 용이하다.

• 인터넷정보학회논문지
• /
• 제10권3호
• /
• pp.151-157
• /
• 2009

많은 이러닝 시스템들은 기존의 설정된 문항난이도를 기반으로 학습자에게 학습정보를 제공하고 있으며, 학습자는 정해진 학습과정에 따라 학습을 수행하고 있다. 이는 학습과정 중에서 학습자마다 학습을 이해하는 정도가 다름에도 불구하고 학습자는 정해진 난이도와 학습과정을 따라야 함으로 효율적인 학습효과를 나타내기 어렵다. 본 연구에서는 학습자가 학습과정중에 이해하는 정도를 시스템이 파악하여 능동적으로 난이도 및 학습과정을 조절하는 학습자 적응형 이러닝 시스템을 제시하고자 한다. 이를 통하여 학습자는 오프라인에서의 학습과 같은 대화형 학습을 통해 온라인 학습이 가져오는 획일적 학습에서 벗어나 보다 높은 학습효과를 높일 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2007년도 춘계학술발표대회
• /
• pp.1404-1407
• /
• 2007

본 논문에서는 객관식 문항을 난이도에 따라 자동으로 생성하는 방법을 고안하여, 학습자 수준에 적합하도록 다양하고 동적인 형태로 문항 제시를 할 수 있는 시스템을 제안하였다. 이를 위해서는 주어진 문장에서 형태소 분석을 통해 키워드를 추출하고, 각 키워드에 대하여 워드넷의 계층적 특성에 따라 의미가 유사한 후보 단어를 제시한다. 의미 유사 후보 단어를 제시할 때, 워드넷에서의 어휘간 유사도 측정 방법을 사용함으로써 생성된 문항의 난이도를 사용자가 원하는 수준으로 조정할 수 있도록 하였다. 단어의 의미 유사도는 동의어를 의미하는 수준 0에서 거의 유사도를 찾을 수 없는 수준 9 까지 다양하게 제시할 수 있으며, 이를 조절함으로써 문항의 전체 난이도를 조절할 수 있다. 후보 어휘들의 의미 유사도 측정을 위해서, 본 논문에서는 두 가지 방법을 사용하여 구현하였다. 첫째는 단순히 두 어휘의 워드넷 상에서의 거리만을 고려한 것이고 둘째는 두 어휘가 워드넷에서 차지하는 비중까지 추가적으로 고려한 것이다. 이러한 방법을 통하여 실제 출제자가 기존에 출제된 문제를 토대로 보다 다양한 내용과 난이도를 가진 문제 또는 문항을 보다 쉽게 출제하게 함으로써 출제에 소요되는 비용을 줄일 수 있었다.

• Communications for Statistical Applications and Methods
• /
• 제17권3호
• /
• pp.327-335
• /
• 2010

문항반응이론은 문항의 난이도와 변별도가 검사를 치른 집단에 무관하게 항상 일정하며, 학생들이 매번 다른 검사를 치른다고 해도 자신의 고유한 능력점수를 받도록 하기위한 문항분석방법이다. 본 연구에서는 2000년부터 2009년까지 최근 10년 동안 대학수학능력시험에 출제되었던 통계영역 문제에 대하여 문항반응이론을 통한 분석을 실시하고 문항변별도와 문항난이도 등에 대해서 알아보았다. 그 결과 거의 60%의 문항이 어려운 문항으로 나타났다. 그러나 문항변별도는 비교적 양호한 것으로 판명되었다.

• 컴퓨터교육학회논문지
• /
• 제9권6호
• /
• pp.11-18
• /
• 2006

본 연구는 2005년, 2006년 대학수학능력시험 직업탐구영역의 "컴퓨터 일반" 문항을 질적 연구와 양적연구로 분석하였다. 질적 연구로 내용 타당도 검사를 실시하고, 양적연구로 2-모수 문항 반응 모형에 근거한 베이지안(Bayesian) 1.0을 이용하여 문항의 난이도 및 변별도를 측정하였으며 고전검사이론 프로그램인 테스트안(Testan) 1.0을 이용하여 문항의 신뢰도 및 오답지를 분석하였다. "컴퓨터 일반" 영역의 문항들을 분석하여 문항의 질을 높이고 난이도의 정확한 예측을 하여 보다 신뢰도와 변별력 있는 문항을 개발하기 위한 자료로 제시하고자 한다.