• Proceedings of the Korea Multimedia Society Conference
• /
• 2001.06a
• /
• pp.403-406
• /
• 2001

문제은행 시스템은 피험자의 조건에 따라 데이터베이스에서 문항을 추출하여 가상공간에서 평가를 수행한다. 가상 공간에서의 평가는 피험자에게 적용하는 경우 출제 빈도에 따라 운항의 난이도 및 변별력에 영향을 주게 된다 출제 빈도에 따라 난이도나 변별력이 낮아지는 문항은 출제를 제한하는 기준이 필요하다. 본 논문에서는 문항 사후 난이도와 문항 변별도를 기반으로 하여, 문항 차분 난이도를 주기적으로 측정하고 난이도 차이가 일정 수준 이상이 되는 문항에 대해 출제를 제한하는 방안과 전체 피험자에 대한 운항의 변별력을 측정하러 변별력이 떨어지는 문항을 출제자에게 문항을 수정하게 하거나 삭제하도록 하는 방안들 제안한다.

• Journal of the Korea Institute of Information Security & Cryptology
• /
• v.18 no.5
• /
• pp.59-69
• /
• 2008

The purpose of this paper is to measure the level of difficulty of fingerprint database based on sample quality. This paper proposes distribution of a sample quality analyzer and a difference of sample quality analyzer to measure the level of difficulty. Experimental results demonstrate that there are stronger correlation between matching performance and level of difficulty based on difference of sample quality than other measure. Especially, level of difficulty based on OQ Block of MPQ co-occurrence matrix shows highest correlation with matching performance, and moreover it can predict the matching performance of unknown databases.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.06b
• /
• pp.244-246
• /
• 2006

웹 기반 교육 시스템에서 문제 집합 구성은 주로 고정 출제 방식, 무작위 출제 방식, 난이도에 따른 출제 방식으로 이루어진다. 문제 집합의 구성 시 문제 은행에서 문제 난이도에 대한 객관성을 유지하는 것이 무엇보다 중요하다. 따라서 본 논문에서는 난이도를 재조정하는데 학습자들의 문제 풀이 결과를 반영하는 새로운 난이도 재조정 알고리즘을 제시한다. 본 논문에서 제안하는 학습자 피드백 기반 문제 수준 조절 방법은 개인 시험 결과, 그룹 시험 결과 그리고 개인의 특정 섹션 시험 결과를 함께 고려하여 난이도를 조절한다. 기존 알고리즘과 비교 분석한 결과 문제 난이도의 변화율 측면에서 보다 현실적인 문제 난이도 변화를 확인할 수 있었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04a
• /
• pp.566-568
• /
• 2003

본 논문에서는 SCORM을 기반으로 한 e-Learning 시스템에서 학습자의 학습 활동을 트래킹하여 학습자의 수준을 적응적으로 판단하는 기법을 제시하였다. 제시된 기법에서는 모집단의 크기가 작을 경우 교수자가 지정한 난이도를 이용하여 학습자의 수준을 판단하고, 모집단의 크기가 충분히 클 경우에는 문항반응이론을 적응한 난이도에 의해 학습자의 수준을 판단하였다. 문항반옹이론을 적용할 시점에서 교수자가 지정한 난이도가 문항반응이론에서 추정한 난이도와 차이가 날 경우, 교수자가 지정한 난이도를 문항반응이론의 난이도로 수정하는 적응적인 기법을 제시하였다. SCORM의 트래킹 기능을 이용하여 실험한 결과 문제를 푼 학습자의 수가 적을 경우에는 학습자 수의 변화에 따라 학습자의 수준이 계속 바뀌는 문제점이 있음을 알 수 있었다. 따라서 모집단의 크기가 작을 경우, 본 논문에서 제안한 방법에 의해 교수자가 지정한 문항의 난이도를 이용하여 학습자의 수준을 판단하는 것이 효과적이었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.05a
• /
• pp.648-651
• /
• 2022

Match-3 Game 은 스테이지 구성 및 난이도 설정이 중요한 게임이나 다양한 밸런스 요소로 인해 스테이지 구성에 중요한 요소인 난이도 설정에 많은 시간이 소요된다. 특히 게임을 플레이하는 유저가 재미를 느끼는 수준으로 난이도를 설정하는 것이 중요하며, 이를 자동화하기 위해 실제 유저의 플레이 데이터를 활용하여 사람과 유사한 수준의 자동 플레이 에이전트 개발이 진행되었다. 하지만 플레이 데이터의 확보는 쉽지 않기에 연구 방향은 플레이 데이터가 없는 강화학습으로 확장되고 있다. 스테이지 구성에 중요한 요소인 난이도를 설정하기 위함이라면 각 스테이지 간의 상대적인 난이도 차이를 파악하는 것으로 가능하다. 이를 위해 게임의 규칙을 학습한 강화학습 에이전트로 밸런스 요소의 변화에 따른 다양한 난이도의 스테이지를 50 회씩 플레이하여, 평균 획득 점수를 기준으로 스테이지 구성에 필요한 각 스테이지들의 난이도를 파악할 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.501-506
• /
• 2020

질의 난이도 분석 문제는 자연어 질의문을 답변할 때 어려움의 정도를 측정하는 문제이다. 질의 난이도 분석 문제는 문서 독해, 의학 시험, 비디오 질의 등과 같은 다양한 데이터셋에서 연구되어 왔다. 본 논문에서는 질의문과 질의문에 응답하기 위한 정보들 간의 관계를 파악하는 것으로 질의 난이도 분석 문제를 접근하여 이를 BERT와 Dual Multi-head Attention을 사용하여 모델링 하였다. 본 논문에서 제안하는 모델의 우수성을 증명하기 위하여 최근 자연언어이해 부분에서 높은 성능을 보여주는 기 학습 언어 모델과 이전 연구의 질의 난이도 분석 모델과의 성능을 비교하였고, 제안 모델은 대표적인 비디오 질의 응답 데이터셋인 DramaQA의 Memory Complexity에서 99.76%, Logical Complexity에서는 89.47%의 정확도로 가장 높은 질의 난이도 분석 성능을 보여주었다.

• Journal of Korea Society of Industrial Information Systems
• /
• v.9 no.4
• /
• pp.47-55
• /
• 2004

Most questions made for remote examinations on web-based education system use methods of making questions using fixed questions or randomly using item pools or automatically using degree of difficulty. Particularly, automatically selection methods using degree of difficulty is the kernel of a question that objectivity of examination questions by degree of difficulty adjustment based result of examination. This paper is use automatically selection methods for examination on web-based education system. Therefore we present new algorithms of mediateness degree of difficulty as regards education ability of students for adjust the degree of difficulty. We identified this algorithms is more effective as compared with previously algorithms on web-based education system

• The KIPS Transactions:PartD
• /
• v.12D no.3 s.99
• /
• pp.471-480
• /
• 2005

Most questions made for remote examinations on web-based education system use methods of making questions using fixed questions or randomly using item pools or automatically using degree of difficulty. Particularly, automatically selection methods using degree of difficulty is the kernel of a question that objectivity of the first degree of difficulty for questions and an effective questions selection using degree of difficulty and mediateness degree of difficulty based result of examination. This paper is use automatically selection methods for examination on web-based education system. Firstly, we present new question selection algorithms as regards degree of difficulty and distribution between all units. Secondly, we present new algorithms of mediateness degree of difficulty as regards education ability of students for adjust the degree of difficulty. We identified this algorithms is more effective as compared with previously algorithms on web-based education system.

• Journal of Korea Society of Industrial Information Systems
• /
• v.27 no.2
• /
• pp.11-24
• /
• 2022

For the questions asked for LMS-based online evaluation the professor directly set exam questions, or use the automatic question-taking method according to the level of difficulty using the question bank divided by category. Among them, it is important to manage the difficulty of questions in an objective and efficient way, above all, in the automatic question-taking method according to difficulty. Because the questions presented to the evaluators may be different. In this paper, we propose an difficulty re-adjustment algorithm that considers not only the correct rate of a problem but also the time taken to solve the problem. For this, a logistic regression classification algorithm was used of machine learning, and a reference threshold was set based on the predicted probability value of the learning model and used to readjust the difficulty of each item. As a result, it was confirmed that there were many changes in the difficulty of each item that depended only on the existing correct rate. Also, as a result of performing group evaluation using the adjustment difficulty problem, it was confirmed that the average score improved in most groups compared to the difficulty problem based on the percentage of correct answers.

• Proceedings of The KACE
• /
• 2018.01a
• /
• pp.107-110
• /
• 2018

본 연구에서는 컴퓨팅 사고력 평가도구로써 비버 챌린지 문항을 활용하기 위하여 문항반응이론을 통해 비버 챌린지 문항을 분석하고, 비버 챌린지에서 기존에 제시하는 난이도와 문항반응이론을 통한 난이도 간의 상관관계를 분석하였다. 분석 결과 비버 챌린지는 쉽고 변별력이 높은 검사로 나타났으나, 비버 챌린지에서 제시하는 난이도와 문항반응이론을 통한 난이도 간의 상관관계는 없었다. 난이도에 따라 가점과 감점이 이루어지는 비버 챌린지 채점 기준을 고려할 때 정확한 컴퓨팅 사고력 측정을 위해서는 난이도에 대한 수정 및 보완이 필요하다.