• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2001년도 춘계학술발표논문집
• /
• pp.403-406
• /
• 2001

문제은행 시스템은 피험자의 조건에 따라 데이터베이스에서 문항을 추출하여 가상공간에서 평가를 수행한다. 가상 공간에서의 평가는 피험자에게 적용하는 경우 출제 빈도에 따라 운항의 난이도 및 변별력에 영향을 주게 된다 출제 빈도에 따라 난이도나 변별력이 낮아지는 문항은 출제를 제한하는 기준이 필요하다. 본 논문에서는 문항 사후 난이도와 문항 변별도를 기반으로 하여, 문항 차분 난이도를 주기적으로 측정하고 난이도 차이가 일정 수준 이상이 되는 문항에 대해 출제를 제한하는 방안과 전체 피험자에 대한 운항의 변별력을 측정하러 변별력이 떨어지는 문항을 출제자에게 문항을 수정하게 하거나 삭제하도록 하는 방안들 제안한다.

• 정보보호학회논문지
• /
• 제18권5호
• /
• pp.59-69
• /
• 2008

본 연구의 목적은 지문인식 평가용 데이터베이스의 난이도(Level of Difficulty)를 지문영상 품질 평가를 통하여 정량화 하는 것이다. 본 논문에서는 지문 데이터베이스의 난이도 정량화 방법으로 품질 분포도 분석 방법과 품질 차이 분석 방법을 제안한다. 품질 분포도 분석 방법은 지문 영상의 품진 등급별 빈도수를 기반으로 데이터베이스 전체의 난이도를 표현한 방법이고, 품질 차이 분석 방법은 데이터베이스를 구성하는 동일 지문의 영상들 간의 각 품질 차이별 빈도수를 동시발생 매트릭스(Co-occurrence Matrices)를 이용하여 난이도로 나타낸 방법이다. 두 방법론에 의한 실험 결과 지문영상 품질 기반의 데이터베이스의 난이도는 인식 성능과 상관관계를 가지며, 품질 분포도 기반의 난이도보다 품질 차이 기반의 난이도가 더 높은 상관관계를 보임을 확인할 수 있었다. 특히 MPQ(Matching Pairwise Qualities) 동시발생 매트릭스의 OQ(Opposite Qualities) Block 기반의 난이도 정량화 방법이 인식 성능과 가장 높은 상관관계를 나타내는 것을 알 수 있었다. 본 연구를 통해 지문영상 품질 기반의 지문 데이터베이스의 난이도를 정량화할 수 있었고, 난이도와 인식성능이 높은 상관관계를 가짐을 알 수 있다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2006년도 한국컴퓨터종합학술대회 논문집 Vol.33 No.1 (B)
• /
• pp.244-246
• /
• 2006

웹 기반 교육 시스템에서 문제 집합 구성은 주로 고정 출제 방식, 무작위 출제 방식, 난이도에 따른 출제 방식으로 이루어진다. 문제 집합의 구성 시 문제 은행에서 문제 난이도에 대한 객관성을 유지하는 것이 무엇보다 중요하다. 따라서 본 논문에서는 난이도를 재조정하는데 학습자들의 문제 풀이 결과를 반영하는 새로운 난이도 재조정 알고리즘을 제시한다. 본 논문에서 제안하는 학습자 피드백 기반 문제 수준 조절 방법은 개인 시험 결과, 그룹 시험 결과 그리고 개인의 특정 섹션 시험 결과를 함께 고려하여 난이도를 조절한다. 기존 알고리즘과 비교 분석한 결과 문제 난이도의 변화율 측면에서 보다 현실적인 문제 난이도 변화를 확인할 수 있었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (A)
• /
• pp.566-568
• /
• 2003

본 논문에서는 SCORM을 기반으로 한 e-Learning 시스템에서 학습자의 학습 활동을 트래킹하여 학습자의 수준을 적응적으로 판단하는 기법을 제시하였다. 제시된 기법에서는 모집단의 크기가 작을 경우 교수자가 지정한 난이도를 이용하여 학습자의 수준을 판단하고, 모집단의 크기가 충분히 클 경우에는 문항반응이론을 적응한 난이도에 의해 학습자의 수준을 판단하였다. 문항반옹이론을 적용할 시점에서 교수자가 지정한 난이도가 문항반응이론에서 추정한 난이도와 차이가 날 경우, 교수자가 지정한 난이도를 문항반응이론의 난이도로 수정하는 적응적인 기법을 제시하였다. SCORM의 트래킹 기능을 이용하여 실험한 결과 문제를 푼 학습자의 수가 적을 경우에는 학습자 수의 변화에 따라 학습자의 수준이 계속 바뀌는 문제점이 있음을 알 수 있었다. 따라서 모집단의 크기가 작을 경우, 본 논문에서 제안한 방법에 의해 교수자가 지정한 문항의 난이도를 이용하여 학습자의 수준을 판단하는 것이 효과적이었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 춘계학술발표대회
• /
• pp.648-651
• /
• 2022

Match-3 Game 은 스테이지 구성 및 난이도 설정이 중요한 게임이나 다양한 밸런스 요소로 인해 스테이지 구성에 중요한 요소인 난이도 설정에 많은 시간이 소요된다. 특히 게임을 플레이하는 유저가 재미를 느끼는 수준으로 난이도를 설정하는 것이 중요하며, 이를 자동화하기 위해 실제 유저의 플레이 데이터를 활용하여 사람과 유사한 수준의 자동 플레이 에이전트 개발이 진행되었다. 하지만 플레이 데이터의 확보는 쉽지 않기에 연구 방향은 플레이 데이터가 없는 강화학습으로 확장되고 있다. 스테이지 구성에 중요한 요소인 난이도를 설정하기 위함이라면 각 스테이지 간의 상대적인 난이도 차이를 파악하는 것으로 가능하다. 이를 위해 게임의 규칙을 학습한 강화학습 에이전트로 밸런스 요소의 변화에 따른 다양한 난이도의 스테이지를 50 회씩 플레이하여, 평균 획득 점수를 기준으로 스테이지 구성에 필요한 각 스테이지들의 난이도를 파악할 수 있었다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
• /
• pp.501-506
• /
• 2020

질의 난이도 분석 문제는 자연어 질의문을 답변할 때 어려움의 정도를 측정하는 문제이다. 질의 난이도 분석 문제는 문서 독해, 의학 시험, 비디오 질의 등과 같은 다양한 데이터셋에서 연구되어 왔다. 본 논문에서는 질의문과 질의문에 응답하기 위한 정보들 간의 관계를 파악하는 것으로 질의 난이도 분석 문제를 접근하여 이를 BERT와 Dual Multi-head Attention을 사용하여 모델링 하였다. 본 논문에서 제안하는 모델의 우수성을 증명하기 위하여 최근 자연언어이해 부분에서 높은 성능을 보여주는 기 학습 언어 모델과 이전 연구의 질의 난이도 분석 모델과의 성능을 비교하였고, 제안 모델은 대표적인 비디오 질의 응답 데이터셋인 DramaQA의 Memory Complexity에서 99.76%, Logical Complexity에서는 89.47%의 정확도로 가장 높은 질의 난이도 분석 성능을 보여주었다.

• 한국산업정보학회논문지
• /
• 제9권4호
• /
• pp.47-55
• /
• 2004

웹 기반의 원격 교육에서 평가를 위해 출제되는 문제들은 주로 고정 출제나 무작위 출제 방식 또는 난이도에 따른 자동 출제 방식을 이용하고 있다. 이중에서 난이도에 따른 자동 출제 방식은 학습자들의 평가 결과에 따른 난이도 재조정으로 문제 은행의 문제들에 대한 객관성을 유지하는 것이 중요한 문제이다. 이에 본 논문에서는 난이도에 따른 자동 출제 방식에서 문제은행의 난이도를 재조정함에 있어서 학습자들의 평가 결과와 학습자득의 학습 능력을 함께 고려한 새로운 난이도 재조정 알고리즘을 제시판다 제시된 알고리즘을 구축된 웹기반 학습 시스템에서 기존 알고리즘과 비교 분석한 결과 보다 효율적으로 문제 난이도를 관리할 수 있음을 확인한 수 있었다.

• 정보처리학회논문지D
• /
• 제12D권3호
• /
• pp.471-480
• /
• 2005

웹 기반의 원격 교육에서 평가를 위해 출제되는 문제들은 주로 고정 출제나 무작위 출제 방식 또는 난이도에 따른 자동 출제 방식을 이용하고 있다. 이중에서 난이도에 따른 자동 출제 방식은 해당 문제의 초기 난이도 부여에 대한 객관성과 주어진 난이도를 이용한 보다 효율적인 문제의 출제 그리고 출제된 문제들에 대한 학습자들의 평가 결과로서 해당 문제들의 난이도를 재조정하는 것이 문제의 핵심이라 할 수 있다. 본 논문에서는 웹 기반의 학습 시스템에서 평가를 위한 자동 출제 방식을 이용함에 있어서 첫째, 난이도뿐만 아니라 학습 범위를 함께 고려한 새로운 난이도별-영역별 문제 출제 알고리즘을 제시하고 둘째, 평가 결과를 바탕으로 해당 문제들의 난이도를 다시 조정하는데 있어서는 학습자들의 학습 능력을 고려한 새로운 난이도 재조정 알고리즘을 제시한다. 제시된 알고리즘을 구축된 웹기반 학습 시스템에서 기존 알고리즘과 비교 분석해 본 결과 보다 효율적임을 확인할 수 있었다.

• 한국산업정보학회논문지
• /
• 제27권2호
• /
• pp.11-24
• /
• 2022

LMS 기반의 온라인 평가를 위해 출제되는 문제들은 교수자가 직접 출제하거나 또는 카테고리별로 나뉘어진 문제은행에서 난이도에 따른 자동 출제 방식을 주로 이용한다. 이중에서 난이도에 따른 자동출제 방식은 평가자들에게 출제되는 문제가 서로 다를수 있기 때문에 무엇보다 객관적이고 효율적인 방법으로 문제의 난이도를 관리하는 것이 중요하다. 본 논문에서는 문제의 정답률뿐만 아니라 해당 문제를 해결하는데 사용된 소요시간을 같이 고려한 난이도 재조정 알고리즘을 제시한다. 이를 위해 머신러닝의 로지스틱 회귀 분류 알고리즘을 이용하였으며, 학습모델의 예측 확률값을 기반으로 기준 임계값을 설정하여 각 문항별 난이도 재조정에 활용하였다. 그 결과 정답률에만 의존한 문항별 난이도에 많은 변화가 일어남을 확인할 수 있었다. 또한 조정된 난이도의 문제를 이용하여 그룹별 평가를 수행한 결과, 정답률 기반의 난이도 문제에 비해서 대부분의 그룹에서 평균 점수가 향상됨을 확인할 수 있었다.

• 한국컴퓨터교육학회 학술대회
• /
• 한국컴퓨터교육학회 2018년도 동계학술대회
• /
• pp.107-110
• /
• 2018

본 연구에서는 컴퓨팅 사고력 평가도구로써 비버 챌린지 문항을 활용하기 위하여 문항반응이론을 통해 비버 챌린지 문항을 분석하고, 비버 챌린지에서 기존에 제시하는 난이도와 문항반응이론을 통한 난이도 간의 상관관계를 분석하였다. 분석 결과 비버 챌린지는 쉽고 변별력이 높은 검사로 나타났으나, 비버 챌린지에서 제시하는 난이도와 문항반응이론을 통한 난이도 간의 상관관계는 없었다. 난이도에 따라 가점과 감점이 이루어지는 비버 챌린지 채점 기준을 고려할 때 정확한 컴퓨팅 사고력 측정을 위해서는 난이도에 대한 수정 및 보완이 필요하다.