• The Journal of Korean Association of Computer Education
• /
• v.21 no.6
• /
• pp.83-92
• /
• 2018

The subjective question is appropriate for evaluation of deep thinking, but it is not easy to score. Since, regardless of same scoring criterion, the graders are able to produce different scores, we need the objective automatic evaluation system. However, the system has the problem of Korean analysis and comparison. This paper suggests the Korean syntactic analysis and subjective grading system using the syntactic-semantic tree comparator. This system is the hybrid grading system of word based and syntactic-semantic tree based grading. This system grades the answers on the subjective question using the syntactic-semantic comparator. This proposed system has the good result. This system will be utilized in Korean syntactic-semantic analysis, subjective question grading, and document classification.

• The Journal of Korean Association of Computer Education
• /
• v.10 no.2
• /
• pp.89-100
• /
• 2007

Scoring the constructed responses in large-scale assessments needs great efforts and time to reduce the various types of error in Paper-based training and scoring. For the purpose of eliminating the complexities and problems in Paper and pencil based training and scoring, many of countries including U.S.A and England already have applied online scoring system. There, however, has been few studies to develop the scoring system for the constructed responses items in Korea. The purpose of this study is to develop the basic design of the Internet-based scoring system for the constructed responses. This study suggested the algorithms for assigning scorers to constructed responses, employing methods for monitoring reliability, etc. This system can ensure reliable, quick scoring such as monitor scorer consistency through ongoing reliability checks and assess the quality of scorer decision making through frequent various checking procedures.

• 한국어정보학회:학술대회논문집
• /
• 2016.10a
• /
• pp.181-185
• /
• 2016

최근 교육과정에서 학생들의 능력 평가는 단순 암기보다 학생들의 종합적인 사고력을 판단할 수 있는 서답형 문항을 늘리는 방향으로 변하고 있다. 그러나 서답형 문항의 경우 채점하는 데 시간과 비용이 많이 들고, 채점자의 주관에 따라 채점 결과의 일관성과 신뢰성을 보장하기 어렵다는 문제가 있다. 이런 점을 해결하기 위해 해외의 사례를 참고하여 국내에서도 서답형 문항에 자동채점 시스템을 적용하는 연구를 진행하고 있다. 본 논문에서는 2014년도에 개발된 '한국어 문장 수준 서답형 문항 자동채점 시스템'의 성능분석을 바탕으로 언어 처리 기능과 자동채점 성능을 개선한 2015년도 자동채점 시스템을 간략하게 소개하고, 각 자동채점 시스템의 성능을 비교 분석한다. 성능 분석 대상으로는 2014년도 국가수준 학업성취도평가의 서답형 문항을 사용했다. 실험 결과, 개선한 시스템의 평균 완전 일치도와 평균 정확률이 기존의 시스템보다 각각 9.4%p, 8.9%p 증가했다. 자동채점 시스템의 목적은 가능한 채점 시간을 단축하면서 채점 기준의 일관성과 신뢰성을 확보하는 데 있으므로, 보완한 2015년 자동채점 시스템의 성능이 향상되었다고 판단할 수 있다.

• Annual Conference on Human and Language Technology
• /
• 2016.10a
• /
• pp.181-185
• /
• 2016

최근 교육과정에서 학생들의 능력 평가는 단순 암기보다 학생들의 종합적인 사고력을 판단할 수 있는 서답형 문항을 늘리는 방향으로 변하고 있다. 그러나 서답형 문항의 경우 채점하는 데 시간과 비용이 많이 들고, 채점자의 주관에 따라 채점 결과의 일관성과 신뢰성을 보장하기 어렵다는 문제가 있다. 이런 점을 해결하기 위해 해외의 사례를 참고하여 국내에서도 서답형 문항에 자동채점 시스템을 적용하는 연구를 진행하고 있다. 본 논문에서는 2014년도에 개발된 '한국어 문장 수준 서답형 문항 자동채점 시스템'의 성능분석을 바탕으로 언어 처리 기능과 자동채점 성능을 개선한 2015년도 자동채점 시스템을 간략하게 소개하고, 각 자동채점 시스템의 성능을 비교 분석한다. 성능 분석 대상으로는 2014년도 국가수준 학업성취도평가의 서답형 문항을 사용했다. 실험 결과, 개선한 시스템의 평균 완전 일치도와 평균 정확률이 기존의 시스템보다 각각 9.4%p, 8.9%p 증가했다. 자동채점 시스템의 목적은 가능한 채점 시간을 단축하면서 채점 기준의 일관성과 신뢰성을 확보하는 데 있으므로, 보완한 2015년 자동채점 시스템의 성능이 향상되었다고 판단할 수 있다.

• Annual Conference on Human and Language Technology
• /
• 2014.10a
• /
• pp.112-116
• /
• 2014

서답형 문항은 학생들의 종합적인 사고능력을 판단하는데 매우 유용하지만 채점할 때, 시간과 비용이 매우 많이 소요되고 채점자의 공정성을 확보해야 하는 어려움이 있다. 이러한 문제를 개선하기 위해 본 논문에서는 서답형 문항에 대한 자동채점 시스템을 제안한다. 본 논문에서 제안하는 시스템은 크게 언어 처리 단계와 채점 단계로 나뉜다. 첫 번째로 언어 처리 단계에서는 형태소 분석과 같은 한국어 정보처리 시스템을 이용하여 학생들의 답안을 분석한다. 두 번째로 채점 단계를 진행하는데 이 단계는 아래와 같은 순서로 진행된다. 1) 첫 번째 단계에서 분석 결과가 완전히 일치하는 답안들을 하나의 유형으로 간주하여 각 유형에 속한 답안의 빈도수가 높은 순서대로 정렬하여 인간 채점자가 고빈도 학생 답안을 수동으로 채점한다. 2) 현재까지 채점된 결과와 모범답안을 학습말뭉치로 간주하여 자질 추출 및 자질 가중치 학습을 수행한다. 3) 2)의 학습 결과를 토대로 미채점 답안들을 군집화하여 분류한다. 4) 분류된 결과 중에서 신뢰성이 높은 채점 답안에 대해서 인간 채점자가 확인하고 학습말뭉치에 추가한다. 5) 이와 같은 방법으로 미채점 답안이 존재하지 않을 때까지 반복한다. 제안된 시스템을 평가하기 위해서 2013년 학업성취도 평가의 사회(중3) 및 국어(고2) 과목의 서답형 문항을 사용하였다. 각 과목에서 1000개의 학생 답안을 추출하여 채점시간과 정확률을 평가하였다. 채점시간을 전체적으로 약 80% 이상 줄일 수 있었고 채점 정확률은 사회 및 국어 과목에 대해 각각 98.7%와 97.2%로 나타났다. 앞으로 자동 채점 시스템의 성능을 개선하고 인간 채점자의 집중도를 높일 수 있도록 인터페이스를 개선한다면 국가수준의 대단위 평가에 충분히 활용할 수 있을 것으로 생각한다.

• The Journal of Korean Association of Computer Education
• /
• v.17 no.2
• /
• pp.39-51
• /
• 2014

In high-stakes tests for large groups, the efficiency with which students' responses are distributed to raters and how systematic scoring procedures are managed is important to the overall success of the testing program. In the scoring of constructed response items, it is important to understand whether the raters themselves are making consistent judgments on the responses, and whether these judgments are similar across all raters in order to establish measures of rater reliability. The purpose of this study was to design, develop and carry out a pilot test of an online scoring system for constructed response items administered in a paper-and-pencil test to large groups, and to verify the system's reliability. In this study, we show that this online system provided information on the scoring process of individual raters, including intra-rater and inter-rater consistency, compared to conventional scoring methods. We found this system to be especially effective for obtaining reliable and valid scores for constructed response items.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2013.07a
• /
• pp.223-224
• /
• 2013

본 논문에서는 모바일 앱을 이용한 스노보드 경기의 채점 시스템 개발을 소개한다. 이 시스템은 오프라인 형식으로 진행하는 기존 채점시스템의 문제점을 극복하기 위하여 심판용 모바일 앱과 전광판 출력을 위한 관리 시스템으로 구성된다. 심판들의 채점상황은 모바일 앱을 통하여 실시간으로 원격 데이터베이스에 적재되고 관리시스템에서 자동 합산 및 점수화되어 전광판으로 해당 점수가 출력되게 된다. 이를 통하여 신속하고 정확한 채점 관리를 수행할 수 있으며 모바일 환경이 지원되는 대부분의 스노보드 경기장에서 활용될 수 있다. 본 연구결과는 국내 다양한 스노보드 경기에 적용하여 동계 스포츠분야의 열악한 정보화 환경을 개선할 수 있음을 보였다.

• KIPS Transactions on Software and Data Engineering
• /
• v.5 no.11
• /
• pp.527-534
• /
• 2016

The emergent information society requires the talent for creative thinking based on problem-solving skills and comprehensive thinking rather than simple memorization. Therefore, the Korean curriculum has also changed into the direction of the creative thinking through increasing short-answer questions that can determine the overall thinking of the students. However, their scoring results are a little bit inconsistency because scoring short-answer questions depends on the subjective scoring of human raters. In order to alleviate this point, an automated scoring system using a machine learning has been used as a scoring tool in overseas. Linguistically, Korean and English is totally different in the structure of the sentences. Thus, the automated scoring system used in English cannot be applied to Korean. In this paper, we introduce an automated scoring system for Korean short-answer questions using predictability and unanimity. We also verify the practicality of the automatic scoring system through the correlation coefficient between the results of the automated scoring system and those of human raters. In the experiment of this paper, the proposed system is evaluated for constructed-response items of Korean language, social studies, and science in the National Assessment of Educational Achievement. The analysis was used Pearson correlation coefficients and Kappa coefficient. Results of the experiment had showed a strong positive correlation with all the correlation coefficients at 0.7 or higher. Thus, the scoring results of the proposed scoring system are similar to those of human raters. Therefore, the automated scoring system should be found to be useful as a scoring tool.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.04b
• /
• pp.673-675
• /
• 2001

본 논문에서는 근거리통신, 인터넷 등의 통신을 이용하여 해당 출제자의 분야 별로 출제한 주관식문제를 응시하면 학습자의 답안과 채점정보를 출제자에게 의뢰하여 채점결과와 해설을 학습자에게 알려주는 주간식문제채점 시스템에 관한 것으로, 학습자가 입력한 주관식 문제의 답을 채점하기 위해서 출제자에게 전자우편이나 전화로 연락하면 출제자가 이 주관식문제채점 시스템에 접속하여 출제자컴퓨터에 표시된 문제, 학습자의 답, 정답, 유사한 답, 배점, 해설 등을 보고 채점한 점수를 출제자화면에 입력하고, 상기 채점한 점수를 합한 점수와 틀린 문제의 해설을 해당 학습자에게 보여주는 주관식문제 채점보조 시스템에 관한 것이다.

• Annual Conference on Human and Language Technology
• /
• 2013.10a
• /
• pp.110-112
• /
• 2013

대학수학능력시험이나 학업성취도평가와 같은 중요한 시험은 다단계의 복잡한 과정을 거쳐 채점되며, 대규모의 인적 물적 자원이 투입된다. 컴퓨터 시스템을 활용하여 채점 과정에 소모되는 자원을 절감하고 정확성을 향상시키는 등 채점 효율의 향상을 목표로 하는 연구가 진행 중에 있다. 하지만 채점하려는 문항에 대한 정보 없이 시스템이 자동으로 정 오답을 판단하는 것은 불가능하며, 채점자가 문항에 대한 정보를 일정한 형식으로 가공하여 시스템에 제공하여야 한다. 본 논문은 채점하려는 학생 답안을 정보로 이용하여 시스템이 인지할 수 있는 정답 템플릿 형식으로 구축하는 방법을 소개한다. 또한 소개한 방법으로 작성된 정답 템플릿을 이용하여 자동 채점을 수행하였을 때의 채점 결과 및 통계 자료를 수록하였다.