• Title, Summary, Keyword: 자동채점

Search Result 54, Processing Time 0.032 seconds

Automatic Evaluation of Korean Free-text Answers through Predicate Normalization (서술어 정규화를 이용한 한국어 서술형 답안의 자동 채점)

  • Bae, Byunggul;Park, II-Nam;Kang, Seung-Shik
    • Annual Conference on Human and Language Technology
    • /
    • /
    • pp.121-122
    • /
    • 2012
  • 컴퓨터를 사용한 서술형 답안의 자동채점은 채점의 편의성과 객관성을 제고하기 위하여 많은 연구자들이 연구해 왔으며 자동채점의 성능을 향상시키기 위해 여러 가지 방법들이 제안되었다. 본 논문은 서술어 정규화를 통하여 서술형 답안의 자동채점 정확도를 높이고자 하였다. 기존의 다른 채점 방법들과 비교했을때 서술어 정규화 기법을 적용한 채점 방식은 기존의 방법들보다 유사도 계산 정확도가 향상되어 정답 판별 정확도가 향상되는 것을 확인할 수 있었다. 서술어 정규화는 기존의 모든 서술형 답안 채점 방법에 추가적으로 적용할 수 있는 범용성을 가지고 있다. 따라서 서술어 정규화는 기존 방법들의 자동채점 정확도를 향상시켜 보다 정확하게 서술형 답안을 채점할 수 있다.

  • PDF

Performance Comparison of Automated Scoring System for Korean Short-Answer Questions (한국어 서답형 문항 자동채점 시스템의 성능 개선)

  • Cheon, Min-Ah;Kim, Chang-Hyun;Kim, Jae-Hoon;Noh, Eun-Hee;Sung, Kyung-Hee;Song, Mi-Young;Park, Jong-Im;Kim, Yuhyang
    • 한국어정보학회:학술대회논문집
    • /
    • /
    • pp.181-185
    • /
    • 2016
  • 최근 교육과정에서 학생들의 능력 평가는 단순 암기보다 학생들의 종합적인 사고력을 판단할 수 있는 서답형 문항을 늘리는 방향으로 변하고 있다. 그러나 서답형 문항의 경우 채점하는 데 시간과 비용이 많이 들고, 채점자의 주관에 따라 채점 결과의 일관성과 신뢰성을 보장하기 어렵다는 문제가 있다. 이런 점을 해결하기 위해 해외의 사례를 참고하여 국내에서도 서답형 문항에 자동채점 시스템을 적용하는 연구를 진행하고 있다. 본 논문에서는 2014년도에 개발된 '한국어 문장 수준 서답형 문항 자동채점 시스템'의 성능분석을 바탕으로 언어 처리 기능과 자동채점 성능을 개선한 2015년도 자동채점 시스템을 간략하게 소개하고, 각 자동채점 시스템의 성능을 비교 분석한다. 성능 분석 대상으로는 2014년도 국가수준 학업성취도평가의 서답형 문항을 사용했다. 실험 결과, 개선한 시스템의 평균 완전 일치도와 평균 정확률이 기존의 시스템보다 각각 9.4%p, 8.9%p 증가했다. 자동채점 시스템의 목적은 가능한 채점 시간을 단축하면서 채점 기준의 일관성과 신뢰성을 확보하는 데 있으므로, 보완한 2015년 자동채점 시스템의 성능이 향상되었다고 판단할 수 있다.

  • PDF

Performance Comparison of Automated Scoring System for Korean Short-Answer Questions (한국어 서답형 문항 자동채점 시스템의 성능 개선)

  • Cheon, Min-Ah;Kim, Chang-Hyun;Kim, Jae-Hoon;Noh, Eun-Hee;Sung, Kyung-Hee;Song, Mi-Young;Park, Jong-Im;Kim, Yuhyang
    • Annual Conference on Human and Language Technology
    • /
    • /
    • pp.181-185
    • /
    • 2016
  • 최근 교육과정에서 학생들의 능력 평가는 단순 암기보다 학생들의 종합적인 사고력을 판단할 수 있는 서답형 문항을 늘리는 방향으로 변하고 있다. 그러나 서답형 문항의 경우 채점하는 데 시간과 비용이 많이 들고, 채점자의 주관에 따라 채점 결과의 일관성과 신뢰성을 보장하기 어렵다는 문제가 있다. 이런 점을 해결하기 위해 해외의 사례를 참고하여 국내에서도 서답형 문항에 자동채점 시스템을 적용하는 연구를 진행하고 있다. 본 논문에서는 2014년도에 개발된 '한국어 문장 수준 서답형 문항 자동채점 시스템'의 성능분석을 바탕으로 언어 처리 기능과 자동채점 성능을 개선한 2015년도 자동채점 시스템을 간략하게 소개하고, 각 자동채점 시스템의 성능을 비교 분석한다. 성능 분석 대상으로는 2014년도 국가수준 학업성취도평가의 서답형 문항을 사용했다. 실험 결과, 개선한 시스템의 평균 완전 일치도와 평균 정확률이 기존의 시스템보다 각각 9.4%p, 8.9%p 증가했다. 자동채점 시스템의 목적은 가능한 채점 시간을 단축하면서 채점 기준의 일관성과 신뢰성을 확보하는 데 있으므로, 보완한 2015년 자동채점 시스템의 성능이 향상되었다고 판단할 수 있다.

  • PDF

Automated Scoring System for Korean Short-Answer Questions Using Predictability and Unanimity (기계학습 분류기의 예측확률과 만장일치를 이용한 한국어 서답형 문항 자동채점 시스템)

  • Cheon, Min-Ah;Kim, Chang-Hyun;Kim, Jae-Hoon;Noh, Eun-Hee;Sung, Kyung-Hee;Song, Mi-Young
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.5 no.11
    • /
    • pp.527-534
    • /
    • 2016
  • The emergent information society requires the talent for creative thinking based on problem-solving skills and comprehensive thinking rather than simple memorization. Therefore, the Korean curriculum has also changed into the direction of the creative thinking through increasing short-answer questions that can determine the overall thinking of the students. However, their scoring results are a little bit inconsistency because scoring short-answer questions depends on the subjective scoring of human raters. In order to alleviate this point, an automated scoring system using a machine learning has been used as a scoring tool in overseas. Linguistically, Korean and English is totally different in the structure of the sentences. Thus, the automated scoring system used in English cannot be applied to Korean. In this paper, we introduce an automated scoring system for Korean short-answer questions using predictability and unanimity. We also verify the practicality of the automatic scoring system through the correlation coefficient between the results of the automated scoring system and those of human raters. In the experiment of this paper, the proposed system is evaluated for constructed-response items of Korean language, social studies, and science in the National Assessment of Educational Achievement. The analysis was used Pearson correlation coefficients and Kappa coefficient. Results of the experiment had showed a strong positive correlation with all the correlation coefficients at 0.7 or higher. Thus, the scoring results of the proposed scoring system are similar to those of human raters. Therefore, the automated scoring system should be found to be useful as a scoring tool.

Concept-based Automatic Scoring System for Korean Free-text or Constructed Answers (개념 기반 한국어 서답형 답안의 자동채점 시스템)

  • Park, Il-Nam;Noh, Eun-Hee;Sim, Jae-Ho;Kim, Myung-Hwa;Kang, Seung-Shik
    • Annual Conference on Human and Language Technology
    • /
    • /
    • pp.69-72
    • /
    • 2012
  • 본 논문은 한국어 서답형(단어, 구 수준) 문항 유형을 분석하고 실제 채점자가 채점 기준표를 보고 채점하는 방법을 컴퓨터가 인식할 수 있도록 정답 템플릿을 설계 및 개념 정의를 하여 한국어 서답형에 특화된 자동채점 시스템 방법을 제시한다. 본 시스템을 사용하여 1000개의 학생 답안지에 대한 유형 가지수 500개 이하의 2011년도 학업성취도 평가 과학 6개 문항에 대하여 채점 기준표 내용을 정답 템플릿으로 작성한 뒤 250개 학생 답안을 학습데이터로, 정답 템플릿을 업데이트로 사용, 750개 학생 답안에 대하여 자동채점한 결과, 평균 카파계수 0.84라는 수치로서 실제 사람 채점 결과와 거의 완벽히 일치라는 결과를 얻었다.

  • PDF

Answer Template Description for Automatic Scoring of Korean Free-text or Constructed Answers (한국어 서답형 자동채점을 위한 정답 템플릿 기술 방법)

  • Park, Il-Nam;Noh, Eun-Hee;Sim, Jae-Ho;Kim, Myung-Hwa;Kang, Seung-Shik
    • Annual Conference on Human and Language Technology
    • /
    • /
    • pp.138-141
    • /
    • 2012
  • 한국어 서답형 문항의 자동채점 프로그램을 개발하기 위해서는 모범답안, 오답, 부분점수 부여를 위한 세부적인 내용을 채점 기준표로 기술해야 한다. 자동채점에 필요한 구체적인 사항들을 기술하기 위하여 XML 형식으로 정답 템플릿을 정의하였다. 채점에 필요한 내용을 단위 개념으로 정의하고 이를 컴퓨터가 엑세스 가능한 형태의 정답 템플릿을 설계하였다. 정답 템플릿 형식에 맞게 편리하게 템플릿을 작성할 수 있는 작성 도구를 이용하여 학업 성취도평가 각 문항에 대한 채점 기준표를 정답 템플릿으로 작성하여 채점기준표를 작성하는 실험을 수행하였다.

  • PDF

컴퓨터 활용능력 검정의 효율성 제고를 위한 Excel 실기시험 자동채점엔진 개발

  • 김대범
    • Proceedings of the Korean Operations and Management Science Society Conference
    • /
    • /
    • pp.580-585
    • /
    • 2003
  • 정보화 수준을 검정하는 다양한 영역 중 실기시험은 채점 강의 문제로 많은 비용과 시간이 소요되고 있다. 본 연구에서는 컴퓨터활용능력을 검정하는 Excel 실기시험을 자동으로 채점하는 웹 기반 채점엔진을 개발하고자 한다. 출제자의 출제의도를 반영한 채점항목 및 채점기준을 유연하게 등록할 수 있게 하고, 틀리거나 감점된 문항에 대해 오답의 이유를 정확하게 제공하는 데에 개발의 초점을 맞추었다. 엑셀 자동채점 엔진을 활용하면 Excel 실기시험의 출제방향에 크게 위배되지 않으면서 사람이 채점타는 경우보다 객관성, 정확성 비용 소요시간의 면에서 기대효과를 꾀할 수 있다.

  • PDF

Korean Automated Scoring System for Supply-Type Items using Semi-Supervised Learning (준지도학습 방법을 이용한 한국어 서답형 문항 자동채점 시스템)

  • Cheon, Min-Ah;Seo, Hyeong-Won;Kim, Jae-Hoon;Noh, Eun-Hee;Sung, Kyung-Hee;Lim, EunYoung
    • Annual Conference on Human and Language Technology
    • /
    • /
    • pp.112-116
    • /
    • 2014
  • 서답형 문항은 학생들의 종합적인 사고능력을 판단하는데 매우 유용하지만 채점할 때, 시간과 비용이 매우 많이 소요되고 채점자의 공정성을 확보해야 하는 어려움이 있다. 이러한 문제를 개선하기 위해 본 논문에서는 서답형 문항에 대한 자동채점 시스템을 제안한다. 본 논문에서 제안하는 시스템은 크게 언어 처리 단계와 채점 단계로 나뉜다. 첫 번째로 언어 처리 단계에서는 형태소 분석과 같은 한국어 정보처리 시스템을 이용하여 학생들의 답안을 분석한다. 두 번째로 채점 단계를 진행하는데 이 단계는 아래와 같은 순서로 진행된다. 1) 첫 번째 단계에서 분석 결과가 완전히 일치하는 답안들을 하나의 유형으로 간주하여 각 유형에 속한 답안의 빈도수가 높은 순서대로 정렬하여 인간 채점자가 고빈도 학생 답안을 수동으로 채점한다. 2) 현재까지 채점된 결과와 모범답안을 학습말뭉치로 간주하여 자질 추출 및 자질 가중치 학습을 수행한다. 3) 2)의 학습 결과를 토대로 미채점 답안들을 군집화하여 분류한다. 4) 분류된 결과 중에서 신뢰성이 높은 채점 답안에 대해서 인간 채점자가 확인하고 학습말뭉치에 추가한다. 5) 이와 같은 방법으로 미채점 답안이 존재하지 않을 때까지 반복한다. 제안된 시스템을 평가하기 위해서 2013년 학업성취도 평가의 사회(중3) 및 국어(고2) 과목의 서답형 문항을 사용하였다. 각 과목에서 1000개의 학생 답안을 추출하여 채점시간과 정확률을 평가하였다. 채점시간을 전체적으로 약 80% 이상 줄일 수 있었고 채점 정확률은 사회 및 국어 과목에 대해 각각 98.7%와 97.2%로 나타났다. 앞으로 자동 채점 시스템의 성능을 개선하고 인간 채점자의 집중도를 높일 수 있도록 인터페이스를 개선한다면 국가수준의 대단위 평가에 충분히 활용할 수 있을 것으로 생각한다.

  • PDF

Improving Automatic Scoring System for Korean Word or Phrase-level Free-text Answers (한국어 단어-구 수준 서답형 문항의 자동채점 프로그램의 개선 및 실용화)

  • Jang, Eun-Seo;Noh, Eun-Hee;Sung, Kyung-Hee;Lee, Sang-Ha;Kang, Seung-Shik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • /
    • pp.909-912
    • /
    • 2014
  • 최근 자연어 처리 분야에서는 한국어로 작성된 서답형 문항을 자동으로 채점하기 위한 시스템을 개발하기 위한 연구가 꾸준히 진행되고 있다. 2013년도에는 답안 정규화, 채점 기준 작성 및 편집, 자동 채점 및 채점 후처리 작업 등 자동 채점 프로세스를 수행할 수 있는 시스템을 설계 및 개발하였다. 본 논문은 2013년도에 개발된 자동 채점 시스템의 문제점을 분석하고 채점자가 보다 편리하게 채점을 수행할 수 있도록 추가 및 개선한 기능과 이를 구현하기 위해 이용한 자연어 처리 기술을 소개한다.

  • PDF

Automated Scoring of Scientific Argumentation Using Expert Morpheme Classification Approaches (전문가의 형태소 분류를 활용한 과학 논증 자동 채점)

  • Lee, Manhyoung;Ryu, Suna
    • Journal of The Korean Association For Science Education
    • /
    • v.40 no.3
    • /
    • pp.321-336
    • /
    • 2020
  • We explore automated scoring models of scientific argumentation. We consider how a new analytical approach using a machine learning technique may enhance the understanding of spoken argumentation in the classroom. We sampled 2,605 utterances that occurred during a high school student's science class on molecular structure and classified the utterances into five argumentative elements. Next, we performed Text Preprocessing for the classified utterances. As machine learning techniques, we applied support vector machines, decision tree, random forest, and artificial neural network. For enhancing the identification of rebuttal elements, we used a heuristic feature-engineering method that applies experts' classification of morphemes of scientific argumentation.