• 제목/요약/키워드: Scoring system

검색결과 710건 처리시간 0.022초

영작문 자동 채점 시스템 개발 연구 (Development of automated scoring system for English writing)

  • 진경애
    • 영어어문교육
    • /
    • 제13권1호
    • /
    • pp.235-259
    • /
    • 2007
  • The purpose of the present study is to develop a prototype automated scoring system for English writing. The system was developed for scoring writings of Korean middle school students. In order to develop the automated scoring system, following procedures have been applied. First, review and analysis of established automated essay scoring systems in other countries have been accomplished. By doing so, we could get the guidance for development of a new sentence-level automated scoring system for Korean EFL students. Second, knowledge base such as lexicon, grammar and WordNet for natural language processing and error corpus of English writing of Korean middle school students were established. Error corpus was established through the paper and pencil test with 589 third year middle school students. This study provided suggestions for the successful introduction of an automated scoring system in Korea. The automated scoring system developed in this study should be continuously upgraded to improve the accuracy of the scoring system. Also, it is suggested to develop an automated scoring system being able to carry out evaluation of English essay, not only sentence-level evaluation. The system needs to be upgraded for the improved precision, but, it was a successful introduction of an sentence-level automated scoring system for English writing in Korea.

  • PDF

서답형 문항의 인터넷 기반 채점시스템 설계 연구 (A Study on design of The Internet-based scoring system for constructed responses)

  • 조지민;김경훈
    • 컴퓨터교육학회논문지
    • /
    • 제10권2호
    • /
    • pp.89-100
    • /
    • 2007
  • 대규모 집단을 대상으로 시행하는 서답형 문항을 수기 채점 방식으로 채점하는 경우 채점 과정에서 발생하는 채점 오차를 줄이기 위해서는 많은 노력과 시간을 필요로 한다. 이러한 문제점을 해결하기 위해 세계 각국에서는 서답형 문항 채점 시스템을 개발하여 운용하고 있지만, 국내에서는 채점 시스템의 기초적인 연구도 미흡한 실정이다. 본 연구의 목적은 '서답형 문항의 인터넷 기반 채점 시스템' 설계의 기반을 마련하는데 있다. 시스템 설계의 기반 마련을 위한 시스템의 개요와 기본 설계도, 채점자 배정 방법, 채점자 신뢰도 추정에 의한 채점자 오류 검색 알고리즘을 제안하였다. 본 시스템은 실시간으로 채점 신뢰도를 추정하여 채점 오차를 보정할 수 있는 장점이 있다.

  • PDF

대학수학능력시험에서 표준점수제의 개선방안에 대한 연구 (A Study on an Alternative to the Standardized Scoring System in CSAT)

  • 황형태
    • 응용통계연구
    • /
    • 제18권3호
    • /
    • pp.521-532
    • /
    • 2005
  • 2005학년도 대학수학능력 시험부터는 수험생들마다 응시 과목들이 서로 다르게 구성되어 있으므로, 과목별 난이도의 차이를 보정하기 위하여 표준점수제를 도입하여 운영하고 있다. 그러나 2005학년도 대학수학능력시험에서 본격적으로 표준점수제를 도입하여 운영해 본 결과, 과목선택의 조합에 따라서 과목별 표준점수의 차이가 지나치게 크게 나타나는 등 여러가지 문제점들이 노출되었으며, 이에 따라 표준점수제에 대한 전면적인 개선이 강력하게 요구되기도 하였다. 이 논문에서는 현행 표준점수제의 문제점들을 좀더 심도있게 분석해 보고, 그 개선방안으로 하나의 대안을 제시해 보고자 한다. 이 논문에서 개발한 가산점수제(Additive scoring system)에 의한 결정점수는 현행의 표준점수제가 갖고 있는 여러가지 문제점들을 원천적으로 해소하거나 크게 개선하며, 직관적으로 이해하기 쉬울 뿐만 아니라 계산이 간편하다는 등의 장점들도 갖추고 있다.

기계학습 분류기의 예측확률과 만장일치를 이용한 한국어 서답형 문항 자동채점 시스템 (Automated Scoring System for Korean Short-Answer Questions Using Predictability and Unanimity)

  • 천민아;김창현;김재훈;노은희;성경희;송미영
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권11호
    • /
    • pp.527-534
    • /
    • 2016
  • 최근 정보화 사회에서는 단순 암기보다는 문제 해결 능력과 종합적인 사고력을 바탕으로 창의적인 생각을 할 수 있는 인재를 요구한다. 이에 따라 교육과정도 학생들의 종합적인 사고력을 판단할 수 있는 서답형 문항을 늘리는 방향으로 변하고 있다. 그러나 서답형 문항의 경우 채점자의 주관에 의존하여 채점이 진행되기 때문에, 채점 결과의 일관성을 확보하기 어렵다는 단점이 있다. 이런 점을 해결하기 위해 해외에서는 기계학습을 이용한 자동채점 시스템을 채점 도구로 사용하고 있다. 한국어는 영어와 언어학적으로 다른 분류에 속하므로 영어권에서 사용하는 자동채점 시스템을 한국어에 그대로 적용할 수 없다. 따라서 한국어 체계에 맞는 자동채점 시스템의 개발이 필요하다. 본 논문에서는 기계학습 분류기의 예측확률과 만장일치 방법을 사용한 한국어 서답형 문항 자동채점 시스템을 소개하고, 자동채점 시스템을 이용한 채점 결과와 교과 전문가의 채점 결과를 비교하여 자동채점 시스템의 실용성을 검증한다. 본 논문의 실험을 위해 2014년 국가수준 학업성취도 평가의 국어, 사회, 과학 교과의 서답형 문항을 사용했다. 평가 척도로 피어슨 상관계수와 카파계수를 사용했다. 채점자가 개입했을 때와 개입하지 않았을 때의 상관계수 모두 0.7 이상으로 강한 양의 상관관계를 보였다. 이는 자동채점 시스템이 교과 전문가가 채점한 결과와 유사한 방향으로 답안에 점수를 부여한 것이므로 자동채점 시스템을 채점 보조도구로서 충분히 사용할 수 있을 것이다.

보안취약점 중요도 정량 평가 체계 연구 (Quantitative Scoring System on the Importance of Software Vulnerabilities)

  • 안준선;창병모;이은영
    • 정보보호학회논문지
    • /
    • 제25권4호
    • /
    • pp.921-932
    • /
    • 2015
  • 본 논문에서는 소프트웨어 보안취약점의 중요도를 정량적으로 산출할 수 있는 중요도 정량 평가 체계를 제안한다. 제안된 평가 체계는 국내 소프트웨어 이용 환경을 고려한 보안취약점의 파급도, 위험도, 소프트웨어 점유율, 시스템에서의 사용 정도 등을 복합적으로 반영하여 보안취약점에 대한 심각성을 적절히 평가할 수 있는 평가 척도와 이를 기반으로 한 중요도 계산식으로 구성된다. 논문에서는 제안된 소프트웨어 보안취약점 평가 체계를 국내의 보안취약점에 시범적으로 적용하고 그 효용성을 CVSS 및 CWSS 등과 비교, 분석하였으며, 제안된 평가 체계의 활용 방안을 제시하였다.

아토피 피부염의 평가방법에 대한 연구 : 비교 분석 및 설립 (A study on the Severity Scoring Systems of Atopic Dermatitis ; Comparision, Analysis and Establishment)

  • 윤화정;윤정원;윤소원;고우신
    • 대한한의학회지
    • /
    • 제23권4호
    • /
    • pp.15-26
    • /
    • 2002
  • There is much confusion in the field of atopic dermatitis (AD) regarding how to best measuredisease severity objectively. Therefore, we aimed to establish a new adequate scoring system for AD, that should be based on comparisonand analysis of various scoring systems. We report as follows. Methods: We searched for data relating to severity scoring systems for atopic dermatitis in Entrez PubMed From 1990 to 2001 Results and Conclusions: 1. Properties of severity scoring systems were validity, reliability, sensitivity of change and ease of use. 2. The essential items of severity scoring systems were extent. intensity and subjective symptoms. 3. The surface extent of the lesion was evaluated by the percentage of involvement of each of 10 areas. 4. The criteria of severity were divided into intensity and subjective symptoms. Intensity items are erythema, papulation, lichenification, oozing, dryness, excoriations, and pigmentation. The subjective symptom is pruritus, evaluated according to sleep loss. 5. The significant items of severity scoring system were symptomsrather than areas. As it were, we assumed extent accounted for around 30% of each total score, with intensity and subjective symptoms representing 70%.

  • PDF

대학입시에서의 면접점수 표준화에 관한 연구 (A Study on a Standardized Scoring System for College Interview Entrance Examination)

  • 황형태;이강섭;이장택
    • 한국수학교육학회지시리즈A:수학교육
    • /
    • 제43권3호
    • /
    • pp.309-314
    • /
    • 2004
  • A standardized scoring system for college interview entrance examination means we standardize the score of examination to adjust the degree of difficulty among questions and difference of panel's disposition. A standardized scoring system were newly enforced at college interview entrance examination from 2001. Colleges want to choose the most suitably qualified students, taking full advantage of interview examination. Also they should always prepare for questions, plan the answers and a standardized scoring system so that all candidates get a fair shake. The main purpose of this paper is to provide a standardized scoring system for interview examination. The results of interview examination are ranked from highest to lowest and each candidate have different rank from several panels. So some unit scores from panels are given for each candidate using standard normal distribution. Then we calculate the mean unit score for each candidate and final interview entrance examination scores are given using the mean unit score for each candidate.

  • PDF

리타더 장착 버스 하이포이드 기어의 스코링에 관한 연구 (Study on Scoring of Hypoid Gear Set in Bus with Retarder)

  • 양정호;김용조
    • 동력기계공학회지
    • /
    • 제13권6호
    • /
    • pp.102-109
    • /
    • 2009
  • A retarder, as a supplementary brake system that is not friction-based, is frequently used in heavy-duty vehicles generally to slow the vehicles down on inclines. The electric retarder mainly used in a heavy-duty bus is generally placed between the transmission and the axle. The rotor inside the retarder system is attached to the axle. The operation of the retarder within a driven vehicle generates reverse torque due to coast driving force on hypoid gears in the differential gear system. By the reverse torque, scoring or scuffing on the hypoid gear teeth may directly occur. The scoring may be generated due to excessive contact stresses on the tooth surface. In this study, tooth contact stresses and contact patterns were analysed in order to investigate on the tooth scoring phenomenon using a finite element analysis program T900 in which the Hertzian contact stress formula was taken. Backlash, wear and surface finish were considered in the finite element simulation on the scoring.

  • PDF

Robust Design of Credit Scoring System by the Mahalanobis-Taguchi System

  • Su, Chao-Ton;Wang, Huei-Chun
    • International Journal of Quality Innovation
    • /
    • 제5권2호
    • /
    • pp.1-16
    • /
    • 2004
  • Credit scoring is widely used to make credit decisions, to reduce the cost of credit analysis and enable faster decisions. However, traditional credit scoring models do not account for the influence of noises. This study proposes a robust credit scoring system based on Mahalanobis-Taguchi System (MTS). The MTS, primary proposed by Taguchi, is a diagnostic and forecasting method using multivariate data. The proposed approach's effectiveness is demonstrated by using real case data from a large Taiwanese bank. The results reveal that the robust credit scoring system can be successfully implemented using MTS technique.

학생 답안 분석과 정답 템플릿 생성에 의한 한국어 서답형 문항의 자동채점 시스템 (Automatic Scoring System for Korean Short Answers by Student Answer Analysis and Answer Template Construction)

  • 강승식;장은서
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권5호
    • /
    • pp.218-224
    • /
    • 2016
  • 본 논문은 컴퓨터 기반의 자동 채점 시스템을 실용적으로 활용할 수 있도록 자연어 처리 기술을 이용하여 채점 기준표 작성 과정을 쉽게 하고 수작업 채점 비용의 절감 및 채점 기간을 단축시키는 방법을 제안한다. 자동 채점의 기준이 되는 정답 템플릿은 학생들이 작성한 답안들로부터 쉽고 편리하게 작성할 수 있도록 하였으며, 채점 정확도를 향상시키고 채점 오류를 최소화하여 신뢰도를 높이고자 하였다. 수작업 채점 대신에 자동채점 시스템을 도입하였을 때 그 효용성을 검증하기 위하여 2014년도 국가수준 학업성취도 평가의 사회과목 답안에 대해 자동 채점을 수행하였다.