• 제목/요약/키워드: Scoring method

검색결과 474건 처리시간 0.025초

기계 학습을 활용한 논증 수준 자동 채점 및 논증 패턴 분석 (Automated Scoring of Argumentation Levels and Analysis of Argumentation Patterns Using Machine Learning)

  • 이만형;유선아
    • 한국과학교육학회지
    • /
    • 제41권3호
    • /
    • pp.203-220
    • /
    • 2021
  • 이 연구는 과학적 논증 담화에 대한 자동 채점의 성능 개선 방향을 탐색하였으며, 자동 채점 모델을 활용하여 논증 담화의 양상과 패턴을 분석하였다. 이를 위해 과학적 논증 수업에서 발생한 학생 발화를 대상으로 논증 수준을 평가하는 자동 채점을 수행하였다. 이 자동 채점의 데이터셋은 4가지 단위의 논증 피처와 논증 수준 평가틀로 구성되었다. 특히, 자동 채점에 논증 패턴을 반영하기 위하여 논증 클러스터와 n-gram을 활용하였다. 자동 채점 모델은 3가지의 지도 학습 기법으로 구성되었으며, 그 결과 총 33개의 자동 채점 모델이 구성되었다. 자동 채점의 결과, 최대 85.37%, 평균 77.59%의 채점 정확도를 얻었다. 이 과정에서 논증 담화의 패턴이 자동 채점의 성능을 개선하는 주요한 피처임을 확인하였다. 또한, 의사결정 나무와 랜덤 포레스트의 모델을 통하여 과학적 논증 수준에 따른 논증의 양상과 패턴을 분석하였다. 이를 통하여 주장, 자료와 함께 정당화가 체계적으로 구성된 과학적 논증과 자료에 대한 활발한 상호작용이 이루어진 과학적 논증이 논증 수준의 발달을 이끈다는 점 등을 확인하였다. 이와 같은 자동 채점 모델의 해석은 논증 패턴을 분석하는 새로운 연구 방법을 제언하는 것이다.

신경 회로망을 사용한 수면 단계 분석 (Sleep Stage Scoring using Neural Network)

  • 한주만;박해정;박광석;정도언
    • 대한의용생체공학회:학술대회논문집
    • /
    • 대한의용생체공학회 1997년도 춘계학술대회
    • /
    • pp.395-397
    • /
    • 1997
  • We have applied the neural network method for the neural networkmethod for the automatic scoring of the sleep stage. 17 features are extracted from the recorded EEG, EOG and EMG signals. These features are inputed to tile multilayer perceptron model. Neural network was trained with error-back propagation method. Results are compared with manual scoring of the experts, and show the possibility of application of automatic method in sleep stage scoring.

  • PDF

Robust Design of Credit Scoring System by the Mahalanobis-Taguchi System

  • Su, Chao-Ton;Wang, Huei-Chun
    • International Journal of Quality Innovation
    • /
    • 제5권2호
    • /
    • pp.1-16
    • /
    • 2004
  • Credit scoring is widely used to make credit decisions, to reduce the cost of credit analysis and enable faster decisions. However, traditional credit scoring models do not account for the influence of noises. This study proposes a robust credit scoring system based on Mahalanobis-Taguchi System (MTS). The MTS, primary proposed by Taguchi, is a diagnostic and forecasting method using multivariate data. The proposed approach's effectiveness is demonstrated by using real case data from a large Taiwanese bank. The results reveal that the robust credit scoring system can be successfully implemented using MTS technique.

Measurement of Public Research Outcomes: A Technology Valuation Method

  • Park, Jung-Min;Lim, Seong-Il;Seol, Sung-Soo
    • Asian Journal of Innovation and Policy
    • /
    • 제6권2호
    • /
    • pp.206-224
    • /
    • 2017
  • This article proposes a logic model for assessing the performance of the outcome of public research as a technology valuation method. It consists of two parts and eight steps. The first part is a scoring system and the second part is a validation process of the performance index derived from scoring by valuation method. The scoring in the first part generally requires a focus group method to find out the value drivers and make an evaluation table. The reason why we call it the technology valuation method is that the first part is derived from the simple evaluation of technology value using checklists for value drive. The second part is the regular technology valuation process. The model is designed for the measurement of unquantifiable outcome. Is knowledge or scientific outcome comparable to the measured outcome? If possible, how big is the unquantifiable outcome? This model is based on financial valuation techniques with clear or acceptable market data. Therefore, it cannot work solely for unquantifiable outcomes without comparable measurable outcomes, unlike economic valuation.

대안적인 평가를 통한 수학교육 (Alternative Assessment in Mathematics Education)

  • 최승현
    • 대한수학교육학회지:수학교육학연구
    • /
    • 제8권1호
    • /
    • pp.217-235
    • /
    • 1998
  • The purpose of this study is to define the altenative assessment and to suggest the method of scoring system. Alternative assessment includes any type of assessment in which student create reponses to a question rather than choosing a responses form given list( as for multiple choice, true/false, or matching). Alternative assessment can includes short answer questions, essay, performances, oral presentation, demonstrations, exhibitions, portfolios, and etc. To evaluate the each type of assessment, we can apply the method of holistic scoring and analytic scoring system. Also we have to concern the type of scoring mechanism directly relate to what we want to assess, our purpose for assessment fitting into the educational enterprise. Before applying the alternative assessment in our classroom, we need to step back and reconsider all our design features and teachers' responsibility.

  • PDF

한국인의 외국어 발화오류검출 음성인식기에서 청취판단과 상관관계가 높은 기계 스코어링 기법 (Machine Scoring Methods Highly-correlated with Human Ratings in Speech Recognizer Detecting Mispronunciation of Foreign Language)

  • 배민영;권철홍
    • 음성과학
    • /
    • 제11권2호
    • /
    • pp.217-226
    • /
    • 2004
  • An automatic pronunciation correction system provides users with correction guidelines for each pronunciation error. For this purpose, we develop a speech recognition system which automatically classifies pronunciation errors when Koreans speak a foreign language. In this paper, we propose a machine scoring method for automatic assessment of pronunciation quality by the speech recognizer. Scores obtained from an expert human listener are used as the reference to evaluate the different machine scores and to provide targets when training some of algorithms. We use a log-likelihood score and a normalized log-likelihood score as machine scoring methods. Experimental results show that the normalized log-likelihood score had higher correlation with human scores than that obtained using the log-likelihood score.

  • PDF

LiDAR 및 WAVE 기반 동력수상레저기구 조종면허 실기시험 전자시스템 개발 (Development of a Boat Operator Computer Scoring System Based on LiDAR and WAVE)

  • 문정환;윤재준
    • 해양환경안전학회지
    • /
    • 제25권4호
    • /
    • pp.504-510
    • /
    • 2019
  • 본 연구에서는 동력수상레저기구 조종면허의 기존 수기채점방식을 전자채점방식으로 전환할 수 있도록 실기시험항목을 분석하여 현재의 실기시험 시스템의 개념을 해치지 않는 범위 내에서 디지털화할 수 있는 방안을 모색하고, LiDAR센서와 WAVE통신을 통한 전자채점 시스템을 개발했다. 연구를 통해 얻은 결과는 다음과 같다. 첫째, 시험선에서는 LiDAR 및 시험관 평가입력장치를 통해 입력된 채점 데이터가 통합처리장치에서 WAVE통신을 통해 육상 관제센터로 전송되어 응시자의 데이터를 저장/관리할 수 있는 시스템을 구축 및 검증했다. 둘째, 사행 과제를 평가함에 있어서 기존에 목시관측 또는 막대기를 사용한 것을 대신하여 LiDAR를 이용함으로써 정확한 거리측정이 가능해졌고, 정확한 거리정보를 시험선 통합처리장치를 통해 시험관 평가입력장치에 신속하게 표출했다. 셋째, 시험선에서 취득한 평가점수 데이터를 육상 관제센터로 유실없이 고속으로 전송하기 위해 활용한 WAVE통신에서 원활한 전송 및 처리가 가능함을 확인했다.

사업성 종합지수를 이용한 기술의 사업성 상대등급 평가에 관한 연구 (A Study on Business Relative Ranking Valuation of Technology using Business Composite Index)

  • 성웅현
    • 지식경영연구
    • /
    • 제6권2호
    • /
    • pp.105-118
    • /
    • 2005
  • The future will see all industries become technology-driven in the competitive global market place. Firms with deep technological roots and innovation strategies have some advantages. Business valuation of technology is critical to the future of firm's business. In this situation widely used scoring valuation is not enough to evaluate relative business competitiveness associated with technology and to assign its relative ranking category. Therefore, a more useful and comprehensive new valuation approach, which is called business composite index, is needed to complement and to enhance the existing scoring valuation approach. In this research, statistical factor analysis is applied to determine the common factors and to estimate associated weights. And business composite index, which is a kind of weighted scoring method, is derived based on the results of factor analysis. This research shows that business composite index is considered very useful to measure the business relative strength of individual technology and also to assign its relative ranking category instead of absolute ranking based on scoring valuation approach.

  • PDF

랜덤 포레스트 알고리즘을 활용한 수학 서술형 자동 채점 (Automatic scoring of mathematics descriptive assessment using random forest algorithm)

  • 최인용;김화경;정인우;송민호
    • 한국수학교육학회지시리즈A:수학교육
    • /
    • 제63권2호
    • /
    • pp.165-186
    • /
    • 2024
  • 학교 현장과 대규모 평가에서 서술형 문항 도입을 지원하기 위한 방안 중 하나로 인공지능 기반의 자동 채점 기술이 주목받고 있음에도 불구하고, 수학 교과에서는 타 교과에 비해 이에 대한 기초 연구가 부족한 상황이다. 이에 본 연구는 중학교 1학년 수학 서술형 문항 두 개를 대상으로 랜덤 포레스트 알고리즘을 활용하여 자동 채점 모델을 개발하고 그 성능을 평가하였다. 연구 결과, 두 문항에 대한 최종 모델의 평가요소별 정확도는 각각 0.95-1.00, 0.73-0.89의 범위로 나타났으며, 이는 타 교과에 비해 상대적으로 높은 수준이다. 데이터의 양을 고려한 평가 범주 설정의 중요성을 확인하였으며, 수학 교육전문가에 의한 텍스트 전처리와 데이터 특성에 맞는 벡터화 방법의 선택이 모델의 성능 및 해석 가능성을 향상시키는 데 기여하였다. 또한, 현실적 한계로 인해 균형적인 데이터 수집이 어려운 상황에서 오버샘플링이 성능을 보완하는 유용한 방법임을 확인하였다. 교육적 활용도를 높이기 위해, 랜덤 포레스트 기반 모델에서 도출된 특성 중요도를 활용하여 피드백과 같이 교수-학습에 유용한 정보를 생성하는 추가 연구가 필요하다. 본 연구는 수학 서술형 자동 채점에 관한 기초 연구로서 의미가 있으며, 인공지능 전문가와 수학교육 전문가 간의 긴밀한 협력을 통해 다양한 후속 연구가 진행될 필요가 있다.

MITRE ATT&CK을 이용한 APT 공격 스코어링 방법 연구 (An APT Attack Scoring Method Using MITRE ATT&CK)

  • 조성영;박용우;이건호;최창희;신찬호;이경식
    • 정보보호학회논문지
    • /
    • 제32권4호
    • /
    • pp.673-689
    • /
    • 2022
  • 본 연구에서는 APT 공격을 탐지하고 대응하기 위한 과정의 하나로 APT 공격을 스코어링하는 방안을 제안한다. 먼저, 사이버 공격을 스코어링하는 과정에서 비일관적인 전문가의 주관적인 판단 요소를 고려한 기존의 연구와는 달리, MITRE ATT&CK의 공격기술을 구성하는 여러 구성요소 중 정량화할 수 있는 요소들을 식별하고 이를 정량화하는 방안을 제시한다. 또한, 정량화된 요소들을 이용하여 단위 공격기술의 스코어를 도출하고, 나아가 여러 공격 기술로 구성된 전체 APT 공격의 스코어를 산출하는 방안을 제안한다. 제안한 스코어링 방법을 APT 공격 사례 보고서에 적용하여 APT 공격을 포함한 다양한 사이버 공격의 위협 수준 및 시급성을 판단하기 위한 정량화 가능성을 제시한다. 본 연구를 이용하여 APT 공격을 탐지하는 과정에서 실제 공격 여부를 판단하고, 공격의 우선순위를 산정함으로써 더욱 시급하고 중요한 사이버 공격에 대응할 수 있을 것이다.