• Title, Summary, Keyword: 기계학습

Search Result 1,927, Processing Time 0.069 seconds

Coreference Resolution for Korean Using Random Forests (랜덤 포레스트를 이용한 한국어 상호참조 해결)

  • Jeong, Seok-Won;Choi, MaengSik;Kim, HarkSoo
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.5 no.11
    • /
    • pp.535-540
    • /
    • 2016
  • Coreference resolution is to identify mentions in documents and is to group co-referred mentions in the documents. It is an essential step for natural language processing applications such as information extraction, event tracking, and question-answering. Recently, various coreference resolution models based on ML (machine learning) have been proposed, As well-known, these ML-based models need large training data that are manually annotated with coreferred mention tags. Unfortunately, we cannot find usable open data for learning ML-based models in Korean. Therefore, we propose an efficient coreference resolution model that needs less training data than other ML-based models. The proposed model identifies co-referred mentions using random forests based on sieve-guided features. In the experiments with baseball news articles, the proposed model showed a better CoNLL F1-score of 0.6678 than other ML-based models.

Fast Detection of Disease in Livestock based on Machine Learning (기계학습을 이용한 가축 질병 조기 발견 방안)

  • Lee, Woongsup;Hwang, Sewoon;Kim, Jonghyun
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • /
    • pp.294-297
    • /
    • 2015
  • Recently, big data analysis which is based on machine learning has been gained a lot of attentions in various fields. Especially, agriculture is considered as one promising field that machine learning algorithm can be efficiently utilized and accordingly, lots of works have been done so far. However, most of the researches are focusing on the forecast of weather or analysis of genome, and machine learning algorithm for livestock management, especially which uses individual data of livestocks, e.g., temperature and movement, are not properly investigated yet. In this work, we propose fast abnormal livestock detection algorithm based on machine learning, more specifically expectation maximization, such that livestock which has problem can be efficiently and promptly found. In our proposed scheme, livestocks are divided into two clusters using expectation maximization based on their bionic data and the abnormal livestock can be detected by comparing the size of two clusters. Especially, we divide the case in which single livestock has problem and the case in which livestocks have epidemic such that fast response is enabled when epidemic case. Moreover, our algorithm does not need statistical information.

  • PDF

A Study on automatic assignment of descriptors using machine learning (기계학습을 통한 디스크립터 자동부여에 관한 연구)

  • Kim, Pan-Jun
    • Journal of the Korean Society for information Management
    • /
    • v.23 no.1
    • /
    • pp.279-299
    • /
    • 2006
  • This study utilizes various approaches of machine learning in the process of automatically assigning descriptors to journal articles. The effectiveness of feature selection and the size of training set were examined, after selecting core journals in the field of information science and organizing test collection from the articles of the past 11 years. Regarding feature selection, after reducing the feature set using $x^2$ statistics(CHI) and criteria that prefer high-frequency features(COS, GSS, JAC), the trained Support Vector Machines(SVM) performed the best. With respect to the size of the training set, it significantly influenced the performance of Support Vector Machines(SVM) and Voted Perceptron(VTP). However, it had little effect on Naive Bayes(NB).

Improvement of Accuracy of Decision Tree By Reprocessing (재처리를 통한 결정트리의 정확도 개선)

  • Lee, Gye-Sung
    • The KIPS Transactions:PartB
    • /
    • v.10B no.6
    • /
    • pp.593-598
    • /
    • 2003
  • Machine learning organizes knowledge for efficient and accurate reuse. This paper is concerned with methods of concept learning from examples, which glean knowledge from a training set of preclassified ‘objects’. Ideally, training facilitates classification of novel, previously unseen objects. However, every learning system relies on processing and representation assumptions that may be detrimental under certain circumstances. We explore the biases of a well-known learning system, ID3, review improvements, and introduce some improvements of our own, each designed to yield accurate and pedagogically sound classification.

Document Autoclustering for Web Agent (웹 에이전트를 위한 문서 자동 분류)

  • 양찬범;박영택
    • Proceedings of the Korean Information Science Society Conference
    • /
    • /
    • pp.54-56
    • /
    • 1999
  • 웹 에이전트는 사용자가 웹을 브라우징하는 행위를 모니터하여 사용자의 관심정보를 학습하고 사용자가 필요로 한느 웹 상의 정보를 제공하는 시스템이다. 웹 에이전트는 사용자의 관심정보를 추출하기 위해서 귀납적 기계학습을 수행한다. 이때, 학습의 효율을 높이기 위해서는 관련이 있는 문서들을 그룹화하여 학습 시스템에 제공하여야 한다. 본 논문에서는 비감독 개념 학습 알고리즘인 COBWEB을 이용하여 사용자가 관심을 표시한 문서들의 분류트리를 생성한다. 분류트리는 귀납적 기계학습 시스템의 입력으로 사용될 수 있는 형태가 아니므로 분류 트리의 분석과 문서 분류 후처리 작업을 통해서 문서 집합을 생성해야 한다. 이를 위해서는 분류트리를 분석하여 초기 클러스터를 생성하고, 유사한 클러스터들의 병합을 수행한다. 본 논문에서 제안하는 문서 자동 분류 방식은 비감독 개념 학습 알고리즘이 생성한 문서 분류 트리의 분석을 통해서 충분한 유사도와 적절한 수의 문서를 포함하는 초기 클러스터를 생성할 수 있다. 그러므로 문서 분류의 후처리 작업인 클러스터의 병합 작업에서 불필요한 작업을 제거함으로서 보다 효과적이고 합리적인 문서 분류 작업을 수행한다.

  • PDF

Deep Learning: 기계학습의 새로운 트랜드

  • Kim, In-Jung
    • Information and Communications Magazine
    • /
    • v.31 no.11
    • /
    • pp.52-57
    • /
    • 2014
  • Deep learning은 많은 수의 계층으로 이루어진 깊은 신경망을 학습하기 위한 연구 분야이다. 지난 수 년 동안 deep learning은 다양한 분야에 적용되어 기존 방법들을 능가하는 높은 성능을 보였으며, 그 결과 기계학습 및 패턴인식 분야에서 가장 중요한 기술적 트랜드가 되어가고 있다. 깊은 신경망의 장점과 그 동안 깊은 신경망의 학습이 어려웠던 이유를 설명하고 이러한 어려움을 극복한 새로운 알고리즘들을 소개한다. 마지막으로 deep learning의 성공적 응용 사례에 대해 소개한다.

A Proposal of Motion Recognition-based Video Search System using Machine Learning (기계학습을 이용한 동작인식 동영상 검색시스템 제안)

  • Seo, Won-Seoung;Lee, Kang-Hee
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • /
    • pp.463-464
    • /
    • 2019
  • 본 논문은 기계학습을 기반으로 아두이노와 시리얼통신을 통한 사용자의 동작인식을 이용해 보다 간단하게 인터넷상의 원하는 동영상을 찾을 수 있는 검색시스템을 제작하고자 하였다. 이 검색시스템은 Python을 기반으로 SVM(Support Vector Machine)을 이용한 패턴 분류를 사용하였으며 이를 통해 사용자의 동작을 입력받아 문자를 예측 할 수 있다. 사용자는 이 검색시스템을 사용하기 위하여 우선 문자에 대한 사용자의 동작입력을 통해 학습 데이터 셋을 만들어야 하며 그것을 SVM을 이용하여 학습 모델과 식별자를 만들고, 만들어진 분류기를 통하여 동작인식을 바탕으로 문자의 결과를 예측 할 수 있다. 최종적으로 사용자의 동작인식을 거쳐 만들어진 문자열을 이용해 인터넷 동영상 사이트인 Youtube를 통해 웹 크롤링하여 문자열과 관련 있는 동영상을 찾아준다.

  • PDF

A Comparison of Machine Learning Techniques for Evaluating the Quality of Blog Posts (블로그 포스트 자동 품질 평가를 위한 기계학습 기법 비교 연구)

  • Han, Bum-Jun;Kim, Min-Jeong;Lee, Hyoung-Gyu
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • /
    • pp.385-388
    • /
    • 2010
  • 블로그는 다양한 주제 분야에 대한 내용을 자유롭게 표현할 수 있는 일종의 개인 웹사이트로, 많은 양과 다양성으로 매우 중요한 정보원이 될 수 있다. 블로그는 생산속도가 매우 빠르므로 보다 고품질의 블로그를 선별하는 것이 중요하다. 본 논문에서는 블로그의 본문을 담고 있는 포스트를 대상으로 기계학습 기법을 이용하여 문서의 품질을 자동으로 평가하고자 하였다. 학습을 위한 자질로는 모든 블로그에 공통적으로 적용할 수 있도록 형태소 분석에서 추출한 동사, 부사, 형용사의 내용어만을 선택하였다. 성능 비교를 위해 수작업으로 약 4,600개의 정답 집합을 구축하고, 적합한 기계학습 기법을 찾기 위해 다양한 학습 기법을 사용하여 비교 실험하였다. 실험 결과 Bagging 기법의 성능이 79% F-measure로 가장 좋음을 보여주었다. 한정된 자질을 사용했을 때와 정답 집합의 문서 수 비율이 불균등할 경우 단순함, 유연성, 효율성의 특징을 지닌 Bagging 기법이 적합할 것으로 보인다.

  • PDF

A Combined Method of Rule Induction Learning and Instance-Based Learning (귀납법칙 학습과 개체위주 학습의 결합방법)

  • Lee, Chang-Hwan
    • The Transactions of the Korea Information Processing Society
    • /
    • v.4 no.9
    • /
    • pp.2299-2308
    • /
    • 1997
  • While most machine learning research has been primarily concerned with the development of systems that implement one type of learning strategy, we use a multistrategy approach which integrates rule induction learning and instance-based learning, and show how this marriage allows for overall better performance. In the rule induction learning phase, we derive an entropy function, based on Hellinger divergence, which can measure the amount of information each inductive rule contains, and show how well the Hellinger divergence measures the importance of each rule. We also propose some heuristics to reduce the computational complexity by analyzing the characteristics of the Hellinger measure. In the instance-based learning phase, we improve the current instance-based learning method in a number of ways. The system has been implemented and tested on a number of well-known machine learning data sets. The performance of the system has been compared with that of other classification learning technique.

  • PDF

A Study on Training Data Selection Method for EEG Emotion Analysis using Semi-supervised Learning Algorithm (준 지도학습 알고리즘을 이용한 뇌파 감정 분석을 위한 학습데이터 선택 방법에 관한 연구)

  • Yun, Jong-Seob;Kim, Jin Heon
    • Journal of IKEEE
    • /
    • v.22 no.3
    • /
    • pp.816-821
    • /
    • 2018
  • Recently, machine learning algorithms based on artificial neural networks started to be used widely as classifiers in the field of EEG research for emotion analysis and disease diagnosis. When a machine learning model is used to classify EEG data, if training data is composed of only data having similar characteristics, classification performance may be deteriorated when applied to data of another group. In this paper, we propose a method to construct training data set by selecting several groups of data using semi-supervised learning algorithm to improve these problems. We then compared the performance of the two models by training the model with a training data set consisting of data with similar characteristics to the training data set constructed using the proposed method.