• 제목/요약/키워드: Learning data set

검색결과 1,101건 처리시간 0.025초

기계학습 활용을 위한 학습 데이터세트 구축 표준화 방안에 관한 연구 (A study on the standardization strategy for building of learning data set for machine learning applications)

  • 최정열
    • 디지털융복합연구
    • /
    • 제16권10호
    • /
    • pp.205-212
    • /
    • 2018
  • 고성능 CPU/GPU의 개발과 심층신경망 등의 인공지능 알고리즘, 그리고 다량의 데이터 확보를 통해 기계학습이 다양한 응용 분야로 확대 적용되고 있다. 특히, 사물인터넷, 사회관계망서비스, 웹페이지, 공공데이터로부터 수집된 다량의 데이터들이 기계학습의 활용에 가속화를 가하고 있다. 기계학습을 위한 학습 데이터세트는 응용 분야와 데이터 종류에 따라 다양한 형식으로 존재하고 있어 효과적으로 데이터를 처리하고 기계학습에 적용하기에 어려움이 따른다. 이에 본 논문은 표준화된 절차에 따라 기계학습을 위한 학습 데이터세트를 구축하기 위한 방안을 연구하였다. 먼저 학습 데이터세트가 갖추어야할 요구사항을 문제 유형과 데이터 유형별로 분석하였다. 이를 토대로 기계학습 활용을 위한 학습 데이터세트 구축에 관한 참조모델을 제안하였다. 또한 학습 데이터세트 구축 참조모델을 국제 표준으로 개발하기 위해 대상 표준화 기구의 선정 및 표준화 전략을 제시하였다.

데이터 증강을 통한 기계학습 능력 개선 방법 연구 (Study on the Improvement of Machine Learning Ability through Data Augmentation)

  • 김태우;신광성
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 춘계학술대회
    • /
    • pp.346-347
    • /
    • 2021
  • 기계학습을 위한 패턴인식을 위해서는 학습데이터의 양이 많을수록 그 성능이 향상된다. 하지만 일상에서 검출해내야하는 패턴의 종류 및 정보가 항상 많은 양의 학습데이터를 확보할 수는 없다. 따라서 일반적인 기계학습을 위해 적은데이터셋을 의미있게 부풀릴 필요가 있다. 본 연구에서는 기계학습을 수행할 수 있도록 데이터를 증강시키는 기법에 관해 연구한다. 적은데이터셋을 이용하여 기계학습을 수행하는 대표적인 방법이 전이학습(transfer learning) 기법이다. 전이학습은 범용데이터셋으로 기본적인 학습을 수행한 후 목표데이터셋을 최종 단계에 대입함으로써 결과를 얻어내는 방법이다. 본 연구에서는 ImageNet과 같은 범용데이터셋으로 학습시킨 학습모델을 증강된 데이터를 이용하여 특징추출셋으로 사용하여 원하는 패턴에 대한 검출을 수행한다.

  • PDF

애완동물 분류를 위한 딥러닝 (Deep Learning for Pet Image Classification)

  • 신광성;신성윤
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2019년도 춘계학술대회
    • /
    • pp.151-152
    • /
    • 2019
  • 본 논문에서는 동물 이미지 분류를위한 작은 데이터 세트를 기반으로 개선 된 심층 학습 방법을 제안한다. 첫째, CNN은 소규모 데이터 세트에 대한 교육 모델을 작성하고 데이터 세트를 사용하여 교육 세트의 데이터 세트를 확장하는 데 사용된다. 둘째, VGG16과 같은 대규모 데이터 세트에 사전 훈련 된 네트워크를 사용하여 작은 데이터 세트의 병목을 추출하여 새로운 교육 데이터 세트 및 테스트 데이터 세트로 두 개의 NumPy 파일에 저장하고, 마지막으로 완전히 연결된 네트워크를 새로운 데이터 세트로 학습한다.

  • PDF

준지도 학습 기반 객체 탐지 모델에서 데이터셋 변화에 따른 성능 변화 (Performance Change accroding to Data Set Size Change in Semi-Supervised Learning based Object Detection)

  • 유승수;황원준
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2022년도 추계학술대회
    • /
    • pp.88-90
    • /
    • 2022
  • Semi Supervised Learning 은 일부의 data 에는 labeling 을 하고 나머지 data 에는 labeling 을 안한채로 학습을 진행하는 방법이다. Object Detection 은 이미지에서 여러개의 객체들의 대한 위치를 여러개의 바운딩 박스로 지정해서 찾는 Computer Vision task 이다. 당연하게도, model training 단계에서 사용되는 data set 의 크기가 크고 객체가 많을 수록 일반적으로 model 의 성능이 좋아 질 것이다. 하지만 실험 환경에 따라 data set 을 잘 확보하지 못하던가, 실험 장치가 데이터 셋을 감당하지 못하는 등의 문제가 발생 할 수 있다. 그렇기에 본 논문에서는 semi supervised learning based object detection model 을 알아보고 data set 의 크기를 조절해가며 modle 을 training 시킨 뒤 data set 의 크기에 따라 성능이 어떻게 변화하는 지를 알아 볼 것이다.

  • PDF

INCREMENTAL INDUCTIVE LEARNING ALGORITHM IN THE FRAMEWORK OF ROUGH SET THEORY AND ITS APPLICATION

  • Bang, Won-Chul;Bien, Zeung-Nam
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 1998년도 The Third Asian Fuzzy Systems Symposium
    • /
    • pp.308-313
    • /
    • 1998
  • In this paper we will discuss a type of inductive learning called learning from examples, whose task is to induce general description of concepts from specific instances of these concepts. In many real life situations, however, new instances can be added to the set of instances. It is first proposed within the framework of rough set theory, for such cases, an algorithm to find minimal set of rules for decision tables without recalculation for overcall set of instances. The method of learning presented here is base don a rough set concept proposed by Pawlak[2][11]. It is shown an algorithm to find minimal set of rules using reduct change theorems giving criteria for minimum recalculation with an illustrative example. Finally, the proposed learning algorithm is applied to fuzzy system to learn sampled I/O data.

  • PDF

Blended-Transfer Learning for Compressed-Sensing Cardiac CINE MRI

  • Park, Seong Jae;Ahn, Chang-Beom
    • Investigative Magnetic Resonance Imaging
    • /
    • 제25권1호
    • /
    • pp.10-22
    • /
    • 2021
  • Purpose: To overcome the difficulty in building a large data set with a high-quality in medical imaging, a concept of 'blended-transfer learning' (BTL) using a combination of both source data and target data is proposed for the target task. Materials and Methods: Source and target tasks were defined as training of the source and target networks to reconstruct cardiac CINE images from undersampled data, respectively. In transfer learning (TL), the entire neural network (NN) or some parts of the NN after conducting a source task using an open data set was adopted in the target network as the initial network to improve the learning speed and the performance of the target task. Using BTL, an NN effectively learned the target data while preserving knowledge from the source data to the maximum extent possible. The ratio of the source data to the target data was reduced stepwise from 1 in the initial stage to 0 in the final stage. Results: NN that performed BTL showed an improved performance compared to those that performed TL or standalone learning (SL). Generalization of NN was also better achieved. The learning curve was evaluated using normalized mean square error (NMSE) of reconstructed images for both target data and source data. BTL reduced the learning time by 1.25 to 100 times and provided better image quality. Its NMSE was 3% to 8% lower than with SL. Conclusion: The NN that performed the proposed BTL showed the best performance in terms of learning speed and learning curve. It also showed the highest reconstructed-image quality with the lowest NMSE for the test data set. Thus, BTL is an effective way of learning for NNs in the medical-imaging domain where both quality and quantity of data are always limited.

Leveraging Big Data for Spark Deep Learning to Predict Rating

  • Mishra, Monika;Kang, Mingoo;Woo, Jongwook
    • 인터넷정보학회논문지
    • /
    • 제21권6호
    • /
    • pp.33-39
    • /
    • 2020
  • The paper is to build recommendation systems leveraging Deep Learning and Big Data platform, Spark to predict item ratings of the Amazon e-commerce site. Recommendation system in e-commerce has become extremely popular in recent years and it is very important for both customers and sellers in daily life. It means providing the users with products and services they are interested in. Therecommendation systems need users' previous shopping activities and digital footprints to make best recommendation purpose for next item shopping. We developed the recommendation models in Amazon AWS Cloud services to predict the users' ratings for the items with the massive data set of Amazon customer reviews. We also present Big Data architecture to afford the large scale data set for storing and computation. And, we adopted deep learning for machine learning community as it is known that it has higher accuracy for the massive data set. In the end, a comparative conclusion in terms of the accuracy as well as the performance is illustrated with the Deep Learning architecture with Spark ML and the traditional Big Data architecture, Spark ML alone.

Finding Unexpected Test Accuracy by Cross Validation in Machine Learning

  • Yoon, Hoijin
    • International Journal of Computer Science & Network Security
    • /
    • 제21권12spc호
    • /
    • pp.549-555
    • /
    • 2021
  • Machine Learning(ML) splits data into 3 parts, which are usually 60% for training, 20% for validation, and 20% for testing. It just splits quantitatively instead of selecting each set of data by a criterion, which is very important concept for the adequacy of test data. ML measures a model's accuracy by applying a set of validation data, and revises the model until the validation accuracy reaches on a certain level. After the validation process, the complete model is tested with the set of test data, which are not seen by the model yet. If the set of test data covers the model's attributes well, the test accuracy will be close to the validation accuracy of the model. To make sure that ML's set of test data works adequately, we design an experiment and see if the test accuracy of model is always close to its validation adequacy as expected. The experiment builds 100 different SVM models for each of six data sets published in UCI ML repository. From the test accuracy and its validation accuracy of 600 cases, we find some unexpected cases, where the test accuracy is very different from its validation accuracy. Consequently, it is not always true that ML's set of test data is adequate to assure a model's quality.

A Model of Strawberry Pest Recognition using Artificial Intelligence Learning

  • Guangzhi Zhao
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제15권2호
    • /
    • pp.133-143
    • /
    • 2023
  • In this study, we propose a big data set of strawberry pests collected directly for diagnosis model learning and an automatic pest diagnosis model architecture based on deep learning. First, a big data set related to strawberry pests, which did not exist anywhere before, was directly collected from the web. A total of more than 12,000 image data was directly collected and classified, and this data was used to train a deep learning model. Second, the deep-learning-based automatic pest diagnosis module is a module that classifies what kind of pest or disease corresponds to when a user inputs a desired picture. In particular, we propose a model architecture that can optimally classify pests based on a convolutional neural network among deep learning models. Through this, farmers can easily identify diseases and pests without professional knowledge, and can respond quickly accordingly.

준 지도학습 알고리즘을 이용한 뇌파 감정 분석을 위한 학습데이터 선택 방법에 관한 연구 (A Study on Training Data Selection Method for EEG Emotion Analysis using Semi-supervised Learning Algorithm)

  • 윤종섭;김진헌
    • 전기전자학회논문지
    • /
    • 제22권3호
    • /
    • pp.816-821
    • /
    • 2018
  • 최근 감정 분석 및 질병 진단을 위한 뇌파 연구 분야에서 인공 신경망을 기반으로 한 기계학습 알고리즘이 분류기로 널리 사용되기 시작했다. 뇌파 데이터 분류를 위해 기계학습 모델을 사용하는 경우 유사한 특성을 가지는 데이터만으로 학습데이터가 구성되면 다른 그룹의 데이터에 적용했을 때 분류 성능이 떨어질 수 있다. 본 논문에서는 이러한 문제점을 개선하기 위해 준 지도학습 알고리즘을 사용해 여러 그룹의 데이터를 선택하여 학습데이터 세트를 구성하는 방법을 제안한다. 이후 제안하는 방법을 사용하여 구성한 학습데이터 세트와 유사한 특성을 가지는 데이터로 구성된 학습데이터 세트로 모델을 학습하여 두 모델의 성능을 비교하였다.