• Title/Summary/Keyword: 선별적 데이터 학습

Search Result 78, Processing Time 0.029 seconds

Domain-agnostic Pre-trained Language Model for Tabular Data (도메인 변화에 강건한 사전학습 표 언어모형)

  • Cho, Sanghyun;Choi, Jae-Hoon;Kwon, Hyuk-Chul
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.346-349
    • /
    • 2021
  • 표 기계독해에서는 도메인에 따라 언어모형에 필요한 지식이나 표의 구조적인 형태가 변화하면서 텍스트 데이터에 비해서 더 큰 성능 하락을 보인다. 본 논문에서는 표 기계독해에서 이러한 도메인의 변화에 강건한 사전학습 표 언어모형 구축을 위한 의미있는 표 데이터 선별을 통한 사전학습 데이터 구축 방법과 적대적인 학습 방법을 제안한다. 추출한 표 데이터에서 구조적인 정보가 없이 웹 문서의 장식을 위해 사용되는 표 데이터 검출을 위해 Heuristic을 통한 규칙을 정의하여 HEAD 데이터를 식별하고 표 데이터를 선별하는 방법을 적용했으며, 구조적인 정보를 가지는 일반적인 표 데이터와 엔티티에 대한 지식 정보를 가지는 인포박스 데이터간의 적대적 학습 방법을 적용했다. 기존의 정제되지 않는 데이터로 학습했을 때와 비교하여 데이터를 정제하였을 때, KorQuAD 표 데이터에서 f1 3.45, EM 4.14가 증가하였으며, Spec 표 질의응답 데이터에서 정제하지 않았을 때와 비교하여 f1 19.38, EM 4.22가 증가한 성능을 보였다.

  • PDF

A Method of Supervised Learning for Optimized Household Waste Detection based on Vision AI (비전 인공지능 기반 생활폐기물 선별에서 성능최적화를 위한 감독학습 기법)

  • Park, Sang-Hee;Lee, Bbun-Byul;Jung, Joong-Eun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.11a
    • /
    • pp.637-639
    • /
    • 2021
  • 인공지능 기반의 생활폐기물의 인식 및 선별에서, 선별 정확도의 저하는 인식 대상의 형태적 다양성과 학습데이터 부족 및 불균등성에 기인한다. 본 연구에서는 비전 인공지능 기반의 효과적인 폐기물 선별을 위한 인식 시스템 및 감독학습 기반의 인공지능 학습 기법을 제안한다. 생활폐기물 중 순환자원적 가치가 높은 CAN, PET, 그리고 이와 형상적으로 유사한 폐기물에 대해 본 연구에서 제안된 시스템에서 물체원형 및 훼손된 형태의 총 18 종 이미지 데이터를 대상으로, 감독학습기반의 인공지능 모델 제작에서 최적의 데이터 레이블링을 위한 분류체계를 제시한다.

Test Dataset for validating the meaning of Table Machine Reading Language Model (표 기계독해 언어 모형의 의미 검증을 위한 테스트 데이터셋)

  • YU, Jae-Min;Cho, Sanghyun;Kwon, Hyuk-Chul
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2022.10a
    • /
    • pp.164-167
    • /
    • 2022
  • In table Machine comprehension, the knowledge required for language models or the structural form of tables changes depending on the domain, showing a greater performance degradation compared to text data. In this paper, we propose a pre-learning data construction method and an adversarial learning method through meaningful tabular data selection for constructing a pre-learning table language model robust to these domain changes in table machine reading. In order to detect tabular data sed for decoration of web documents without structural information from the extracted table data, a rule through heuristic was defined to identify head data and select table data was applied. An adversarial learning method between tabular data and infobax data with knowledge information about entities was applied. When the data was refined compared to when it was trained with the existing unrefined data, F1 3.45 and EM 4.14 increased in the KorQuAD table data, and F1 19.38, EM 4.22 compared to when the data was not refined in the Spec table QA data showed increased performance.

  • PDF

Valid Data Conditions and Discrimination for Machine Learning: Case study on Dataset in the Public Data Portal (기계학습에 유효한 데이터 요건 및 선별: 공공데이터포털 제공 데이터 사례를 통해)

  • Oh, Hyo-Jung;Yun, Bo-Hyun
    • Journal of Internet of Things and Convergence
    • /
    • v.8 no.1
    • /
    • pp.37-43
    • /
    • 2022
  • The fundamental basis of AI technology is learningable data. Recently, the types and amounts of data collected and produced by the government or private companies are increasing exponentially, however, verified data that can be used for actual machine learning has not yet led to it. This study discusses the conditions that data actually can be used for machine learning should meet, and identifies factors that degrade data quality through case studies. To this end, two representative cases of developing a prediction model using public big data was selected, and data for actual problem solving was collected from the public data portal. Through this, there is a difference from the results of applying valid data screening criteria and post-processing. The ultimate purpose of this study is to argue the importance of data quality management that must be most fundamentally preceded before the development of machine learning technology, which is the core of artificial intelligence, and accumulating valid data.

Making an Application Profile for Multimedia Instructional Resources (멀티미디어 학습물 탐색을 위한 애플리케이션 프로화일 작성에 관한 연구)

  • 김태문
    • Proceedings of the Korean Society for Information Management Conference
    • /
    • 2002.08a
    • /
    • pp.185-190
    • /
    • 2002
  • 웹상의 교육용 학습물에 대한 탐색과 기술을 위한 다수의 표준적 메타데이터들이 개발되어왔다. 그러나 이러한 메타데이터들은 학습물이 지닌 고유한 자료적 특성 및 멀티미디어와 관련한 기술에 있어서 여러 가지 문제들을 지녀왔다. 애플리케이션 프로화일은 기존의 표준적 메타데이터 시스템들이 지닌 경직성에서 벗어나 다양한 응용환경을 지원하기 위한 방편으로 점차 그 이용이 확대되어 가고 있다. 이 연구에서는 교육용 학습물의 기술을 위한 애플리케이션 프로화일 작성을 위하여 웹상에서 이용 가능한 멀티미디어 형식의 학습물에 대한 기술과 탐색에 필수적인 엘리먼트들을 선별하고 이에 상응하는 XML스키마작성를 모색하였다.

  • PDF

A Broken Image Screening Method based on Histogram Analysis to Improve GAN Algorithm (GAN 알고리즘 개선을 위한 히스토그램 분석 기반 파손 영상 선별 방법)

  • Cho, Jin-Hwan;Jang, Jongwook;Jang, Si-Woong
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.26 no.4
    • /
    • pp.591-597
    • /
    • 2022
  • Recently, many studies have been done on the data augmentation technique as a way to efficiently build datasets. Among them, a representative data augmentation technique is a method of utilizing Generative Adversarial Network (GAN), which generates data similar to real data by competitively learning generators and discriminators. However, when learning GAN, there are cases where a broken pixel image occurs among similar data generated according to the environment and progress, which cannot be used as a dataset and causes an increase in learning time. In this paper, an algorithm was developed to select these damaged images by analyzing the histogram of image data generated during the GAN learning process, and as a result of comparing them with the images generated in the existing GAN, the ratio of the damaged images was reduced by 33.3 times(3,330%).

A Short-Term Vehicle Speed Prediction using Bayesian Network Based Selective Data Learning (선별적 데이터 학습 기반의 베이지안 네트워크를 이용한 단기차량속도 예측)

  • Park, Seong-ho;Yu, Young-jung;Moon, Sang-ho;Kim, Young-ho
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.19 no.12
    • /
    • pp.2779-2784
    • /
    • 2015
  • The prediction of the accurate traffic information can provide an optimal route from the place of departure to a destination, therefore, this makes it possible to obtain a saving of time and money. To predict traffic information, we use a Bayesian network method based on probability model in this paper. Existing researches predicting the traffic information based on a Bayesian network generally used to study the data for all time. In this paper, however, only data corresponding to same time and day of the week to predict selectively will be used for learning. In fact, the experiment was carried out for 14 links zone in Seoul, also, the accuracy of the prediction results of the two different methods should be tested with MAPE (Mean Absolute Percentage Error) which is commonly used. In view of MAPE, experimental results show that the proposed method may calculate traffic prediction value with a higher accuracy than the method used to learn the data for all time zones.

High-quality data collection for machine learning using block chain (블록체인을 활용한 양질의 기계학습용 데이터 수집 방안 연구)

  • Kim, Youngrang;Woo, Junghoon;Lee, Jaehwan;Shin, Ji Sun
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.23 no.1
    • /
    • pp.13-19
    • /
    • 2019
  • The accuracy of machine learning is greatly affected by amount of learning data and quality of data. Collecting existing Web-based learning data has danger that data unrelated to actual learning can be collected, and it is impossible to secure data transparency. In this paper, we propose a method for collecting data directly in parallel by blocks in a block - chain structure, and comparing the data collected by each block with data in other blocks to select only good data. In the proposed system, each block shares data with each other through a chain of blocks, utilizes the All-reduce structure of Parallel-SGD to select only good quality data through comparison with other block data to construct a learning data set. Also, in order to verify the performance of the proposed architecture, we verify that the original image is only good data among the modulated images using the existing benchmark data set.

Intelligent Digital Signage Platform Design Using Edge Computing Based Cluster Recommendation Algorithm (엣지컴퓨팅기반 군집추천 알고리즘을 이용한 지능형 디지털 사이니지 플랫폼 설계)

  • Lee, Ki-hoon;Moon, Nammee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.10a
    • /
    • pp.1166-1168
    • /
    • 2019
  • 본 논문은 엣지컴퓨팅 환경에서 딥러닝기반 추천모델을 이용한 지능형 디지털 사이니지 플랫폼을 제안한다. 제안하는 플랫폼은 서버와 엣지로 구성되어 있다. 서버는 데이터를 관리하고, 광고추천 모델을 학습시키며, 엣지는 학습된 광고추천 모델을 이용하여 실시간으로 광고될 상품을 결정한다. 광고추천 모델은 상품을 선별하는 단계와 구매확률을 예측하는 단계로 구성되어 있다. 선별단계에서는 DNN에 벡터화된 사용자 기본정보와 상품 메타데이터를 입력하여 구매할 만한 상품을 도출한다. 최종적으로 군집의 예측된 구매확률을 이용하여 가장 적합한 광고를 선정한다. 제안하는 시스템은 서버와 통신하지 않고 엣지에서 학습된 모델로 광고를 결정한다. 이를 다수의 사용자에게 즉각적인 반응을 필요로 하는 디지털 사이니지에 적용했다.

Active Learning of Mobile Robot Path Planning Using Evolutionary Algorithms (진화 알고리즘을 이용한 이동로봇 경로 계획의 능동적 학습)

  • 김성훈;장병탁
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • 1997.11a
    • /
    • pp.263-266
    • /
    • 1997
  • 로봇 축구 경기를 위해서는 경기장의 임의의 시작점에서 목표점으로 장애물을 피해 갈 수 있는 능력이 필요하다. 이러한 경로 계획을 학습하기 위해서 다양한 상황을 모두 고려할 경우 학습량이 급격히 증가한다. 그러나 많은 실제적인 학습 문제에 있어서는 가능한 모든 학습 데이터를 사용하지 않고도 원하는 학습 효과를 가져올 수 있음이 알려져 있으며, 이러한 경우 데이터를 스스로 선별하여 학습하는 능동적 학습 방법이 효과적이다. 본 논문에서는 진화 알고리즘을 사용하여 실시간에 경로 계획을 하기 위한 새로운 능동적 학습 방법을 제시한다. 제안되는 방법은 두 개의 진화 알고리즘으로 구성되는데 하나는 주어진 시작점-목표점간의 최적 경로를 찾는데 사용되고 또 다른 하나의 진화 알고리즘은 유용한 시작점-목표점들의 쌍을 탐색하는데 사용된다. 이 방법은 계산 시간의 여유가 있을 때 다양한 문제를 스스로 제시하고 해결하는 법을 학습해 놓고 후에 실제 문제가 주어질 때 기존의 문제와 가장 유사한 문제를 찾아 실시간에 해결함으로써 기존의 진화 알고리즘에 의한 경로 계획법들이 갖는 실시간성에서의 단점을 개선할 수 있다. 실험을 통하\ulcorner 제안된 두 가지 진화 알고리즘의 성능을 실험적으로 검토한다.

  • PDF