• 제목/요약/키워드: 선별적 데이터 학습

검색결과 79건 처리시간 0.028초

도메인 변화에 강건한 사전학습 표 언어모형 (Domain-agnostic Pre-trained Language Model for Tabular Data)

  • 조상현;최제훈;권혁철
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.346-349
    • /
    • 2021
  • 표 기계독해에서는 도메인에 따라 언어모형에 필요한 지식이나 표의 구조적인 형태가 변화하면서 텍스트 데이터에 비해서 더 큰 성능 하락을 보인다. 본 논문에서는 표 기계독해에서 이러한 도메인의 변화에 강건한 사전학습 표 언어모형 구축을 위한 의미있는 표 데이터 선별을 통한 사전학습 데이터 구축 방법과 적대적인 학습 방법을 제안한다. 추출한 표 데이터에서 구조적인 정보가 없이 웹 문서의 장식을 위해 사용되는 표 데이터 검출을 위해 Heuristic을 통한 규칙을 정의하여 HEAD 데이터를 식별하고 표 데이터를 선별하는 방법을 적용했으며, 구조적인 정보를 가지는 일반적인 표 데이터와 엔티티에 대한 지식 정보를 가지는 인포박스 데이터간의 적대적 학습 방법을 적용했다. 기존의 정제되지 않는 데이터로 학습했을 때와 비교하여 데이터를 정제하였을 때, KorQuAD 표 데이터에서 f1 3.45, EM 4.14가 증가하였으며, Spec 표 질의응답 데이터에서 정제하지 않았을 때와 비교하여 f1 19.38, EM 4.22가 증가한 성능을 보였다.

  • PDF

비전 인공지능 기반 생활폐기물 선별에서 성능최적화를 위한 감독학습 기법 (A Method of Supervised Learning for Optimized Household Waste Detection based on Vision AI)

  • 박상희;이쁜별;정중은
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.637-639
    • /
    • 2021
  • 인공지능 기반의 생활폐기물의 인식 및 선별에서, 선별 정확도의 저하는 인식 대상의 형태적 다양성과 학습데이터 부족 및 불균등성에 기인한다. 본 연구에서는 비전 인공지능 기반의 효과적인 폐기물 선별을 위한 인식 시스템 및 감독학습 기반의 인공지능 학습 기법을 제안한다. 생활폐기물 중 순환자원적 가치가 높은 CAN, PET, 그리고 이와 형상적으로 유사한 폐기물에 대해 본 연구에서 제안된 시스템에서 물체원형 및 훼손된 형태의 총 18 종 이미지 데이터를 대상으로, 감독학습기반의 인공지능 모델 제작에서 최적의 데이터 레이블링을 위한 분류체계를 제시한다.

표 기계독해 언어 모형의 의미 검증을 위한 테스트 데이터셋 (Test Dataset for validating the meaning of Table Machine Reading Language Model)

  • 유재민;조상현;권혁철
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 추계학술대회
    • /
    • pp.164-167
    • /
    • 2022
  • 표 기계독해에서는 도메인에 따라 언어모형에 필요한 지식이나 표의 구조적인 형태가 변화하면서 텍스트 데이터에 비해서 더 큰 성능 하락을 보인다. 본 논문에서는 표 기계독해에서 이러한 도메인의 변화에 강건한 사전학습 표 언어 모형 구축을 위한 의미있는 표 데이터 선별을 통한 사전학습 데이터 구축 방법과 적대적인 학습 방법을 제안한다. 추출한 표 데이터에서 구조적인 정보가 없이 웹 문서의 장식을 위해 사용되는 표 데이터 검출을 위해 Heuristic을 통한 규칙을 정의하여 HEAD 데이터를 식별하고 표 데이터를 선별하는 방법을 적용했으며, 구조적인 정보를 가지는 일반적인 표 데이터와 엔티티에 대한 지식 정보를 가지는 인포박스 데이터간의 적대적 학습 방법을 적용했다. 기존의 정제되지 않는 데이터로 학습했을 때와 비교하여 데이터를 정제하였을 때, KorQuAD 표 데이터에서 F1 3.45, EM 4.14가 증가하였으며, Spec 표 질의응답 데이터에서 정제하지 않았을 때와 비교하여 F1 19.38, EM 4.22가 증가한 성능을 보였다.

  • PDF

기계학습에 유효한 데이터 요건 및 선별: 공공데이터포털 제공 데이터 사례를 통해 (Valid Data Conditions and Discrimination for Machine Learning: Case study on Dataset in the Public Data Portal)

  • 오효정;윤보현
    • 사물인터넷융복합논문지
    • /
    • 제8권1호
    • /
    • pp.37-43
    • /
    • 2022
  • 인공지능 기술의 가장 큰 근간은 학습 가능한 데이터이다. 최근 정부나 사기업에서 수집·생산하는 데이터의 종류와 양이 기하급수적으로 증가하고 있지만, 실제 기계학습에 활용 가능한 데이터의 확보로는 아직까지 이어지지 않고 있다. 이에 본 연구에서는 기계학습에 실제 활용 가능한 데이터가 갖추어야 할 조건에 대해 논의하고, 실제 사례연구를 통해 데이터 품질을 저하시키는 요인을 파악한다. 이를 위해 공공빅데이터를 활용해 예측 모델을 개발한 대표사례를 선정, 공공데이터포털로부터 실제 문제 해결을 위한 데이터를 수집 후 데이터 품질을 확인하였다. 이를 통해 유효한 데이터 선별 기준을 적용하고 후처리한 결과와의 차이를 보인다. 본 연구의 궁극적인 목적은 인공지능의 핵심인 기계학습 기술 개발에 앞서 가장 근본적으로 선결되어야 할 데이터 품질을 관리하고 유효한 데이터를 축적하기 위한 기반 마련에 있다.

멀티미디어 학습물 탐색을 위한 애플리케이션 프로화일 작성에 관한 연구 (Making an Application Profile for Multimedia Instructional Resources)

  • 김태문
    • 한국정보관리학회:학술대회논문집
    • /
    • 한국정보관리학회 2002년도 제9회학술대회 논문집
    • /
    • pp.185-190
    • /
    • 2002
  • 웹상의 교육용 학습물에 대한 탐색과 기술을 위한 다수의 표준적 메타데이터들이 개발되어왔다. 그러나 이러한 메타데이터들은 학습물이 지닌 고유한 자료적 특성 및 멀티미디어와 관련한 기술에 있어서 여러 가지 문제들을 지녀왔다. 애플리케이션 프로화일은 기존의 표준적 메타데이터 시스템들이 지닌 경직성에서 벗어나 다양한 응용환경을 지원하기 위한 방편으로 점차 그 이용이 확대되어 가고 있다. 이 연구에서는 교육용 학습물의 기술을 위한 애플리케이션 프로화일 작성을 위하여 웹상에서 이용 가능한 멀티미디어 형식의 학습물에 대한 기술과 탐색에 필수적인 엘리먼트들을 선별하고 이에 상응하는 XML스키마작성를 모색하였다.

  • PDF

GAN 알고리즘 개선을 위한 히스토그램 분석 기반 파손 영상 선별 방법 (A Broken Image Screening Method based on Histogram Analysis to Improve GAN Algorithm)

  • 조진환;장종욱;장시웅
    • 한국정보통신학회논문지
    • /
    • 제26권4호
    • /
    • pp.591-597
    • /
    • 2022
  • 최근 데이터셋을 효율적으로 구축하는 방법으로 데이터 증강 기법과 관련하여 많은 연구가 이루어지고 있다. 이 중 대표적인 데이터 증강 기법은 생성적 적대 신경망(Generative Adversarial Network:GAN)을 활용하는 방법이며, 이는 생성자와 판별자를 서로 경쟁 학습시킴으로써 진짜 데이터와 유사한 데이터를 생성해내는 기법이다. 그러나, GAN을 학습할 때 환경 및 진행 정도에 따라 생성되는 유사 데이터 중에서 픽셀이 깨지는 파손 영상이 발생하는 경우가 있으며, 이러한 영상은 데이터셋으로 활용할 수 없고 학습 시간을 증가시키는 원인이 된다. 본 논문에서는 GAN 학습 과정에서 생성되는 영상 데이터의 히스토그램을 분석하여 이러한 파손 영상을 선별해내는 알고리즘을 개발하였으며, 기존 GAN에서 생성되는 영상과 비교해 본 결과 파손 영상의 비율을 33.3배(3,330%) 감소시켰다.

선별적 데이터 학습 기반의 베이지안 네트워크를 이용한 단기차량속도 예측 (A Short-Term Vehicle Speed Prediction using Bayesian Network Based Selective Data Learning)

  • 박성호;유영중;문상호;김영호
    • 한국정보통신학회논문지
    • /
    • 제19권12호
    • /
    • pp.2779-2784
    • /
    • 2015
  • 정확한 교통정보의 예측은 출발지로부터 목적지까지의 최적경로를 제공할 수 있으며, 이로 인해 시간과 비용의 절감 효과를 얻을 수 있다. 본 논문에서는 다양한 교통정보 예측 방법 중 확률 모델을 기반으로 교통정보를 예측하는 베이지안 네트워크 방법을 이용한다. 기존 연구에서는 베이지안 네트워크 예측 방법이 모든 시간대에서의 데이터를 학습에 사용하는 것과는 달리, 본 논문에서는 예측하고자 하는 시간대와 동일한 요일과 시간에 해당하는 데이터만을 선별적으로 학습에 사용한다. 서로 다른 두 가지 학습방법에 따른 예측 결과의 정확도는 일반적으로 많이 사용되는 MAPE(Mean Absolute Percentage Error)로 검증하였으며, 서울 시내 14개의 링크 구간에 대해 실험을 진행하였다. 실험결과는 본 논문에서 제안한 방법이 모든 시간대의 데이터를 학습에 사용한 방법에 비해 MAPE의 관점에서 더 높은 정확도를 가진 교통 예측 값을 계산할 수 있음을 보여준다.

블록체인을 활용한 양질의 기계학습용 데이터 수집 방안 연구 (High-quality data collection for machine learning using block chain)

  • 김영랑;우정훈;이재환;신지선
    • 한국정보통신학회논문지
    • /
    • 제23권1호
    • /
    • pp.13-19
    • /
    • 2019
  • 기계학습의 정확도는 학습용 데이터의 양과 데이터의 품질에 많은 영향을 받는다. 기존의 웹을 기반으로 학습용 데이터를 수집하는 것은 실제 학습과 무관한 데이터가 수집 될 수 있는 위험성이 있으며 데이터의 투명성을 보장할 수가 없다. 본 논문에서는 블록체인구조에서 블록들이 직접 병렬적으로 데이터를 수집하게 하고 각 블록들이 수집한 데이터를 타 블록의 데이터와 비교하여 양질의 데이터만을 선별하는 방안을 제안한다. 제안하는 시스템은 각 블록들은 데이터를 서로 블록체인을 통해 공유하며 All-reduce 구조의 Parallel-SGD를 활용하여 다른 블록들의 데이터와 비교를 통해 양질의 데이터만을 선별하여 학습용 데이터셋을 구성할 수가 있다. 또한 본 논문에서는 제안한 구조의 성능을 확인하기 위해 실험을 통해 기존의 벤치마크용 데이터셋의 이미지를 활용하여 변조된 이미지 사이에서 원본 이미지만을 양질의 데이터로 판별함을 확인하였다.

엣지컴퓨팅기반 군집추천 알고리즘을 이용한 지능형 디지털 사이니지 플랫폼 설계 (Intelligent Digital Signage Platform Design Using Edge Computing Based Cluster Recommendation Algorithm)

  • 이기훈;문남미
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 추계학술발표대회
    • /
    • pp.1166-1168
    • /
    • 2019
  • 본 논문은 엣지컴퓨팅 환경에서 딥러닝기반 추천모델을 이용한 지능형 디지털 사이니지 플랫폼을 제안한다. 제안하는 플랫폼은 서버와 엣지로 구성되어 있다. 서버는 데이터를 관리하고, 광고추천 모델을 학습시키며, 엣지는 학습된 광고추천 모델을 이용하여 실시간으로 광고될 상품을 결정한다. 광고추천 모델은 상품을 선별하는 단계와 구매확률을 예측하는 단계로 구성되어 있다. 선별단계에서는 DNN에 벡터화된 사용자 기본정보와 상품 메타데이터를 입력하여 구매할 만한 상품을 도출한다. 최종적으로 군집의 예측된 구매확률을 이용하여 가장 적합한 광고를 선정한다. 제안하는 시스템은 서버와 통신하지 않고 엣지에서 학습된 모델로 광고를 결정한다. 이를 다수의 사용자에게 즉각적인 반응을 필요로 하는 디지털 사이니지에 적용했다.

진화 알고리즘을 이용한 이동로봇 경로 계획의 능동적 학습 (Active Learning of Mobile Robot Path Planning Using Evolutionary Algorithms)

  • 김성훈;장병탁
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 1997년도 춘계학술대회 학술발표 논문집
    • /
    • pp.263-266
    • /
    • 1997
  • 로봇 축구 경기를 위해서는 경기장의 임의의 시작점에서 목표점으로 장애물을 피해 갈 수 있는 능력이 필요하다. 이러한 경로 계획을 학습하기 위해서 다양한 상황을 모두 고려할 경우 학습량이 급격히 증가한다. 그러나 많은 실제적인 학습 문제에 있어서는 가능한 모든 학습 데이터를 사용하지 않고도 원하는 학습 효과를 가져올 수 있음이 알려져 있으며, 이러한 경우 데이터를 스스로 선별하여 학습하는 능동적 학습 방법이 효과적이다. 본 논문에서는 진화 알고리즘을 사용하여 실시간에 경로 계획을 하기 위한 새로운 능동적 학습 방법을 제시한다. 제안되는 방법은 두 개의 진화 알고리즘으로 구성되는데 하나는 주어진 시작점-목표점간의 최적 경로를 찾는데 사용되고 또 다른 하나의 진화 알고리즘은 유용한 시작점-목표점들의 쌍을 탐색하는데 사용된다. 이 방법은 계산 시간의 여유가 있을 때 다양한 문제를 스스로 제시하고 해결하는 법을 학습해 놓고 후에 실제 문제가 주어질 때 기존의 문제와 가장 유사한 문제를 찾아 실시간에 해결함으로써 기존의 진화 알고리즘에 의한 경로 계획법들이 갖는 실시간성에서의 단점을 개선할 수 있다. 실험을 통하\ulcorner 제안된 두 가지 진화 알고리즘의 성능을 실험적으로 검토한다.

  • PDF