• 제목/요약/키워드: 학습 및 검증 데이터

검색결과 569건 처리시간 0.022초

SimKoR: 한국어 리뷰 데이터를 활용한 문장 유사도 데이터셋 제안 및 대조학습에서의 활용 방안 (SimKoR: A Sentence Similarity Dataset based on Korean Review Data and Its Application to Contrastive Learning for NLP )

  • 김재민;나요한;김강민;이상락;채동규
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.245-248
    • /
    • 2022
  • 최근 자연어 처리 분야에서 문맥적 의미를 반영하기 위한 대조학습 (contrastive learning) 에 대한 연구가 활발히 이뤄지고 있다. 이 때 대조학습을 위한 양질의 학습 (training) 데이터와 검증 (validation) 데이터를 이용하는 것이 중요하다. 그러나 한국어의 경우 대다수의 데이터셋이 영어로 된 데이터를 한국어로 기계 번역하여 검토 후 제공되는 데이터셋 밖에 존재하지 않는다. 이는 기계번역의 성능에 의존하는 단점을 갖고 있다. 본 논문에서는 한국어 리뷰 데이터로 임베딩의 의미 반영 정도를 측정할 수 있는 간단한 검증 데이터셋 구축 방법을 제안하고, 이를 활용한 데이터셋인 SimKoR (Similarity Korean Review dataset) 을 제안한다. 제안하는 검증 데이터셋을 이용해서 대조학습을 수행하고 효과성을 보인다.

  • PDF

블록체인 기반 연합학습을 위한 레퍼런스 아키텍처 (A Reference Architecture for Blockchain-based Federated Learning)

  • 고은수;문종현;이광기;손채봉
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2022년도 추계학술대회
    • /
    • pp.119-122
    • /
    • 2022
  • 연합학습은, 데이터 샘플을 보유하는 다수의 분산 에지 디바이스 또는 서버들이 원본 데이터를 공유하지 않고 기계학습 문제를 해결하기 위해 협력하는 기술로서, 각 클라이언트는 소유한 원본 데이터를 로컬모델 학습에만 사용함으로써, 데이터 소유자의 프라이버시를 보호하고, 데이터 소유 및 활용의 파편화 문제를 해결할 수 있다. 연합학습을 위해서는 통계적 이질성 및 시스템적 이질성 문제 해결이 필수적이며, 인공지능 모델 정확도와 시스템 성능을 향상하기 위한 다양한 연구가 진행되고 있다. 최근, 중앙서버 의존형 연합학습의 문제점을 극복하고, 데이터 무결성 및 추적성과 데이터 소유자 및 연합학습 참여자에게 보상을 효과적으로 제공하기 위한, 블록체인 융합 연합학습기술이 주목받고 있다. 본 연구에서는 이더리움 기반 블록체인 인프라와 호환되는 연합학습 레퍼런스 아키텍처를 정의 및 구현하고, 해당 아키텍처의 실용성과 확장성을 검증하기 위하여 대표적인 연합학습 알고리즘과 데이터셋에 대한 실험을 수행하였다.

  • PDF

자율주행 대응 기계학습 데이터를 관리하고 분석하는 소프트웨어의 개발 (Development of Data Management and Analysis Software for Autonomous Vehicle Driving Environment)

  • 박종빈;이한덕;김경원;정종진
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2019년도 추계학술대회
    • /
    • pp.87-88
    • /
    • 2019
  • 최근 기계학습 기술의 급속한 발전에 힘입어 자율주행을 위한 객체 인식 및 처리 기술 역시 비약적으로 발전하고 있다. 그러나 이러한 기계학습의 성능은 모델의 구조와 학습용 데이터의 품질에 영향을 받는다. 특히 주행환경을 잘 표현하는 학습데이터가 중요한데 전혀 새로운 도로, 주행환경, 장애물, 정적 혹은 동적 객체 등을 마주하면 정확도와 안정성에서 부정적인 영향을 받을 수 있는 것이다. 해외의 주행 데이터들에 크게 의존하고 있는 우리나라의 현실에 비춰 볼 때 국내 환경에 맞는 학습데이터를 쉽고 효율적으로 확보/관리/분석할 수 있게 하는 환경의 구축이 시급하다. 따라서 본 논문에서는 자율주행을 위한 기계학습 데이터를 효과적으로 관리하고 분석하기 위한 소프트웨어를 설계하고 개발하였다. 구체적으로는 수집된 영상들을 관리하는 기능, 영상에 존재하는 노이즈 제거 및 화질 개선 처리 기능, 학습 및 검증을 위한 메타 정보 태깅 기능, 태깅 정보의 통계적 분석 기능들을 포함한다. 개발한 소프트웨어는 우리나라에서 자체 촬영한 자율주행 학습 영상들에 대해 딥러닝 모델들을 학습하고 검증하는데 활용할 예정이다.

  • PDF

발전플랜트 성능데이터 학습에 의한 발전기 출력 추정 모델 (A Predictive Model of the Generator Output Based on the Learning of Performance Data in Power Plant)

  • 양학진;김성근
    • 한국산학기술학회논문지
    • /
    • 제16권12호
    • /
    • pp.8753-8759
    • /
    • 2015
  • 터빈 발전 사이클에서의 안정적인 발전 출력 유지관리를 위해서는 검증된 성능 측정 데이터 그룹과 이를 바탕으로 한 발전 출력 성능 계산 절차의 수립이 필요하다. ASME PTC(Performance Test Code)의 성능 계산 절차를 기반으로 본 연구에서는 터빈 출력에 의한 발전기 출력 성능 산정을 위해서 터빈 팽창선 모델과 발전기 출력 측정 데이터의 입력 검증 모델을 구성하였다. 또한 불확실한 측정 데이터에 대한 검증 모델도 구성하였다. 지난 연구에서는 신경회로망과 커널 회귀의 학습 방법을 사용하였으나 본 연구에서는 미측정 데이터에 대한 보완을 하기 위하여 서포트 벡터 머신 모델을 사용하여 발전기 출력 계산 데이터의 학습 모델을 구성하였으며, 학습 모델 구성을 위해서 관련 변수의 선정을 위한 절차와 학습 데이터 구간을 설정하는 알고리듬을 개발하였다. 학습의 결과 오차는 약 1% 범위 안에 있게 되어 추정 및 학습 모델로서 유용함을 입증하였다. 이 학습 모델을 사용하여 측정 데이터 중 상실된 부분에 대한 추정 모델을 구성함으로써, 터빈 사이클 보정 성능 계산의 신뢰성을 향상시킬 수 있음을 검증하였다.

교사학습 알고리즘을 이용한 텍스트 분류 시스템 (A Text Classification System based on a Supervised Learning Algorithm)

  • 김진상;성정호;김성주
    • 한국데이타베이스학회:학술대회논문집
    • /
    • 한국데이타베이스학회 1998년도 국제 컨퍼런스: 국가경쟁력 향상을 위한 디지틀도서관 구축방안
    • /
    • pp.421-430
    • /
    • 1998
  • 지식경영을 위한 다양한 대상 업무중에서 텍스트 데이터의 마이닝은 특히 중요하다. 그 이유는 텍스트 데이터가 양적인 면에서 가장 풍부하고, 또 발견할 수 있는 지식을 가장 많이 포함하고 있기 때문이다. 본 논문에서는 텍스트 데이터베이스에서 지식발견을 위한 한 과정으로 텍스트 데이터베이스 내의 텍스트들을 분류하는 기법을 기술한다. 특히 문서 분류 방법은 데이터베이스의 일부 데이터를 훈련, 예제로 간주하여 교사 학습 알고리즘을 통해 학습한 후 나머지 데이터를 이용해 분류 정확성을 검증 및 향상시킨다. 시험 데이터로는 인터넷의 뉴스그룹의 기사를 이용하였고, 시험 결과 분류의 정확성은 한글 및 영문 모두 최소 70% 이상으로 나타났다.

  • PDF

해무 제거 학습을 위한 가상 해무 데이터셋 생성 및 유효성 검증 연구

  • 전영수;김현철;이상훈;오세웅;옥수열
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2022년도 춘계학술대회
    • /
    • pp.103-105
    • /
    • 2022
  • 인공지능을 기반으로 한 안개를 제거하는 기술은 많은 연구가 있다. 하지만 대부분의 연구가 육상을 타겟으로 하고 있기 때문에 해상에 발생하는 해무를 제거하기 위한 데이터 셋은 현저히 부족하다. 이를 해결하기 위해 가상의 해무를 생성하여 데이터 셋을 생성하고 유효성 검증을 하는 방법에 대하여 연구하였다.

  • PDF

전문화된 네트워크들의 결합에 의한 앙상블 학습 알고리즘 (Ensemble Learning Algorithm of Specialized Networks)

  • 신현정;이형주;조성준
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (2)
    • /
    • pp.308-310
    • /
    • 2000
  • 관찰학습(OLA: Observational Learning Algorithm)은 앙상블 네트워크의 각 구성 모델들이 아른 모델들을 관찰함으로써 얻어진 가상 데이터와 초기에 bootstrap된 실제 데이터를 학습에 함께 이용하는 방법이다. 본 논문에서는, 초기 학습 데이터 셋을 분할하고 분할된 각 데이터 셋에 대하여 앙상블의 구성 모델들을 전문화(specialize)시키는 방법을 적용하여 기존의 관찰학습 알고리즘을 개선시켰다. 제안된 알고리즘은 bagging 및 boosting과의 비교 실험에 의하여, 보다 적은 수의 구성 모델로 동일 내지 보다 나은 성능을 나타냄이 실험적으로 검증되었다.

  • PDF

HyperCLOVA를 이용한 한국어 Fact 검증을 위한 자동 데이터 생성 (HyperCLOVA for Data Generation of Korean Fact Verification)

  • 이종현;나승훈;신동욱;김선훈;강인호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.118-123
    • /
    • 2021
  • 현대 사회에서 소셜 네트워킹 서비스의 증가와 확산은 많은 정보를 쉽고 빠르게 얻을 수 있도록 하였지만 허위·과장 정보의 확산이 큰 문제로 자리잡고 있다. 최근 해외에서는 이들을 자동으로 분류 및 판별하고자하는 Fact 검증 모델에 관한 연구 및 모델 학습을 위한 데이터의 제작 및 배포가 활발히 이루어지고 있다. 그러나 아직 국내에서는 한국어 Fact 검증을 위한 데이터가 많이 부족한 상황이기 때문에 본 논문에서는 최근 좋은 성능을 보이는 openai 의 GPT-3를 한국어 태스크에 적용시킨 HyperCLOVA 를 이용하여 한국어 Fact 검증 데이터 셋을 자동으로 구축하고 이를 최신 Fact 검증 모델들에 적용하였을 때의 성능을 측정 및 분석 하고자 하였다.

  • PDF

기술문서 분류를 위한 통계기반 기계학습 모델 성능비교 및 한계 연구 (Performance Comparison of Statistics-Based Machine Learning Model for Classification of Technical Documents)

  • 김진구;유헌창
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 춘계학술발표대회
    • /
    • pp.393-396
    • /
    • 2022
  • 본 연구는 국방과학기술 분야의 특허 및 논문 실적을 이용하여 통계기반 기계학습 모델 4 종을 학습하고, 실제 분석 대상기관의 데이터 입력결과를 분석하여 실용성에 대한 한계점 분석을 목적으로 한다. 기존 연구에서는 특허분류코드를 기준으로 분류하여 특수 목적으로 활용하거나 세부 연구 범위 내 연구 주제탐색 및 특징연구 등 미시적인 관점에서의 상세연구 활용 목적인 반면, 본 연구는 거시적인 관점에서 연구의 전체적인 흐름과 경향성 파악을 목적으로 한다. 이에 ICT 기술 138 종의 특허 및 논문 30,965 건과 국방과학기술 192 종의 특허 및 논문 23,406 건을 학습데이터로 각 모델을 학습하였다. 비교한 통계기반 학습모델은 Support Vector Machines, Decision Tree, Naive Bayes, XGBoost 모델이다. 학습데이터에 대한 학습검증 단계에서는 최대 99.4%의 성능을 보였다. 다만, 실제 분석대상기관의 특허 및 논문 12,824 건으로 입력분석한 결과, 모델별 편향성 문제, 데이터 전처리 이슈, 다중클래스 및 다중레이블 문제를 확인, 도출한 문제에 대한 해결방안을 제시하고 추가 연구의 방향성을 제시한다.

입력공간 분담에 의한 네트워크들의 앙상블 알고리즘 (Ensemble of Specialized Networks based on Input Space Partition)

  • 신현정;이형주;조성준
    • 한국경영과학회:학술대회논문집
    • /
    • 한국경영과학회 2000년도 추계학술대회 및 정기총회
    • /
    • pp.33-36
    • /
    • 2000
  • 관찰학습(OLA: Observational Learning Algorithm)은 앙상블 네트워크의 각 구성 모델들이 다른 모델들을 관찰함으로써 얻어진 가상 데이터와 초기에 bo otstrap된 실제 데이터를 학습에 함께 이용하는 방법이다. 본 논문에서는, 초기 학습 데이터 셋을 분할하고 분할된 각 데이터 셋에 대하여 앙상블의 구성 모델들을 전문화(specialize)시키는 방법을 적용하여 기존의 관찰학습 알고리즘을 개선시켰다. 제안된 알고리즘은 bagging 및 boosting과의 비교실험에 의하여, 보다 적은 수의 구성 모델로 동일 내지 보다 나은 성능을 나타냄이 실험적으로 검증되었다.

  • PDF