• 제목/요약/키워드: 학습 데이터

검색결과 6,458건 처리시간 0.031초

클래스 불균형 문제에서 베이지안 알고리즘의 학습 행위 분석 (Learning Behavior Analysis of Bayesian Algorithm Under Class Imbalance Problems)

  • 황두성
    • 전자공학회논문지CI
    • /
    • 제45권6호
    • /
    • pp.179-186
    • /
    • 2008
  • 본 논문에서는 베이지안 알고리즘이 불균형 데이터의 학습 시 나타나는 현상을 분석하고 성능 평가 방법을 비교하였다. 사전 데이터 분포를 가정하고 불균형 데이터 비율과 분류 복잡도에 따라 발생된 분류 문제에 대해 베이지안 학습을 수행하였다. 실험 결과는 ROC(Receiver Operator Characteristic)와 PR(Precision-Recall) 평가 방법의 AUC(Area Under the Curve)를 계사하여 불균형 데이터 비율과 분류 복잡도에 따라 분석되었다. 비교 분석에서 불균형 비율은 기 수행된 연구 결과와 같이 베이지안 학습에 영향을 주었으며, 높은 분류 복잡도로부터 나타나는 데이터 중복은 학습 성능을 방해하는 요인으로 확인되었다. PR 평가의 AUC는 높은 분류 복잡도와 높은 불균형 데이터 비율에서 ROC 평가의 AUC보다 학습 성능의 차이가 크게 나타났다. 그러나 낮은 분류 복잡도와 낮은 불균형 데이터 비율의 문제에서 두 측정 방법의 학습 성능의 차이는 미비하거나 비슷하였다. 이러한 결과로부터 PR 평가의 AUC는 클래스 불균형 문제의 학습 모델의 설계와 오분류 비용을 고려한 최적의 학습기를 결정하는데 도움을 줄 수 있다.

빅데이터와 AI를 활용한 교육용 자료의 분석에 대한 조사 (A Survey on Deep Learning-based Analysis for Education Data)

  • 노영욱
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 춘계학술대회
    • /
    • pp.240-243
    • /
    • 2021
  • 최근에 빅 데이터와 AI 기술을 교육의 평가와 개별 학습에 적용하는 연구 성과가 있었다. 정보 기술의 혁신으로 소셜 미디어, MOOC, 지능형 개인지도 시스템, LMS, 센서 및 모바일 장치 등으로부터 학생들의 개인 기록, 생리학적 데이터, 학습 로그 및 활동, 학습 성과 및 결과를 포함하는 동적이고 복잡한 데이터를 수집 가능하였다. 또한 COVID-19 환경에서 e-러닝이 활성화 되어 많은 양의 학습 데이터가 생성되었다. 이 데이터로부터 학습 분석과 AI 기술을 적용하여 의미있는 패턴의 추출과 지식의 발견이 될 것으로 예상된다. 학습자 측면에서 학생의 학습 및 정서적 행동 패턴과 프로필을 식별하고, 평가 및 평가 방법을 개선하고, 개별 학생의 학습 성과 또는 중퇴를 예측하고, 개인화 된 지원을 위한 적응 시스템에 대한 연구는 필요하다. 본 연구에서는 교육용 데이터를 대상으로 이상탐지와 추천시스템에서 사용하는 기계학습 기술에 대한 조사와 분류를 하여 교육 분야의 연구에 기여하고자 한다.

  • PDF

교통 빅데이터 활용 시 개인 정보 보호를 위한 연합학습 기반의 경로 선택 모델링 (Federated Learning-based Route Choice Modeling for Preserving Driver's Privacy in Transportation Big Data Application)

  • 심지섭
    • 한국ITS학회 논문지
    • /
    • 제22권6호
    • /
    • pp.157-167
    • /
    • 2023
  • 본 연구에서는 분산 컴퓨팅 및 개별 디바이스 활용을 통해 개인 정보 보호에 특화된 학습방법인 연합학습 방법론을 기반으로, 모바일 내비게이션 애플리케이션에서 수집된 대규모의 운전자 데이터를 이용하여 경로 선택 예측 모델을 수립하는 방법에 대해 고찰한다. 경로 선택 모델링에서 활용될 수 있는 운전자 데이터의 전처리 및 분석 방법을 수립하고, 서포트벡터머신(SVM) 및 다층 퍼셉트론(MLP)과 같이 기존에 널리 활용되는 학습 방법과 연합학습 방법의 성능과 특성을 비교한다. 분석 결과 연합학습을 통한 모델 성능은 중앙 서버 기반의 모델과의 비교에서 예측 정확도 측면의 차이가 거의 없는 것으로 나타났으나, 개별 데이터가 충분히 확보되는 경우 연합학습 모델과 같은 개인화 모델의 성능이 개선될 수 있다는 점을 확인하였다. 연합학습 모델은 본 연구의 경로 선택 모델링 사례와 같이 모빌리티 부문의 데이터 프라이버시 문제가 중요한 분야에서 대규모 데이터 처리를 필요로 하는 경우에 그 활용 가치가 매우 높을 것으로 기대된다.

발전플랜트 성능데이터 학습에 의한 발전기 출력 추정 모델 (A Predictive Model of the Generator Output Based on the Learning of Performance Data in Power Plant)

  • 양학진;김성근
    • 한국산학기술학회논문지
    • /
    • 제16권12호
    • /
    • pp.8753-8759
    • /
    • 2015
  • 터빈 발전 사이클에서의 안정적인 발전 출력 유지관리를 위해서는 검증된 성능 측정 데이터 그룹과 이를 바탕으로 한 발전 출력 성능 계산 절차의 수립이 필요하다. ASME PTC(Performance Test Code)의 성능 계산 절차를 기반으로 본 연구에서는 터빈 출력에 의한 발전기 출력 성능 산정을 위해서 터빈 팽창선 모델과 발전기 출력 측정 데이터의 입력 검증 모델을 구성하였다. 또한 불확실한 측정 데이터에 대한 검증 모델도 구성하였다. 지난 연구에서는 신경회로망과 커널 회귀의 학습 방법을 사용하였으나 본 연구에서는 미측정 데이터에 대한 보완을 하기 위하여 서포트 벡터 머신 모델을 사용하여 발전기 출력 계산 데이터의 학습 모델을 구성하였으며, 학습 모델 구성을 위해서 관련 변수의 선정을 위한 절차와 학습 데이터 구간을 설정하는 알고리듬을 개발하였다. 학습의 결과 오차는 약 1% 범위 안에 있게 되어 추정 및 학습 모델로서 유용함을 입증하였다. 이 학습 모델을 사용하여 측정 데이터 중 상실된 부분에 대한 추정 모델을 구성함으로써, 터빈 사이클 보정 성능 계산의 신뢰성을 향상시킬 수 있음을 검증하였다.

기계학습 기반의 클라우드를 위한 센서 데이터 수집 및 정제 시스템 (Sensor Data Collection & Refining System for Machine Learning-Based Cloud)

  • 황치곤;윤창표
    • 한국정보통신학회논문지
    • /
    • 제25권2호
    • /
    • pp.165-170
    • /
    • 2021
  • 기계학습은 최근 대부분의 분야에서 적용하여 연구를 하고 있다. 이것은 기계학습의 결과가 결정된 것이 아니라 입력데이터의 학습으로 목적함수를 생성하고, 이를 통해 통하여 새로운 데이터에 대한 판단이 가능하기 때문이다. 또한, 축적된 데이터의 증가는 기계학습 결과의 정확도에 영향을 미친다. 이에 수집된 데이터는 기계학습에 중요한 요인이다. 제안하는 본 시스템은 서비스 제공을 위한 클라우드 시스템과 지역의 포그 시스템의 융합 시스템이다. 이에 클라우드 시스템은 서비스를 위한 머신러닝과 기반 구조를 제공하고, 포그 시스템은 클라우드와 사용자의 중간에 위치하여 데이터 수집 및 정제를 수행한다. 이를 적용하기 위한 데이터는 스마트기기에서 발생하는 센세 데이터로 한다. 이에 적용된 기계학습 기법은 분류를 위한 SVM알고리즘, 상태 인지를 위한 RNN 알고리즘을 이용한다.

데이터 증강 학습 이용한 딥러닝 기반 실시간 화재경보 시스템 구현 (Implementation of a Deep Learning based Realtime Fire Alarm System using a Data Augmentation)

  • 김치용;이현수;이광엽
    • 전기전자학회논문지
    • /
    • 제26권3호
    • /
    • pp.468-474
    • /
    • 2022
  • 본 논문에서는 딥러닝을 이용하여 실시간 화재경보 시스템을 구현하는 방법을 제안한다. 화재경보를 위한 딥러닝 학습 이미지 데이터셋은 인터넷을 통하여 1500장을 취득하였다. 일상적인 환경에서 취득된 다양한 이미지를 그대로 학습하게 되면 학습 정확도가 높지 않은 단점이 있다. 본 논문에서는 학습 정확도 향상을 위해 화재 이미지 데이터 확장 방법을 제안한다. 데이터증강 방법은 밝기 조절, 블러링, 불꽃사진 합성을 이용해 학습 데이터 600장을 추가해 총 2100장을 학습했다. 불꽃 이미지 합성방법을 이용하여 확장된 데이터는 정확도 향상에 큰 영향을 주었다. 실시간 화재탐지 시스템은 영상 데이터에 딥러닝을 적용하여 화재를 탐지하고 사용자에게 알림을 전송하는 시스템이다. Edge AI시스템에 적합한 YOLO V4 TINY 모델을 custom 학습한 모델을 이용해 실시간으로 영상을 분석해 화재를 탐지하고 그 결과를 사용자에게 알리는 웹을 개발하였다. 제안한 데이터를 사용하였을 때 기존 방법에 비하여 약 10%의 정확도 향상을 얻을 수 있다.

고차 데이터 분류를 위한 순차적 베이지안 샘플링을 기반으로 한 하이퍼네트워크 모델의 진화적 학습 기법 (Evolutionary Learning of Hypernetwork Classifiers Based on Sequential Bayesian Sampling for High-dimensional Data)

  • 하정우;김수진;장병탁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(B)
    • /
    • pp.336-338
    • /
    • 2012
  • 본 연구에서는 고차 데이터 분류를 위해 순차적 베이지만 샘플링 기반의 진화연산 기법을 이용한 하이퍼네트워크 모델의 학습 알고리즘을 제시한다. 제시하는 방법에서는 모델의 조건부 확률의 사후(posterior) 분포를 최대화하도록 학습이 진행된다. 이를 위해 사전(prior) 분포를 문제와 관련된 사전지식(prior knowledge) 및 모델 복잡도(model complexity)로 정의하고, 측정된 모델의 분류성능을 우도(likelihood)로 사 용하며, 측정된 사전분포와 우도를 이용하여 모델의 적합도(fitness)를 정의한다. 이를 통해 하이퍼네트워크 모델은 고차원 데이터를 효율적으로 학습 가능할 뿐이 아니라 모델의 학습시간 및 분류성능이 개선될 수 있다. 또한 학습 시에 파라미터로 주어지던 하이퍼에지의 구성 및 모델의 크기가 학습과정 중에 적응적으로 결정될 수 있다. 제안하는 학습방법의 검증을 위해 본 논문에서는 약 25,000개의 유전자 발현정보 데이터셋에 대한 분류문제에 모델을 적용한다. 실험 결과를 통해 제시하는 방법이 기존 하이퍼네트워크 학습 방법 뿐 아니라 다른 모델들에 비해 우수한 분류 성능을 보여주는 것을 확인할 수 있다. 또한 다양한 실험을 통해 사전분포로 사용된 사전지식이 모델 학습에 끼치는 영향을 분석한다.

필기숫자 데이터에 대한 텐서플로우와 사이킷런의 인공지능 지도학습 방식의 성능비교 분석 (Performance Comparison Analysis of AI Supervised Learning Methods of Tensorflow and Scikit-Learn in the Writing Digit Data)

  • 조준모
    • 한국전자통신학회논문지
    • /
    • 제14권4호
    • /
    • pp.701-706
    • /
    • 2019
  • 최근에는 인공지능의 도래로 인하여 수많은 산업과 일반적인 응용에 적용됨으로써 우리의 생활에 큰 영향을 발휘하고 있다. 이러한 분야에 다양한 기계학습의 방식들이 제공되고 있다. 기계학습의 한 종류인 지도학습은 학습의 과정 중에 특징값과 목표값을 입력으로 가진다. 지도학습에도 다양한 종류가 있으며 이들의 성능은 입력데이터인 빅데이터의 특성과 상태에 좌우된다. 따라서, 본 논문에서는 특정한 빅 데이터 세트에 대한 다수의 지도학습 방식들의 성능을 비교하기 위해 텐서플로우(Tensorflow)와 사이킷런(Scikit-Learn)에서 제공하는 대표적인 지도학습의 방식들을 이용하여 파이썬언어와 주피터 노트북 환경에서 시뮬레이션하고 분석하였다.

다중 도메인 답변 생성 모델을 위한 인간의 기억 시스템을 모방하는 지속 학습 기법 (Continual Learning with Mimicking Human Memory System For Multi-domain Response Generator)

  • 이준범;박형준;송현제;박성배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.215-220
    • /
    • 2021
  • 다중 도메인에 대해 답변 생성 모델이 동작 가능하도록 하는 가장 쉬운 방법은 모든 도메인의 데이터를 순서와 상관없이 한번에 학습하는 것이다. 하지만 이경우, 발화에 상관 없이 지나치게 일반적인 답변을 생성하는 문제가 발생한다. 이에 반해, 도메인을 분리하여 도메인을 순차적으로 학습할 경우 일반적인 답변 생성 문제를 해결할 수 있다. 하지만 이경우 새로운 도메인의 데이터를 학습할 때, 기존에 학습한 도메인에 대한 성능이 저하되는 파괴적 망각 현상이 발생한다. 파괴적 망각 현상을 해결하기 위하여 다양한 지속학습기법이 제안되었으며, 그 중 메모리 리플레이 방법은 새로운 도메인 학습시 기존 도메인의 데이터를 함께 학습하는 방법으로 파괴적 망각 현상을 해결하고자 하였다. 본 논문에서는, 사람의 기억 시스템에 대한 모형인 앳킨슨-쉬프린 기억 모형에서 착안하여 사람이 기억을 저장하는것과 유사한 방법으로 메모리 리플레이 방법의 메모리 관리방법을 제안하였고, 해당 메모리 관리법을 활용하는 메모리 리플레이 방법을 통해 답변 생성 모델의 파괴적 망각 현상을 줄이고자 하였다. 다중 도메인 답변 생성에 대한 데이터셋인 MultiWoZ-2.0를 사용하여 제안 모델을 학습 및 평가하였고, 제안 모델이 다중 도메인 답변 생성 모델의 파괴적 망각 현상을 감소시킴을 확인하였다.

  • PDF

트리 기반 컨볼루션 신경망을 이용한 BigCloneBench 개선 (Improvement of BigCloneBench Using Tree-Based Convolutional Neural Network)

  • 박건우;홍성문;김현하;도경구
    • 한국소프트웨어감정평가학회 논문지
    • /
    • 제15권1호
    • /
    • pp.43-53
    • /
    • 2019
  • 기계 학습을 이용하여 의미가 유사한 코드 클론을 탐지하는 도구의 성능 평가에 빅클론벤치를 많이 활용한다. 하지만 빅클론벤치는 기계 학습에 최적화된 벤치마크가 아니기 때문에 그대로 기계 학습에 사용하면 잘못된 학습 데이터가 만들어질 수 있다. 본 연구에서는 빅클론벤치에서 제공하고 있는 코드 클론 데이터에서 누락된 타입-4 클론을 기계 학습을 이용하여 추가로 찾아 보완함으로써 빅클론벤치를 개선할 수 있음을 실험적으로 밝힌다. 트리 기반 컨볼루션 신경망을 이용한 기계 학습 모델을 사용해서 개선된 데이터를 학습했을 때, 기존의 데이터를 학습했을 때에 비해 기계 학습의 정확도 및 성능이 향상되었음을 확인하였다.