• 제목/요약/키워드: 학습 데이터

검색결과 6,453건 처리시간 0.037초

대규모 데이터 분석을 위한 계층적 베이지안망 학습 (Hierarchical Bayesian Network Learning for Large-scale Data Analysis)

  • 황규백;김병희;장병탁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
    • /
    • pp.724-726
    • /
    • 2005
  • 베이지안망(Bayesian network)은 다수의 변수들 사이의 확률적 관계(조건부독립성: conditional independence)를 그래프 구조로 표현하는 모델이다. 이러한 베이지안망은 비감독학습(unsupervised teaming)을 통한 데이터마이닝에 적합하다. 이를 위해 데이터로부터 베이지안망의 구조와 파라미터를 학습하게 된다. 주어진 데이터의 likelihood를 최대로 하는 베이지안망 구조를 찾는 문제는 NP-hard임이 알려져 있으므로, greedy search를 통한 근사해(approximate solution)를 구하는 방법이 주로 이용된다. 하지만 이러한 근사적 학습방법들도 데이터를 구성하는 변수들이 수천 - 수만에 이르는 경우, 방대한 계산량으로 인해 그 적용이 실질적으로 불가능하게 된다. 본 논문에서는 그러한 대규모 데이터에서 학습될 수 있는 계층적 베이지안망(hierarchical Bayesian network) 모델 및 그 학습방법을 제안하고, 그 가능성을 실험을 통해 보인다.

  • PDF

키넥트 센서를 이용한 팔 제스처 인식 시스템의 설계 (Design of an Arm Gesture Recognition System using Kinect Sensor)

  • 허세경;신예슬;김혜숙;김인철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.250-253
    • /
    • 2013
  • 최근 카메라 영상을 이용한 제스처 인식 관련 연구가 활발히 진행되고 있다. 카메라 영상을 이용한 제스처 인식에서 많이 사용되는 학습 알고리즘에는 확률 그래프 모델인 HMM과 CRF 등이 있다. 이 학습 알고리즘들은 다차원의 연속된 실수 데이터를 가지고 모델을 학습하면 계산량이 많아진다. 본 논문에서는 팔 관절 위치 데이터를 k-평균 군집화 과정을 거쳐 1차원의 시계열 데이터로 변환 후, 제스처별로 HMM 모델을 학습하는 방법을 제안한다. 키넥트 센서를 통해 얻은 팔 관절 위치 데이터에 k-평균 군집화를 적용하여 1차원 시계열 데이터를 생성하고, 이를 HMM의 학습 및 인식에 사용한다. 본 논문에서 제안하는 방법의 성능을 분석하기 위하여, 다른 시계열 학습 알고리즘인 AP+DTW를 이용한 방법과의 비교 실험을 포함해 다양한 실험들을 수행하였다.

실시간 데이터 처리를 위한 아파치 스파크 기반 기계 학습 라이브러리 성능 비교 (A Performance Comparison of Machine Learning Library based on Apache Spark for Real-time Data Processing)

  • 송준석;김상영;송병후;김경태;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2017년도 제55차 동계학술대회논문집 25권1호
    • /
    • pp.15-16
    • /
    • 2017
  • IoT 시대가 도래함에 따라 실시간으로 대규모 데이터가 발생하고 있으며 이를 효율적으로 처리하고 활용하기 위한 분산 처리 및 기계 학습에 대한 관심이 높아지고 있다. 아파치 스파크는 RDD 기반의 인 메모리 처리 방식을 지원하는 분산 처리 플랫폼으로 다양한 기계 학습 라이브러리와의 연동을 지원하여 최근 차세대 빅 데이터 분석 엔진으로 주목받고 있다. 본 논문에서는 아파치 스파크 기반 기계 학습 라이브러리 성능 비교를 통해 아파치 스파크와 연동 가능한 기계 학습라이브러리인 MLlib와 아파치 머하웃, SparkR의 데이터 처리 성능을 비교한다. 이를 위해, 대표적인 기계 학습 알고리즘인 나이브 베이즈 알고리즘을 사용했으며 학습 시간 및 예측 시간을 비교하여 아파치 스파크 기반에서 실시간 데이터 처리에 적합한 기계 학습 라이브러리를 확인한다.

  • PDF

CNN 기반의 준지도학습을 활용한 GPR 이미지 분류 (A Study on GPR Image Classification by Semi-supervised Learning with CNN)

  • 김혜미;배혜림
    • 한국빅데이터학회지
    • /
    • 제6권1호
    • /
    • pp.197-206
    • /
    • 2021
  • GPR(Ground Penetrating Radar)에서 수집된 데이터는 지하 탐사를 위해 사용된다. 이 때, 지반 아래의 시설물들이 GPR을 반사하는 경우가 종종 발생하여 수집된 데이터는 전문가에 경험에 의존하여 해석된다. 또한, GPR 데이터는 수집 장비, 환경 등에 따라 데이터의 노이즈, 특성 등이 다르게 나타난다. 이로 인해 정확한 레이블을 가지는 데이터가 충분히 확보되지 못하는 경우가 많다. 일반적으로 이미지 분류 문제에서 높은 성능을 보이는 인공신경망 모델을 적용하기 위해서는 많은 양의 학습 데이터가 확보되어야 한다. 그러나 GPR 데이터의 특성 상 데이터에 정확한 레이블을 붙이는 것은 많은 비용을 필요로 하여 충분한 데이터를 확보하기가 어렵다. 이는 결국 일반적으로 활용되는 지도학습 방법을 기반으로 인공신경망을 적절히 학습시킬 수 없게 한다. 본 논문에서는 각 레이블의 정확도가 유사한 수준을 갖도록 하는 것을 목표로 데이터 특성을 바탕으로 하는 이미지 분류 방법을 제안한다. 제안 방법은 준지도학습을 기반으로 하고 있으며, 인공신경망으로부터 이미지의 특징값을 추출한 후 클러스터링 기법을 활용하여 이미지를 분류한다. 이 방법은 라벨링 된 데이터가 충분하지 않은 경우 라벨링할 때 뿐 만 아니라 데이터에 달린 레이블의 신뢰도가 높지 않은 경우에도 활용할 수 있다.

실제 이미지 초해상도를 위한 학습 난이도 조절 기반 전이학습 (Real Image Super-Resolution based on Easy-to-Hard Tansfer-Learning)

  • 조선우;소재웅;조남익
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2020년도 하계학술대회
    • /
    • pp.701-704
    • /
    • 2020
  • 이미지 초해상도는 딥러닝의 발전과 함께 이를 활용하며 눈에 띄는 성능향상을 이루었다. 딥러닝을 기반으로 한 대부분의 이미지 초해상도 연구는 딥러닝 네트워크 모델의 구조에 대한 연구 위주로 진행되어 왔다. 그러나 최근 들어 딥러닝 기반의 이미지 초해상도가 합성된 데이터에 대해서는 높은 성능을 보이지만 실제 데이터에 대해서는 높은 성능을 보이지 못한다는 사실이 주목받고 있다. 이에 따라 모델 구조를 바꿔 성능을 향상 시키는 것에는 한계가 있어 데이터의 활용이나 학습 방법에 대한 연구의 필요성이 증대되고 있다. 따라서 본 논문은 이미지 초해상도를 위한 난이도 조절 기반 전이학습법(transfer learning)을 제안한다. 제안된 방법에서는 이미지 초해상도를 배율을 난이도가 쉬운 낮은 배율부터 순차적으로 전이학습을 진행한다. 이는 이미지 초해상도의 배율이 높아질수록 학습이 어렵기 때문이다. 결과적으로 본 논문에서는 높은 배율의 이미지 초해상도를 진행하기 위해 낮은 배율의 이미지 초해상도, 즉 난이도가 쉬운 학습부터 점진적으로 학습을 진행하였을 때 더욱 빠르고 효과적으로 학습할 수 있음을 보여준다. 제안된 전이학습 방법을 통해 적은 횟수의 업데이트로 학습을 진행하였을 때 일반적인 학습방법 대비 약 0.18 dB 의 PSNR 상승을 얻어, RealSR [9] 데이터셋에서 28.56 dB의 성능으로 파라미터 수 대비 높은 성능을 얻을 수 있었다.

  • PDF

프라이버시를 보호하는 분산 기계 학습 연구 동향 (Systematic Research on Privacy-Preserving Distributed Machine Learning)

  • 이민섭;신영아;천지영
    • 정보처리학회 논문지
    • /
    • 제13권2호
    • /
    • pp.76-90
    • /
    • 2024
  • 인공지능 기술은 스마트 시티, 자율 주행, 의료 분야 등 다양한 분야에서 활용 가능성을 높이 평가받고 있으나, 정보주체의 개인정보 및 민감정보의 노출 문제로 모델 활용이 제한되고 있다. 이에 따라 데이터를 중앙 서버에 모아서 학습하지 않고, 보유 데이터셋을 바탕으로 일차적으로 학습을 진행한 후 글로벌 모델을 최종적으로 학습하는 분산 기계 학습의 개념이 등장하였다. 그러나, 분산 기계 학습은 여전히 협력하여 학습을 진행하는 과정에서 데이터 프라이버시 위협이 발생한다. 본 연구는 분산 기계 학습 연구 분야에서 프라이버시를 보호하기 위한 연구를 서버의 존재 유무, 학습 데이터셋의 분포 환경, 참여자의 성능 차이 등 현재까지 제안된 분류 기준들을 바탕으로 유기적으로 분석하여 최신 연구 동향을 파악한다. 특히, 대표적인 분산 기계 학습 기법인 수평적 연합학습, 수직적 연합학습, 스웜 학습에 집중하여 활용된 프라이버시 보호 기법을 살펴본 후 향후 진행되어야 할 연구 방향을 모색한다.

온라인 시계열 자료를 위한 익스트림 러닝머신 적용의 최근 동향 (Recent Trends in the Application of Extreme Learning Machines for Online Time Series Data)

  • 윤여창
    • 한국빅데이터학회지
    • /
    • 제8권2호
    • /
    • pp.15-25
    • /
    • 2023
  • 익스트림 러닝머신은 다양한 방식의 예측 분야에서 주요 분석 방법을 제공하고 있다. 시계열 자료의 복잡한 패턴을 학습하고 잡음이 포함되어 있는 데이터이거나 비선형인 경우에도 최적의 학습을 통하여 정확한 예측을 할 수 있다. 이 연구에서는 온라인 시계열 자료를 분석하는 도구로서 주로 연구되고 있는 기계학습 모형들의 최근 동향들을 기존 알고리즘을 이용한 응용 특성들과 함께 제시한다. 지속적이고 폭발적으로 발생하는 대규모 온라인 데이터를 효율적으로 학습시키기 위해서는 다양하게 진화 가능한 속성에서도 잘 수행될 수 있는 학습 기술이 필요하다. 따라서 이 연구를 통하여 시계열 예측 분야에서 빅데이터가 적용되는 최신 기계 학습 모형에 대한 포괄적인 개요를 살펴보고, 빅데이터에 대한 기계 학습의 주요 과제 중 하나인 온라인 데이터를 학습하는 최신 모형들의 일반적인 특성과 온라인 시계열 자료를 얼마나 효율적으로 학습하고 예측에 활용할 수 있는지에 대하여 논의하고 그 대안을 제시한다.

입력공간 분담에 의한 네트워크들의 앙상블 알고리즘 (Ensemble of Specialized Networks based on Input Space Partition)

  • 신현정;이형주;조성준
    • 한국경영과학회:학술대회논문집
    • /
    • 한국경영과학회 2000년도 추계학술대회 및 정기총회
    • /
    • pp.33-36
    • /
    • 2000
  • 관찰학습(OLA: Observational Learning Algorithm)은 앙상블 네트워크의 각 구성 모델들이 다른 모델들을 관찰함으로써 얻어진 가상 데이터와 초기에 bo otstrap된 실제 데이터를 학습에 함께 이용하는 방법이다. 본 논문에서는, 초기 학습 데이터 셋을 분할하고 분할된 각 데이터 셋에 대하여 앙상블의 구성 모델들을 전문화(specialize)시키는 방법을 적용하여 기존의 관찰학습 알고리즘을 개선시켰다. 제안된 알고리즘은 bagging 및 boosting과의 비교실험에 의하여, 보다 적은 수의 구성 모델로 동일 내지 보다 나은 성능을 나타냄이 실험적으로 검증되었다.

  • PDF

LLE(Locally Linear Embedding)의 함수관계에 대한 다층퍼셉트론 학습 (Training of Locally Linear Embedding using Multilayer Perceptrons)

  • 오상훈
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2007년도 추계 종합학술대회 논문집
    • /
    • pp.217-220
    • /
    • 2007
  • 고차원의 데이터를 저차원으로 차원축소 하는 것은 일반적인 문제에서 항상 나타난다. 이때, 고차원에서 데이터 간의 인접한 관계를 유지하면서 저차원으로 변형시켜주는 방법으로 LLE(Locally Linear Embedding)이 제안되었다. 이 방법은 비록 최적의 해를 찾아주지만, 학습되지 않은 데이터가 주어지면 다시 전체 데이터를 상대로 처리를 하여야 한다. 이 논문에서는, 주어진 학습데이터 만을 상대로 LLE의 관계를 수행할 수 있는 다층퍼셉트론을 학습시켜, 학습되지 않은 데이터가 입력되는 경우 다층퍼셉트론의 출력으로 LLE 처리를 하는 방법을 제안한다.

  • PDF

원격 지도 학습 데이터 노이즈 제거를 위해 확장된 최단 의존 경로를 이용한 CNN 기반 관계추출 (A CNN-based Relation Extraction with Extended Shortest Dependency Path for Noise Reduction of Distant Supervision)

  • 남상하;한기종;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.50-54
    • /
    • 2018
  • 관계 추출을 위한 원격 지도 학습은 사람의 개입 없이 대규모 데이터를 생성할 수 있는 효율적인 방법이다. 그러나 원격 지도 학습은 노이즈 데이터 문제가 있으며, 노이즈 데이터는 두 가지 유형으로 나눌 수 있다. 첫 번째는 관계 표현 자체가 없는 문장이 연결된 경우이고, 두 번째는 관계 표현은 있는 문장이지만 다른 관계 표현도 함께 가지는 경우이다. 주로 문장의 길이가 길고 복잡한 문장에서 두 번째 노이즈 데이터 유형이 자주 발견된다. 본 연구는 두 번째 경우의 노이즈를 줄임으로써 관계 추출 모델의 성능을 향상시키기 위해 확장된 최단 의존 경로를 사용하는 CNN 기반 관계 추출 모델을 제안한다. 본 논문에서 제안한 방법의 우수성을 입증하기 위해, 한국어 위키피디아와 DBpedia 기반의 원격 지도 학습 데이터를 수집하여 평가한 결과, 본 논문에서 제안한 방법이 위 문제를 해결하는데 효과적이라는 것을 확인하였다.

  • PDF