• Title/Summary/Keyword: 학습 데이터 모델

Search Result 3,041, Processing Time 0.03 seconds

Implementation and Optimization of Distributed Deep learning based on Multi Layer Neural Network for Mobile Big Data at Apache Spark (아파치 스파크에서 모바일 빅 데이터에 대한 다계층 인공신경망 기반 분산 딥러닝 구현 및 최적화)

  • Myung, Rohyoung;Ahn, Beomjin;Yu, Heonchang
    • Proceedings of The KACE
    • /
    • 2017.08a
    • /
    • pp.201-204
    • /
    • 2017
  • 빅 데이터의 시대가 도래하면서 이전보다 데이터로부터 유의미한 정보를 추출하는 것에 대한 연구가 활발하게 진행되고 있다. 딥러닝은 텍스트, 이미지, 동영상 등 다양한 데이터에 대한 학습을 가능하게 할 뿐만 아니라 높은 학습 정확도를 보임으로써 차세대 머선러닝 기술로 각광 받고 있다. 그러나 딥러닝은 일반적으로 학습해야하는 데이터가 많을 뿐만 아니라 학습에 요구되는 시간이 매우 길다. 또한 데이터의 전처리 수준과 학습 모델 튜닝에 의해 학습정확도가 크게 영향을 받기 때문에 활용이 어렵다. 딥러닝에서 학습에 요구되는 데이터의 양과 연산량이 많아지면서 분산 처리 프레임워크 기반 분산 학습을 통해 학습 정확도는 유지하면서 학습시간을 단축시키는 사례가 많아지고 있다. 본 연구에서는 범용 분산 처리 프레임워크인 아파치 스파크에서 데이터 병렬화 기반 분산 학습 모델을 활용하여 모바일 빅 데이터 분석을 위한 딥러닝을 구현한다. 딥러닝을 구현할 때 분산학습을 통해 학습 속도를 높이면서도 학습 정확도를 높이기 위한 모델 튜닝 방법을 연구한다. 또한 스파크의 분산 병렬처리 효율을 최대한 끌어올리기 위해 파티션 병렬 최적화 기법을 적용하여 딥러닝의 학습속도를 향상시킨다.

  • PDF

연합학습 환경에서 클라이언트 선택의 최적화 기법

  • 박민정;손영진;채상미
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.11a
    • /
    • pp.722-723
    • /
    • 2023
  • 연합학습은 중앙 서버에서 데이터를 수집하는 방식이 아닌 로컬 디바이스 또는 클라이언트에서 학습을 진행하고 중앙 서버로 모델 업데이트만 전송하는 분산 학습 기법으로 데이터 보안 및 개인정보보호를 강화하는 동시에 효율적인 분산 학습을 수행할 수 있다. 그러나, 연합학습 대부분의 시나리오는 클라이언트의 서로 다른 분포 형태인 non-IID 데이터를 대상으로 학습함에 따라 중앙집중식 모델에 비하여 낮은 성능을 보이게 된다. 이에 본 연구에서는 연합학습 모델의 성능을 개선하기 위하여 non-IID 의 환경에서 참여 후보자 중에서 적합한 클라이언트 선택의 최적화 기법을 분석한다.

A Predictive Model of the Generator Output Based on the Learning of Performance Data in Power Plant (발전플랜트 성능데이터 학습에 의한 발전기 출력 추정 모델)

  • Yang, HacJin;Kim, Seong Kun
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.16 no.12
    • /
    • pp.8753-8759
    • /
    • 2015
  • Establishment of analysis procedures and validated performance measurements for generator output is required to maintain stable management of generator output in turbine power generation cycle. We developed turbine expansion model and measurement validation model for the performance calculation of generator using turbine output based on ASME (American Society of Mechanical Engineers) PTC (Performance Test Code). We also developed verification model for uncertain measurement data related to the turbine and generator output. Although the model in previous researches was developed using artificial neural network and kernel regression, the verification model in this paper was based on algorithms through Support Vector Machine (SVM) model to overcome the problems of unmeasured data. The selection procedures of related variables and data window for verification learning was also developed. The model reveals suitability in the estimation procss as the learning error was in the range of about 1%. The learning model can provide validated estimations for corrective performance analysis of turbine cycle output using the predictions of measurement data loss.

Performance Comparison of Statistics-Based Machine Learning Model for Classification of Technical Documents (기술문서 분류를 위한 통계기반 기계학습 모델 성능비교 및 한계 연구)

  • Kim, Jin-gu;Yu, Heonchang
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.05a
    • /
    • pp.393-396
    • /
    • 2022
  • 본 연구는 국방과학기술 분야의 특허 및 논문 실적을 이용하여 통계기반 기계학습 모델 4 종을 학습하고, 실제 분석 대상기관의 데이터 입력결과를 분석하여 실용성에 대한 한계점 분석을 목적으로 한다. 기존 연구에서는 특허분류코드를 기준으로 분류하여 특수 목적으로 활용하거나 세부 연구 범위 내 연구 주제탐색 및 특징연구 등 미시적인 관점에서의 상세연구 활용 목적인 반면, 본 연구는 거시적인 관점에서 연구의 전체적인 흐름과 경향성 파악을 목적으로 한다. 이에 ICT 기술 138 종의 특허 및 논문 30,965 건과 국방과학기술 192 종의 특허 및 논문 23,406 건을 학습데이터로 각 모델을 학습하였다. 비교한 통계기반 학습모델은 Support Vector Machines, Decision Tree, Naive Bayes, XGBoost 모델이다. 학습데이터에 대한 학습검증 단계에서는 최대 99.4%의 성능을 보였다. 다만, 실제 분석대상기관의 특허 및 논문 12,824 건으로 입력분석한 결과, 모델별 편향성 문제, 데이터 전처리 이슈, 다중클래스 및 다중레이블 문제를 확인, 도출한 문제에 대한 해결방안을 제시하고 추가 연구의 방향성을 제시한다.

Combining Imitation Learning and Reinforcement Learning for Visual-Language Navigation Agents (시각-언어 이동 에이전트를 위한 모방 학습과 강화 학습의 결합)

  • Oh, Suntaek;Kim, Incheol
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2020.05a
    • /
    • pp.559-562
    • /
    • 2020
  • 시각-언어 이동 문제는 시각 이해와 언어 이해 능력을 함께 요구하는 복합 지능 문제이다. 본 논문에서는 시각-언어 이동 에이전트를 위한 새로운 학습 모델을 제안한다. 이 모델은 데모 데이터에 기초한 모방 학습과 행동 보상에 기초한 강화 학습을 함께 결합한 복합 학습을 채택하고 있다. 따라서 이 모델은 데모 데이타에 편향될 수 있는 모방 학습의 문제와 상대적으로 낮은 데이터 효율성을 갖는 강화 학습의 문제를 상호 보완적으로 해소할 수 있다. 또한, 제안 모델은 서로 다른 두 학습 간에 발생 가능한 학습 불균형도 고려하여 손실 정규화를 포함하고 있다. 또, 제안 모델에서는 기존 연구들에서 사용되어온 목적지 기반 보상 함수의 문제점을 발견하고, 이를 해결하기 위해 설계된 새로은 최적 경로 기반 보상 함수를 이용한다. 본 논문에서는 Matterport3D 시뮬레이션 환경과 R2R 벤치마크 데이터 집합을 이용한 다양한 실들을 통해, 제안 모델의 높은 성능을 입증하였다.

Ensemble of Specialized Networks based on Input Space Partition (입력공간 분담에 의한 네트워크들의 앙상블 알고리즘)

  • 신현정;이형주;조성준
    • Proceedings of the Korean Operations and Management Science Society Conference
    • /
    • 2000.10a
    • /
    • pp.33-36
    • /
    • 2000
  • 관찰학습(OLA: Observational Learning Algorithm)은 앙상블 네트워크의 각 구성 모델들이 다른 모델들을 관찰함으로써 얻어진 가상 데이터와 초기에 bo otstrap된 실제 데이터를 학습에 함께 이용하는 방법이다. 본 논문에서는, 초기 학습 데이터 셋을 분할하고 분할된 각 데이터 셋에 대하여 앙상블의 구성 모델들을 전문화(specialize)시키는 방법을 적용하여 기존의 관찰학습 알고리즘을 개선시켰다. 제안된 알고리즘은 bagging 및 boosting과의 비교실험에 의하여, 보다 적은 수의 구성 모델로 동일 내지 보다 나은 성능을 나타냄이 실험적으로 검증되었다.

  • PDF

Optimization of Sensor Data Window Size for Deep Learning Regression Model (딥러닝 회귀 모델 개발을 위한 센서 데이터 윈도우 사이즈 최적화 기법)

  • Choi, Min-Seo;Yoo, Dong-Yeon;Lee, Jung-Won
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.05a
    • /
    • pp.610-613
    • /
    • 2022
  • 센서 데이터의 중요성이 커지면서 센서 데이터 처리 연구의 수요가 증가하고 있다. 센서 데이터 기반의 딥러닝 모델 개발 시, 센서 데이터 단일 값에 의한 출력이 아닌 시계열적인 특성을 반영하여 연속적인 데이터 간의 연관성을 파악할 수 있는 슬라이딩 윈도우 기법을 통해 효율적으로 데이터를 분석하고 처리할 수 있다. 하지만, 기존의 방법들은 학습 성능(학습 시간 및 모델 성능)에 미치는 영향을 평가하는 기준 없이 입력 데이터의 윈도우 사이즈를 임의로 설정하여 데이터를 처리해 왔다. 따라서, 본 논문은 학습 시간과 모델 성능을 기준으로 센서 데이터의 윈도우 사이즈 최적화 기법을 제안한다. 제안한 방법은 전류를 이용하여 스위치와 다이오드 온도를 추정하는 가상 센서(virtual sensor) 실험 테스트베드에 적용하여, 학습 시간 중심으로는 5%의 윈도우 사이즈를, 모델 성능 중심으로는 R2 SCORE 의 값을 0.9295 로 갖는 8%의 윈도우 사이즈가 최적으로 도출되었다.

Learning Bayesian Network Parameters using Dialogue based User Feedbacks (대화기반 사용자 피드백을 이용한 베이지안 네트워크 파라메터 학습)

  • Lim, Sung-Soo;Lee, Seung-Hyun;Cho, Sung-Bae
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2010.06c
    • /
    • pp.419-422
    • /
    • 2010
  • 사용자와 환경의 변화에 적응하기 위해서 베이지안 네트워크의 다양한 학습 방법들이 연구되고 있다. 기존의 많은 학습방법에서는 학습 데이터로부터 통계적 방법을 통해서 베이지안 네트워크 모델을 학습하는데, 이러한 접근 방법은 학습 데이터를 수집하기 어려운 문제에 적용하기 힘들며, 사용자의 의도를 데이터의 패턴들로만 학습하므로 직접적으로 사용자의 의도를 반영할 수 없다. 본 논문에서는 대화에 기반하여 사용자의 의도를 직접적으로 수집하고, 이로부터 베이지안 네트워크의 파라메터를 학습하는 방법을 연구한다. 제안하는 방법에서는 사용자와의 대화를 통해서 현재의 모델의 잘못된 점 혹은 개선점을 직접적으로 입력 받고, 이를 바탕으로 베이지안 네트워크 모델을 수정하여 데이터의 수집 없이 빠른 시간에 사용자가 원하는 모델을 학습 할 수 있다. 기존의 통계적 기법을 이용한 대표적인 베이지안 네트워크 파라메터 학습 방법인 최대우도 추정(Maximum Likelihood Estimation; MLE) 방법과 제안하는 방법을 비교하여 제안하는 방법의 유용성을 확인한다.

  • PDF

A study for classification of students' learning-styles with HMM (Hidden Markov Model을 이용한 학습자 성향 파악에 관한 연구)

  • Jeong Yeong-Mo;Lee Ji-Hyeong;Cha Hyeon-Jin;Park Seon-Hui;Yun Tae-Bok;Kim Yong-Se
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • 2006.05a
    • /
    • pp.310-313
    • /
    • 2006
  • 지능형 학습 시스템(ITS, Intelligent Tutoring System)은 학습자의 학습 스타일을 인지하여 학습자에 맞는 학습전략을 세우고 적절한 학습 서비스를 제공하는 시스템이다. 기존의 학습시스템은 학습자의 학습 스타일 보다는 학습 컨텐츠에 중심을 두어 학습자에게 맞는 학습 전략을 적절히 세우는 과정이 부족했다. 이에 본 논문에서는 학습자의 학습과정에서 발생한 데이터를 기반으로 학습자의 학습 스타일을 파악하는 방법을 제안한다. 이를 위해 서양 건축양식 학습을 위한 교육 컨텐츠를 이용하였으며, 수집된 데이터를 분석하여 Folder & Silverman 이 제시한 학습 스타일에 근거한 학습자의 학습 스타일을 추출하였다. 실험에서는 70명의 데이터를 수집하였고, 학습자가 교육 컨텐츠를 학습한 순서에 대한 시계열 데이터를 기반으로 학습자 성향을 알아보기 위하여 은닉 마코프 모델(Hidden Markov Model)을 사용하였다. 은닉 마코프 모델을 적용하여 얻은 분석 결과를 가지고 각 학습자에게 맞는 학습 스타일을 진단하였다. 은닉 마코프 모델에서 얻은 학습 스타일 진단 모델은 향후에 학습자 학습 스타일을 파악하는데 사용할 수 있으며, ITS에 있어 학습자 성향 분석 모듈로 고려해볼 수 있다.

  • PDF

A Study on the Development of Fire Evacuation Time Prediction Model Based on FDS Data (FDS 데이터 기반 화재 피난가능시간 예측모델 개발에 관한 연구)

  • Lee, Doo-Hee;Kim, Hak-Kyung;Choi, Doo Chan
    • Proceedings of the Korean Society of Disaster Information Conference
    • /
    • 2022.10a
    • /
    • pp.83-84
    • /
    • 2022
  • 이 연구에서는 건축물 화재 시, 허용피난시간을 예측하기 위한 예측모델을 개발하는 것을 목표로 한다. 실제 건축물을 대상으로 화재시뮬레이션을 수행하여 FDS 데이터베이스를 구축하였으며, FDS데이터를 학습하여 설계단계에서 건축물 특성을 학습변수로 하여 기계학습을 통해 ASET을 도출하는 예측모델을 제안하였다. 예측모델은 학습데이터와 비교하였을 때 0.9 이상의 높은 R2값을 나타내었다.

  • PDF