• 제목/요약/키워드: Multi-Layer Perceptron(MLP)

검색결과 227건 처리시간 0.024초

퍼지관계와 유전자 알고리즘에 기반한 진화론적 최적 퍼지다항식 뉴럴네트워크: 해석과 설계 (Evolutionally optimized Fuzzy Polynomial Neural Networks Based on Fuzzy Relation and Genetic Algorithms: Analysis and Design)

  • 박병준;이동윤;오성권
    • 한국지능시스템학회논문지
    • /
    • 제15권2호
    • /
    • pp.236-244
    • /
    • 2005
  • 본 연구에서는 퍼지관계 및 진화론적 최적 다층 퍼셉트론에 기초한 퍼지다항식 뉴럴네트워크(FPNN)의 새로운 구조를 소개하고, 포괄적인 설계방법론을 토의하며, 그리고 일련의 수치적인 실험이 수행된다. 진화론적 최적 FPNN(EFPNN)의 구축을 위해 컴퓨터지능(CI)의 기반 기술을 이용한다. EFPNN의 구조는 규칙베이스 퍼지뉴럴네트워크와 다항식 뉴럴네트워크의 결합에 의한 유전자 최적 구동 하이브리드 시스템의 시너지 이용으로 얻어진다. 퍼지뉴럴네트워크는 EFPNN의 전체규칙 구조의 전반부에 기여하고, EFPNN의 후반부는 다항식 뉴럴네트워크를 사용하여 설계된다. EFPNN의 후반부를 위한 유전론적 최적 다항식 뉴럴네트워크의 개발은 두 최적화 기법에 의해 수행된다. 즉 구조적 최적화는 유전자알고리즘에 의해 수행되고, 파라미터 최적화는 최소자승법 기반의 학습을 통해 행하여진다. EFPNN의 성능 평가를 위해, 모델은 몇 가지 수치 예제를 이용한다. 비교에 의한 해석은 제안된 EFPNN이 이전에 제시된 다른 지능형 모델보다 높은 정확도 뿐만 아니라 좀 더 우수한 예측능력을 가지는 모델임을 보여준다.

기계 학습을 활용한 이미지 결함 검출 모델 개발 (Development of Image Defect Detection Model Using Machine Learning)

  • 이남영;조혁현;정희택
    • 한국전자통신학회논문지
    • /
    • 제15권3호
    • /
    • pp.513-520
    • /
    • 2020
  • 최근 기계 학습을 활용한 비전 검사 시스템의 개발이 활발해지고 있다. 본 연구는 기계 학습을 활용한 결함 검사 모델을 개발하고자 한다. 이미지에 대한 결함 검출 문제는 기계 학습에 있어 지도 학습 방법인 분류 문제에 해당한다. 본 연구에서는 특징을 자동 추출하는 알고리즘과 특징을 추출하지 않는 알고리즘을 기반으로 결함 검출 모델을 개발한다. 특징을 자동 추출하는 알고리즘으로 1차원 합성곱 신경망과 2차원 합성곱 신경망을 활용하였으며, 특징을 추출하지 않는 알고리즘으로 다중 퍼셉트론, 서포트 벡터 머신을 활용하였다. 4가지 모델을 기반으로 결함 검출 모델을 개발하였고 이들의 정확도와 AUC를 기반으로 성능 비교하였다. 이미지 분류는 합성곱 신경망을 활용한 모델 개발이 일반적임에도, 본 연구에서 이미지의 화소를 RGB 값으로 변환하여 서포트 벡터 머신 모델을 개발할 때 높은 정확도와 AUC를 얻을 수 있었다.

신경회로망 기반 고장 진단 시스템을 위한 고장 신호별 특징 벡터 결정 방법 (Feature Vector Decision Method of Various Fault Signals for Neural-network-based Fault Diagnosis System)

  • 한형섭;조상진;정의필
    • 한국소음진동공학회논문집
    • /
    • 제20권11호
    • /
    • pp.1009-1017
    • /
    • 2010
  • As rotating machines play an important role in industrial applications such as aeronautical, naval and automotive industries, many researchers have developed various condition monitoring system and fault diagnosis system by applying various techniques such as signal processing and pattern recognition. Recently, fault diagnosis systems using artificial neural network have been proposed. For effective fault diagnosis, this paper used MLP(multi-layer perceptron) network which is widely used in pattern classification. Since using obtained signals without preprocessing as inputs of neural network can decrease performance of fault classification, it is very important to extract significant features of captured signals and to apply suitable features into diagnosis system according to the kinds of obtained signals. Therefore, this paper proposes the decision method of the proper feature vectors about each fault signal for neural-network-based fault diagnosis system. We applied LPC coefficients, maximum magnitudes of each spectral section in FFT and RMS(root mean square) and variance of wavelet coefficients as feature vectors and selected appropriate feature vectors as comparing error ratios of fault diagnosis for sound, vibration and current fault signals. From experiment results, LPC coefficients and maximum magnitudes of each spectral section showed 100 % diagnosis ratios for each fault and the method using wavelet coefficients had noise-robust characteristic.

신경 회로망을 이용한 연속 음성에서의 keyword spotting 인식 방식에 관한 연구 (A study on the Method of the Keyword Spotting Recognition in the Continuous speech using Neural Network)

  • 양진우;김순협
    • 한국음향학회지
    • /
    • 제15권4호
    • /
    • pp.43-49
    • /
    • 1996
  • 본 논문은 keyword spotting 기술을 이용한 247개의 DDD 지역명을 인식 대상으로 하여 화자 독립의 한국어 연속 음성인식을 위한 시스템을 제안하였다. 적용된 인식 알고리즘은 음성에서 시간축의 변화와 스펙트럼의 왜곡을 흡수할 수 있는 모델로 DP와 MLP로 구성된 동적 프로그래밍 신경회로망(DPNN)을 사용하였다. 이와 같은 실험을 위해 단어 모델을 만들고 이에 대한 단어 모델을 keyword 모델과 non-keyword 모델로 구분하여 성능을 향상시킬 수 있도록 하였다. 또한 잘못된 결과를 출력시키지 않기 위해서 후처리 과정을 두고 실험을 하였다. 실험결과, 단독어에 대한 화자 종속 실험은 93.45%의 결과를 보였고, 단독어에 대한 화자 독립 실험은 84.05%의 실험결과를 보였으며, 가장 중요한 간단한 대화체 문장의 keyword spotting 실험은 화자 종속으로 77.34%의 결과를 보였으며, 화자 독립 실험은 70.63%의 결과를 얻었다.

  • PDF

다층퍼셉트론 기반 리 샘플링 방법 비교를 위한 마이크로어레이 분류 예측 에러 추정 시스템 (Classification Prediction Error Estimation System of Microarray for a Comparison of Resampling Methods Based on Multi-Layer Perceptron)

  • 박수영;정채영
    • 한국정보통신학회논문지
    • /
    • 제14권2호
    • /
    • pp.534-539
    • /
    • 2010
  • 게놈 연구에서 수천 개의 특징들은 비교적 작은 샘플들로부터 모아진다. 게놈 연구의 목적은 미래 관찰들의 결과를 예측하는 분류기를 만드는 것이다. 분류기를 만들기 위해서는 특징 선택, 모델 선택 그리고 예측 평가 등의 3단계 과정을 거친다. 본 논문은 예측 평가에 초점을 맞추고 모든 슬라이드의 사분위수를 똑같게 맞추는 quantilenormalization 적용하여 마이크로어레이 데이터를 표준화 한 후 특징 선택에 앞서 예측 모델의 '진짜' 예측 에러를 평가하기 위해 몇 개의 방법들을 비교하는 시스템을 고안하고 방법들의 예측 에러를 비교 분석 하였다. LOOCV는 전체적으로 작은 MSE와 bias를 나타내었고, 크기가 작은 샘플에서 split 방법과 2-fold CV는 매우 좋지 않는 결과를 보였다. 계산적으로 번거로운 분석에 대해서는 10-fold CV가 LOOCV보다 오히려 더 낳은 경향을 보였다.

Long Short-Term Memory를 활용한 건화물운임지수 예측 (Prediction of Baltic Dry Index by Applications of Long Short-Term Memory)

  • 한민수;유성진
    • 품질경영학회지
    • /
    • 제47권3호
    • /
    • pp.497-508
    • /
    • 2019
  • Purpose: The purpose of this study is to overcome limitations of conventional studies that to predict Baltic Dry Index (BDI). The study proposed applications of Artificial Neural Network (ANN) named Long Short-Term Memory (LSTM) to predict BDI. Methods: The BDI time-series prediction was carried out through eight variables related to the dry bulk market. The prediction was conducted in two steps. First, identifying the goodness of fitness for the BDI time-series of specific ANN models and determining the network structures to be used in the next step. While using ANN's generalization capability, the structures determined in the previous steps were used in the empirical prediction step, and the sliding-window method was applied to make a daily (one-day ahead) prediction. Results: At the empirical prediction step, it was possible to predict variable y(BDI time series) at point of time t by 8 variables (related to the dry bulk market) of x at point of time (t-1). LSTM, known to be good at learning over a long period of time, showed the best performance with higher predictive accuracy compared to Multi-Layer Perceptron (MLP) and Recurrent Neural Network (RNN). Conclusion: Applying this study to real business would require long-term predictions by applying more detailed forecasting techniques. I hope that the research can provide a point of reference in the dry bulk market, and furthermore in the decision-making and investment in the future of the shipping business as a whole.

분포형 모형과 인공신경망을 활용한 유출 예측 (Run-off Forecasting using Distributed model and Artificial Neural Network model)

  • 김원진;이용관;정충길;김성준
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2019년도 학술발표회
    • /
    • pp.35-35
    • /
    • 2019
  • 본 연구에서는 분포형 수문 모형 Drying Stream Assessment Tool and Water Flow Tracking (DrySAT-WTF)을 활용해 우리나라의 1976년부터 2015년까지의 유출량을 산정하고, 이를 다층퍼셉트론(Multi Layer Perceptron) 인경신경망 모형(Artificial Neural Network Model)에 적용해 미래 유출을 예측하였다. DrySAT-WFT은 전국 표준 유역을 대상으로 하천 건천화 원인 추적 및 평가를 위해 개발된 모형으로 유출모의를 위한 기상자료 외에 건천화 영향 요소를 고려하기 위한 산림 높이, 도로망, 지하수 이용량, 토지이용, 토심 변화에 대한 DB를 적용 가능한 것이 특징이다. DrySAT-WFT를 위한 기상자료로 모의 기간에 대한 일별 강우량, 상대습도, 평균풍속, 평균 및 최고, 최저 기온, 일조시간을 구축하였으며, 연대별 건천화 영향 요소 DB를 구축하여 적용하였다. 전국 다목적 댐 보 12지점의 유량을 활용해 모형의 보정(2005-2010) 및 검증(2011-2015)을 실시한 결과, 평균 결정계수(Coefficient of determination, $R^2$)는 0.76, 모형효율성계수(Nash-Sutcliffe efficiency, NSE)는 0.62, 평균제곱근오차(average root mean square error, RMSE)는 3.09로 신뢰성 있는 유출 모의 결과를 나타내었다. 미래 유출량 예측을 위한 MLP-ANN은 1976년부터 2015년까지의 유출 모의 결과를 Training Set으로 훈련하여 $R^2$가 0.5 이상이 되어 신뢰성을 확보하였고, 2016년부터 2018년까지의 기간을 1개월 단위로 실제 유출량과 예측 유출량을 비교하며 적용성을 검증 및 향상시켰다.

  • PDF

시계열 분해 및 데이터 증강 기법 활용 건화물운임지수 예측 (Forecasting Baltic Dry Index by Implementing Time-Series Decomposition and Data Augmentation Techniques)

  • 한민수;유성진
    • 품질경영학회지
    • /
    • 제50권4호
    • /
    • pp.701-716
    • /
    • 2022
  • Purpose: This study aims to predict the dry cargo transportation market economy. The subject of this study is the BDI (Baltic Dry Index) time-series, an index representing the dry cargo transport market. Methods: In order to increase the accuracy of the BDI time-series, we have pre-processed the original time-series via time-series decomposition and data augmentation techniques and have used them for ANN learning. The ANN algorithms used are Multi-Layer Perceptron (MLP), Recurrent Neural Network (RNN), and Long Short-Term Memory (LSTM) to compare and analyze the case of learning and predicting by applying time-series decomposition and data augmentation techniques. The forecast period aims to make short-term predictions at the time of t+1. The period to be studied is from '22. 01. 07 to '22. 08. 26. Results: Only for the case of the MAPE (Mean Absolute Percentage Error) indicator, all ANN models used in the research has resulted in higher accuracy (1.422% on average) in multivariate prediction. Although it is not a remarkable improvement in prediction accuracy compared to uni-variate prediction results, it can be said that the improvement in ANN prediction performance has been achieved by utilizing time-series decomposition and data augmentation techniques that were significant and targeted throughout this study. Conclusion: Nevertheless, due to the nature of ANN, additional performance improvements can be expected according to the adjustment of the hyper-parameter. Therefore, it is necessary to try various applications of multiple learning algorithms and ANN optimization techniques. Such an approach would help solve problems with a small number of available data, such as the rapidly changing business environment or the current shipping market.

전자결제서비스 이용 사업자 폐업 예측에서 비재무정보 활용을 통한 머신러닝 모델의 정확도 향상에 관한 연구 (A study on improving the accuracy of machine learning models through the use of non-financial information in predicting the Closure of operator using electronic payment service)

  • 공현정;황유진;박성혁
    • 지능정보연구
    • /
    • 제29권3호
    • /
    • pp.361-381
    • /
    • 2023
  • 기업 부도 예측에 관한 연구는 재무정보를 중심으로 연구되어 왔다. 기업의 재무정보는 분기별로 갱신되기 때문에 실시간으로 기업의 폐업 가능성을 예측하는 데 있어 적시성이 부족하게 되는 문제가 발생한다. 이를 개선하고자 하는 평가 기업에서는 대상 기업의 건전성을 판단하기 위한 재무정보 외의 정보를 활용한 기업의 건전성을 판단하는 방법이 필요하다. 이를 위해 정보 기술의 발달로 기업에 대한 비재무정보 수집이 용이해지면서 기업 부도 예측에 재무정보 외의 추가적인 변수와 여러 가지 방법론을 적용하는 연구가 진행되어 왔으며, 이 중에서도 어떤 변수들이 기업의 부도를 예측하는데 영향을 주는지를 밝히는 것이 중요한 연구 과제가 되었다. 본 연구에서는 전자결제서비스를 이용하는 사업자의 폐업을 예측할 때 비재무정보를 구성하는 전자결제 정보들이 얼마나 영향을 미치는지를 살펴보았으며, 재무정보와 비재무정보 결합에 따른 폐업 예측 정확도 차이를 살펴보았다. 구체적으로, 재무정보 모형과 비재무정보 모형, 그리고 이를 결합한 모형으로 구성된 세 가지 연구 모형을 설계하였으며 Multi Layer Perceptron(MLP) 알고리즘을 포함한 여섯 가지 알고리즘으로 폐업 예측 정확도를 확인하였다. 재무정보와 비재무정보를 결합한 모형이 가장 높은 예측 정확도를 보였으며, 그 다음으로는 비재무정보 모형, 재무정보 모형의 순서로 예측 정확도가 확인되었다. 알고리즘별 폐업 예측 정확도는 여섯 가지의 알고리즘 중 XGBoost가 가장 높은 예측 정확도를 보였다. 사업자의 폐업 예측에 활용된 전체 87개의 변수를 대상으로 상대적 중요도를 살펴본 결과 폐업 예측에 중요하게 영향을 미친 변수는 상위 20개 중 70% 이상이 비재무정보인 것으로 확인되었다. 이를 통해 비재무정보의 전자결제 정보가 사업자의 폐업을 예측하는 중요한 변수임을 확인하였으며, 비재무 정보가 재무정보의 대안적 정보로서 활용할 수 있는 가능성 역시 살펴볼 수 있었다. 본 연구를 기반으로 사업자의 폐업을 예측할 수 있는 정보로서 비재무정보의 수집과 활용에 대한 중요성을 인식하고 기업의 의사결정에 활용할 수 있는 방안에 대해서도 다루었다.

인공신경망을 이용한 FRP 보강 콘크리트 보의 휨모멘트 평가 (Evaluation of the Bending Moment of FRP Reinforced Concrete Using Artificial Neural Network)

  • 박도경
    • 한국구조물진단유지관리공학회 논문집
    • /
    • 제10권5호
    • /
    • pp.179-186
    • /
    • 2006
  • 본 연구에서는 FRP Rebar로 보강된 철근콘크리트 보의 휨성능을 평가할 수 있는 모형을 개발하기 위하여 인공신경망 중 다층인식자 모형을 사용하였다. 인공신경망 모형에 사용될 학습자료들은 기존 연구자료들의 데이터를 이용하였다. 입력층의 독립변수는 휨성능에 주요 요소인 폭, 유효깊이, 압축강도, FRP 보강비, FRP 균형철근비을 사용하였다. 출력층 종속변수는 실험에서 측정된 모멘트 성능을 사용하였다. 개발된 인공신경망 모형은 GFRP, CFRP, AFRP Rebar 적용이 모두 가능하며, 모형의 검증은 다른 선행 연구자들이 수행한 자료를 이용하였다. 인공신경망 모형 추정결과 ANN(0.05) 모형의 경우에 비교적 정확한 휨성능 추정값을 나타낸 반면, ANN(0.1) 모형에서는 다소 오차가 발생하였다. 인공신경망 모형의 검증결과 주어진 실험 데이터 값과 비교적 일치하고 있음을 확인할 수 있었다. 또한, 휨성능 평가 변수에 대한 민감도 분석결과 유효깊이의 영향이 가장 크고 FRP 철근비, FRP 균형철근비, 압축강도, 폭으로 분석되었다.