• 제목/요약/키워드: Data-driven models

검색결과 273건 처리시간 0.024초

이상자료가 연안 환경자료의 통계 척도에 미치는 영향 (Impact of Outliers on the Statistical Measures of the Environmental Monitoring Data in Busan Coastal Sea)

  • 조홍연;이기섭;안순모
    • Ocean and Polar Research
    • /
    • 제38권2호
    • /
    • pp.149-159
    • /
    • 2016
  • The statistical measures of the coastal environmental data are used in a variety of statistical inferences, hypothesis tests, and data-driven modeling. If the measures are biased, then the statistical estimations and models may also be biased and this potential for bias is great when data contain some outliers defined as extraordinary large or small data values. This study aims to suggest more robust statistical measures as alternatives to more commonly used measures and to assess the performance these robust measures through a quantitative evaluation of more typical measures, such as in terms of locations, spreads, and shapes, with regard to environmental monitoring data in the Busan coastal sea. The detection of outliers within the data was carried out on the basis of Rosner's test. About 5-10% of the nutrient data were found to contain outliers based on Rosner's test. After removal (zero-weighting) of the outliers in the data sets, the relative change ratios of the mean and standard deviation between before and after outlier-removal conditions revealed the figures 13 and 33%, respectively. The variation magnitudes of skewness and kurtosis are 1.36 and 8.11 in a decreasing trend, respectively. On the other hand, the change ratios for more robust measures regarding the mean and standard deviation are 3.7-10.5%, and the variation magnitudes of robust skewness and kurtosis are about only 2-4% of the magnitude of the non-robust measures. The robust measures can be regarded as outlier-resistant statistical measures based on the relatively small changes in the scenarios before and after outlier removal conditions.

머신러닝&딥러닝 모델을 활용한 댐 일유입량 예측시 융적설을 고려하기 위한 데이터 전처리에 대한 방법 연구 (Study on data preprocessing methods for considering snow accumulation and snow melt in dam inflow prediction using machine learning & deep learning models)

  • 조영식;정관수
    • 한국수자원학회논문집
    • /
    • 제57권1호
    • /
    • pp.35-44
    • /
    • 2024
  • 댐유입량 예측에 대하여 데이터 기반 머신러닝 및 딥러닝(Machine Learning & Deep Learning, ML&DL) 분석도구들이 공개되어 다양한 분야에서 ML&DL의 적용연구가 활발히 진행되고 있으며, 모델의 자체 성능향상 뿐만 아니라 모델의 특성을 고려한 데이터의 전처리도 댐유입량을 정확하게 예측하게 하는 중요한 모델성능 향상의 요소라고 할 수 있다. 특히 기존 강우자료는 적설량을 열선 설비를 통하여 녹여 강우량으로 환산되어 있으므로, 융적설에 따른 강우와 유입량의 상관관계를 왜곡하게 된다. 따라서 본연구에서는 소양강댐과 같이 융적설의 영향을 받는 댐유역에 대한 댐일유입량 예측시 겨울에 강설량이 적설이 되어 적게 유출되는 현상과, 봄에 융설로 인하여 무강우나 적은 비에도 많은 유출이 일어나는 물리적 현상을 ML&DL모델로 적용하기 위하여 필요한 강우 데이터의 전처리에 대한 연구를 수행 하였다. 강우계열, 유입량계열을 조합하여 3가지 머신러닝(SVM, RF, LGBM)과 2가지 딥러닝(LSTM, TCN) 모델을 구축하고, 최적 하이퍼파라메터 튜닝을 통하여 적합 모델을 적용하고 한 결과, NSE 0.842~0.894로 높은 수준의 예측성능을 나타내었다. 또한 융적설을 반영한 강우보정 데이터를 만들기 위하여 융적설 모의 알고리즘을 개발하고, 이를 통하여 산정된 보정강우를 머신러닝 및 딥러닝 모델에 적용한 결과 NSE 0.841~0.896 으로 융적설 적용전과 비슷한 높은 수준의 예측 성능을 나타내었으나, 융적설 기간에는 조정된 강우로 학습되어 예측되었을 때 실측유입량에 근접하는 모의결과를 나타내었다. 결론적으로, 융적설이 영향을 미치는 유역에서의 데이터 모델 적용시에는 입력자료 구축시 적설 및 융설이 물리적으로 타당한 강우-유출 반응에 적합하도록 전처리과정이 중요함을 밝혔다.

The Probability of Solar Proton Events (SPEs) depending on solar and interplanetary type II bursts

  • Youn, Sae-Poom;Moon, Young-Jae;Park, Jin-Hye
    • 한국우주과학회:학술대회논문집(한국우주과학회보)
    • /
    • 한국우주과학회 2011년도 한국우주과학회보 제20권1호
    • /
    • pp.28.4-29
    • /
    • 2011
  • Solar Proton Events (SPEs, ${\geq}\;10\;cm^{-1}s^{-1}sr^{-1}$ with >10 MeV) are very important for space weather forecasting. It is well known that they are associated with solar flares and/or CME-driven shocks. Especially, the CME-driven shocks have been observed as solar and interplanetary type II bursts. In this study, we estimated the occurrence probability of SPEs depending on three groups: (1) metric, (2) decameter-hectometric (D-H), and (3) meter-to-kilometric (m-to-km) type II bursts. For this work, we used SPEs and all available type II burst data in 1996-2004. The primary findings of this study are as follows. First, the majority (77%) of the m-to-km type II bursts are associated with SPEs and its probability is noticeably higher than D-H type II bursts probability strongly depend on longitude: eastern (0%), center(45%), and western (33%) for X-class associated metric type II bursts, eastern (15%), center (55%), and western (50%) for X-class associated D-H type II bursts, eastern (17%), center (77%), and western (64%) for X-class associated m-to-km type II bursts. Third, for m-to-km type II bursts, the SPE probability increases with CME speed: 400km/s${\leq}$V <1000km/s (36%), 1000km/s ${\leq}$V<1500km/s (40%), 1500km/s${\leq}$V (66%). Finally, we expect that these results will be used for setting up more reasonable solar proton event forecasting models.

  • PDF

IT산업이 금융서비스에 미치는 경제적 효과 (Economy Effects of IT Industry on Financial and Insurance Services)

  • 최성욱;신용재
    • 디지털융복합연구
    • /
    • 제13권1호
    • /
    • pp.191-203
    • /
    • 2015
  • 금융서비스에서 IT산업은 운영을 위한 기반산업이며, 경쟁에서 생존하기 위한 필수적인 도구이다. 이렇듯 금융서비스에서 IT의 중요성은 어떠한 산업보다 크다고 볼 수 있다. 따라서 본 연구는 금융서비스 산업을 6개의 산업으로 세분화하고 IT를 하드웨어와 소프트웨어 나눈 후, IT 두 분류가 각 금융서비스 산업 미치는 경제적 효과를 분석하였다. 이를 위해 사용된 자료는 2000년부터 2009년까지의 산업연관표이고, 사용된 모형은 수요유도모형의 생산유발효과와 부가가치유발효과 그리고 공급유도모형의 공급지장효과 마지막으로 물가파급효과이다. 분석결과 IT 하드웨어보다 IT 소프트웨어 및 서비스 산업이 금융서비스에 더 크게 영향을 미치는 것으로 나타났다. 특히, IT 소프트웨어의 공급지장효과는 2000년 대비 2배 이상 증가하여 IT 소프트웨어 1원 생산 시 금융서비스 전체에 0.0847원의 효과를 나타내는 것으로 나타났다. 또한 금융서비스 분야 중 중앙은행 및 예금취급기관이 IT 산업의 가장 크게 영향을 받고 있는 것으로 나타났다. 이러한 연구 결과는 IT 산업과 금융서비스의 상호의존성은 지속적으로 증가하고 있는 것을 보여주고 있다.

Computational intelligence models for predicting the frictional resistance of driven pile foundations in cold regions

  • Shiguan Chen;Huimei Zhang;Kseniya I. Zykova;Hamed Gholizadeh Touchaei;Chao Yuan;Hossein Moayedi;Binh Nguyen Le
    • Computers and Concrete
    • /
    • 제32권2호
    • /
    • pp.217-232
    • /
    • 2023
  • Numerous studies have been performed on the behavior of pile foundations in cold regions. This study first attempted to employ artificial neural networks (ANN) to predict pile-bearing capacity focusing on pile data recorded primarily on cold regions. As the ANN technique has disadvantages such as finding global minima or slower convergence rates, this study in the second phase deals with the development of an ANN-based predictive model improved with an Elephant herding optimizer (EHO), Dragonfly Algorithm (DA), Genetic Algorithm (GA), and Evolution Strategy (ES) methods for predicting the piles' bearing capacity. The network inputs included the pile geometrical features, pile area (m2), pile length (m), internal friction angle along the pile body and pile tip (Ø°), and effective vertical stress. The MLP model pile's output was the ultimate bearing capacity. A sensitivity analysis was performed to determine the optimum parameters to select the best predictive model. A trial-and-error technique was also used to find the optimum network architecture and the number of hidden nodes. According to the results, there is a good consistency between the pile-bearing DA-MLP-predicted capacities and the measured bearing capacities. Based on the R2 and determination coefficient as 0.90364 and 0.8643 for testing and training datasets, respectively, it is suggested that the DA-MLP model can be effectively implemented with higher reliability, efficiency, and practicability to predict the bearing capacity of piles.

Data driven inverse stochastic models for fiber reinforced concrete

  • Kozar, Ivica;Bede, Natalija;Bogdanic, Anton;Mrakovcic, Silvija
    • Coupled systems mechanics
    • /
    • 제10권6호
    • /
    • pp.509-520
    • /
    • 2021
  • Fiber-reinforced concrete (FRC) is a composite material where small fibers made from steel or polypropylene or similar material are embedded into concrete matrix. In a material model each constituent should be adequately described, especially the interface between the matrix and fibers that is determined with the 'bond-slip' law. 'Bond-slip' law describes relation between the force in a fiber and its displacement. Bond-slip relation is usually obtained from tension laboratory experiments where a fiber is pulled out from a matrix (concrete) block. However, theoretically bond-slip relation could be determined from bending experiments since in bending the fibers in FRC get pulled-out from the concrete matrix. We have performed specially designed laboratory experiments of three-point beam bending with an intention of using experimental data for determination of material parameters. In addition, we have formulated simple layered model for description of the behavior of beams in the three-point bending test. It is not possible to use this 'forward' beam model for extraction of material parameters so an inverse model has been devised. This model is a basis for formulation of an inverse model that could be used for parameter extraction from laboratory tests. The key assumption in the developed inverse solution procedure is that some values in the formulation are known and comprised in the experimental data. The procedure includes measured data and its derivative, the formulation is nonlinear and solution is obtained from an iterative procedure. The proposed method is numerically validated in the example at the end of the paper and it is demonstrated that material parameters could be successfully recovered from measured data.

딥 러닝 기반의 이기종 무선 신호 구분을 위한 데이터 수집 효율화 기법 (An Efficient Data Collection Method for Deep Learning-based Wireless Signal Identification in Unlicensed Spectrum)

  • 최재혁
    • 전기전자학회논문지
    • /
    • 제26권1호
    • /
    • pp.62-66
    • /
    • 2022
  • 최근 데이터 기반의 딥러닝 기술을 적용하여 비면허 대역의 다양한 통신 신호를 분류하는 연구가 활발히 수행되고 있다. 하지만, 복잡한 신경망 모델 사용을 기반으로 이뤄진 이러한 접근법은 높은 연산 능력을 필요로 하게 되어, 자원 제약적인 무선 인터페이스 및 사물인터넷(Internet of Things) 장비에서는 사용이 제약된다. 본 연구에서는 비면허 대역의 무선 이기종 기술을 인지하기 위한 데이터 기반의 접근 방법을 살펴보고, 신호의 특징 추출 및 데이터화의 효율화 문제를 다룬다. 구체적으로, 비면허 대역의 다른 종류의 무선 통신 기술을 구분하기 위해 수신 신호 강도 측정을 기반으로 한 시계열 데이터를 이용해 합성곱 신경망(Convolutional Neural Network, CNN) 모델을 학습시켜 신호를 분류하는 방법을 살펴본다. 이 과정에서 동일한 구조의 신경망 모델의 경량화를 위한 효율적 신호의 시계열 데이터 정보 수집시 주파수 대역의 특징을 함께 특징화하는 방법을 제안하고, 그 효과를 평가한다. Bluetooth 호환의 Ubertooth 장비를 이용한 실측 기반의 실험 결과는 제안된 샘플링 기법이 동일한 신경망에 대해서 10% 수준의 샘플링 데이터 이용만으로도 동일한 정확도를 유지함을 보여준다.

The Architecture of an Intelligent Digital Twin for a Cyber-Physical Route-Finding System in Smart Cities

  • Habibnezhad, Mahmoud;Shayesteh, Shayan;Liu, Yizhi;Fardhosseini, Mohammad Sadra;Jebelli, Houtan
    • 국제학술발표논문집
    • /
    • The 8th International Conference on Construction Engineering and Project Management
    • /
    • pp.510-519
    • /
    • 2020
  • Within an intelligent automated cyber-physical system, the realization of the autonomous mechanism for data collection, data integration, and data analysis plays a critical role in the design, development, operation, and maintenance of such a system. This construct is particularly vital for fault-tolerant route-finding systems that rely on the imprecise GPS location of the vehicles to properly operate, timely plan, and continuously produce informative feedback to the user. More essentially, the integration of digital twins with cyber-physical route-finding systems has been overlooked in intelligent transportation services with the capacity to construct the network routes solely from the locations of the operating vehicles. To address this limitation, the present study proposes a conceptual architecture that employs digital twin to autonomously maintain, update, and manage intelligent transportation systems. This virtual management simulation can improve the accuracy of time-of-arrival prediction based on auto-generated routes on which the vehicle's real-time location is mapped. To that end, first, an intelligent transportation system was developed based on two primary mechanisms: 1) an automated route finding process in which predictive data-driven models (i.e., regularized least-squares regression) can elicit the geometry and direction of the routes of the transportation network from the cloud of geotagged data points of the operating vehicles and 2) an intelligent mapping process capable of accurately locating the vehicles on the map whereby their arrival times to any point on the route can be estimated. Afterward, the digital representations of the physical entities (i.e., vehicles and routes) were simulated based on the auto-generated routes and the vehicles' locations in near-real-time. Finally, the feasibility and usability of the presented conceptual framework were evaluated through the comparison between the primary characteristics of the physical entities with their digital representations. The proposed architecture can be used by the vehicle-tracking applications dependent on geotagged data for digital mapping and location tracking of vehicles under a systematic comparison and simulation cyber-physical system.

  • PDF

사용자 관심 이슈 분석을 통한 추천시스템 성능 향상 방안 (Improving Performance of Recommendation Systems Using Topic Modeling)

  • 최성이;현윤진;김남규
    • 지능정보연구
    • /
    • 제21권3호
    • /
    • pp.101-116
    • /
    • 2015
  • 많은 기관들이 데이터에 기반을 둔 의사결정을 수행해 왔으며, 특히 수치자료를 비롯한 정형 데이터가 이러한 목적으로 널리 활용되어 왔다. 하지만 최근에는 스마트기기와 소셜미디어의 발달로 인해 다양한 형태를 가진 방대한 양의 정보가 생성, 공유, 저장되면서, 전통적인 정형 데이터 기반 의사결정으로부터 비정형 빅데이터 기반 의사결정으로 관심의 전환이 이루어지고 있다. 데이터 기반 의사결정의 대표적 분야인 추천시스템 분야에서도 성능 향상을 위해 비정형 데이터를 활용해야 한다는 필요성이 최근 꾸준히 제기되고 있다. 특히 사용자의 성향이나 선호도는 고객의 니즈와 직결되기 때문에, 비정형 데이터 분석을 통해 사용자의 성향을 파악하고 이를 통해 상품 추천 및 구매 예측의 정확도를 향상시키기 위한 노력이 매우 시급하게 이루어질 필요가 있다. 따라서 본 연구에서는 사용자의 성향을 측정하여 재구매 예측 정확도, 특히 카테고리별 재구매 예측 정확도를 높임으로써, 궁극적으로 추천시스템의 성능을 향상시킬 수 있는 방안을 제시한다. 구체적으로는 사용자의 일상적인 인터넷 사용 기록을 분석하여 고객이 조회하는 뉴스 기사의 이슈를 식별하고 다양한 이슈에 대한 고객의 관심을 계량화한 후, 이를 활용하여 고객의 카테고리별 재구매 여부를 예측하는 모델을 제안하고자 한다. 실제 웹 트랜잭션으로부터 도출된 인터넷 뉴스 조회 기록 및 쇼핑몰 구매 기록을 대상으로 실험을 수행한 결과, 고객의 과거 구매이력만을 활용한 카테고리 재구매 예측 모형에 비해 본 연구에서 제안한 모형, 즉 고객의 과거 구매이력과 관심 이슈를 모두 활용한 예측 모형의 정확도가 다소 우수한 것으로 나타났다.

하이브리드 유한요소해석을 위한 인공지능 조인트 모델 개발 (Development of Artificial Intelligence Joint Model for Hybrid Finite Element Analysis)

  • 장경석;임형준;황지혜;신재윤;윤군진
    • 한국항공우주학회지
    • /
    • 제48권10호
    • /
    • pp.773-782
    • /
    • 2020
  • 심층신경망 기반 하이브리드 유한요소해석을 위한 조인트 모델 방법 구축을 소개한다. 트렉터의 앞차축에서 다양한 체결 조건에 의해 유발되는 복잡한 거동 상태를 가지는 볼트와 베어링의 재료 모델을 심층신경망으로 대체했다. 볼트는 6자유도를 갖는 1차원 티모센코 빔 요소를 이용했고, 베어링은 3차원 솔리드 요소를 이용했다. 다양한 하중 조건을 바탕으로 유한요소해석을 한 뒤, 모든 요소에서 응력-변형률 데이터를 추출하고 텐서플로를 이용하여 학습시켰다. 신경망 기반 유한요소해석을 할 때 추출된 데이터를 바탕으로 학습된 심층신경망은 ABAQUS 서브루틴 안에 포함되어 현재 해석 증분의 응력을 예측하고 접선강도행렬을 계산할 수 있게 했다. 학습된 심층신경망 조인트 모델의 일반화 성능은 훈련에 사용되지 않은 새로운 하중 조건에서 해석하여 검증하였다. 최종적으로 이 방법을 이용하여 심층신경망 기반 앞차축 해석을 진행하고 응력장 분포를 검증했다. 또한, 실제 트렉터의 3점 굽힘 실험 결과와 비교하여 심층신경망 기반 해석의 타당성을 검토했다.