• 제목/요약/키워드: Learning Data Model

검색결과 4,644건 처리시간 0.045초

Remote Sensing Image Classification for Land Cover Mapping in Developing Countries: A Novel Deep Learning Approach

  • Lynda, Nzurumike Obianuju;Nnanna, Nwojo Agwu;Boukar, Moussa Mahamat
    • International Journal of Computer Science & Network Security
    • /
    • 제22권2호
    • /
    • pp.214-222
    • /
    • 2022
  • Convolutional Neural networks (CNNs) are a category of deep learning networks that have proven very effective in computer vision tasks such as image classification. Notwithstanding, not much has been seen in its use for remote sensing image classification in developing countries. This is majorly due to the scarcity of training data. Recently, transfer learning technique has successfully been used to develop state-of-the art models for remote sensing (RS) image classification tasks using training and testing data from well-known RS data repositories. However, the ability of such model to classify RS test data from a different dataset has not been sufficiently investigated. In this paper, we propose a deep CNN model that can classify RS test data from a dataset different from the training dataset. To achieve our objective, we first, re-trained a ResNet-50 model using EuroSAT, a large-scale RS dataset to develop a base model then we integrated Augmentation and Ensemble learning to improve its generalization ability. We further experimented on the ability of this model to classify a novel dataset (Nig_Images). The final classification results shows that our model achieves a 96% and 80% accuracy on EuroSAT and Nig_Images test data respectively. Adequate knowledge and usage of this framework is expected to encourage research and the usage of deep CNNs for land cover mapping in cases of lack of training data as obtainable in developing countries.

이산화 과정을 배제한 실수 값 인자 데이터의 고차 패턴 분석을 위한 진화연산 기반 하이퍼네트워크 모델 (Evolutionary Hypernetwork Model for Higher Order Pattern Recognition on Real-valued Feature Data without Discretization)

  • 하정우;장병탁
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제37권2호
    • /
    • pp.120-128
    • /
    • 2010
  • 하이퍼네트워크는 하이퍼그래프의 일반화된 모델로 학습과정에 있어 진화적 개념을 도입한 확률 그래프 기반의 기계학습 알고리즘으로서 최근 들어 여러 다양한 분야에 응용되고 있다. 그러나 하이퍼네트워크 모델은 데이터와 모델을 구성하는 하이퍼에지 간의 동등비교를 기반으로 하는 학습과정의 특성상 데이터를 구성하는 인자들이 범주형인 경우에만 학습 및 모델링이 가능하고 실수 값으로 표현된 데이터를 학습하기 위해서는 이산화 등의 전처리가 선행되어야 한다는 한계점이 있다. 하지만 데이터 전처리에 있어 이산화 하는 과정은 필연적으로 정보손실이 발생할 수밖에 없기 때문에 이는 분류 예측 모델의 성능 저하를 유발하는 원인이 될 수 있다. 이러한 기존 하이퍼네트워크 모델의 한계점을 극복하기 위해 본 연구에서는 별도의 데이터 전처리 과정을 거치지 않고 실수 인자로 구성된 데이터의 패턴 학습이 가능한 개선된 하이퍼네트워크 모델을 제안한다. 여러 실험 결과를 통해 제안한 하이퍼네트워크 모델은 기존 하이퍼네트워크 모델에 비해 실수형 데이터에 대한 학습 및 분류 결과 성능이 향상되었을 뿐 아니라, 다른 여러기계학습 방법들에 비해서도 경쟁력 있는 성능이 나타남을 확인하였다.

Machine Learning Based Neighbor Path Selection Model in a Communication Network

  • Lee, Yong-Jin
    • International journal of advanced smart convergence
    • /
    • 제10권1호
    • /
    • pp.56-61
    • /
    • 2021
  • Neighbor path selection is to pre-select alternate routes in case geographically correlated failures occur simultaneously on the communication network. Conventional heuristic-based algorithms no longer improve solutions because they cannot sufficiently utilize historical failure information. We present a novel solution model for neighbor path selection by using machine learning technique. Our proposed machine learning neighbor path selection (ML-NPS) model is composed of five modules- random graph generation, data set creation, machine learning modeling, neighbor path prediction, and path information acquisition. It is implemented by Python with Keras on Tensorflow and executed on the tiny computer, Raspberry PI 4B. Performance evaluations via numerical simulation show that the neighbor path communication success probability of our model is better than that of the conventional heuristic by 26% on the average.

Understanding the Current State of Deep Learning Application to Water-related Disaster Management in Developing Countries

  • Yusuff, Kareem Kola;Shiksa, Bastola;Park, Kidoo;Jung, Younghun
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.145-145
    • /
    • 2022
  • Availability of abundant water resources data in developing countries is a great concern that has hindered the adoption of deep learning techniques (DL) for disaster prevention and mitigation. On the contrary, over the last two decades, a sizeable amount of DL publication in disaster management emanated from developed countries with efficient data management systems. To understand the current state of DL adoption for solving water-related disaster management in developing countries, an extensive bibliometric review coupled with a theory-based analysis of related research documents is conducted from 2003 - 2022 using Web of Science, Scopus, VOSviewer software and PRISMA model. Results show that four major disasters - pluvial / fluvial flooding, land subsidence, drought and snow avalanche are the most prevalent. Also, recurrent flash floods and landslides caused by irregular rainfall pattern, abundant freshwater and mountainous terrains made India the only developing country with an impressive DL adoption rate of 50% publication count, thereby setting the pace for other developing countries. Further analysis indicates that economically-disadvantaged countries will experience a delay in DL implementation based on their Human Development Index (HDI) because DL implementation is capital-intensive. COVID-19 among other factors is identified as a driver of DL. Although, the Long Short Term Model (LSTM) model is the most frequently used, but optimal model performance is not limited to a certain model. Each DL model performs based on defined modelling objectives. Furthermore, effect of input data size shows no clear relationship with model performance while final model deployment in solving disaster problems in real-life scenarios is lacking. Therefore, data augmentation and transfer learning are recommended to solve data management problems. Intensive research, training, innovation, deployment using cheap web-based servers, APIs and nature-based solutions are encouraged to enhance disaster preparedness.

  • PDF

LSTM 모형을 이용한 하천 고탁수 발생 예측 연구 (Prediction of high turbidity in rivers using LSTM algorithm)

  • 박정수;이현호
    • 상하수도학회지
    • /
    • 제34권1호
    • /
    • pp.35-43
    • /
    • 2020
  • Turbidity has various effects on the water quality and ecosystem of a river. High turbidity during floods increases the operation cost of a drinking water supply system. Thus, the management of turbidity is essential for providing safe water to the public. There have been various efforts to estimate turbidity in river systems for proper management and early warning of high turbidity in the water supply process. Advanced data analysis technology using machine learning has been increasingly used in water quality management processes. Artificial neural networks(ANNs) is one of the first algorithms applied, where the overfitting of a model to observed data and vanishing gradient in the backpropagation process limit the wide application of ANNs in practice. In recent years, deep learning, which overcomes the limitations of ANNs, has been applied in water quality management. LSTM(Long-Short Term Memory) is one of novel deep learning algorithms that is widely used in the analysis of time series data. In this study, LSTM is used for the prediction of high turbidity(>30 NTU) in a river from the relationship of turbidity to discharge, which enables early warning of high turbidity in a drinking water supply system. The model showed 0.98, 0.99, 0.98 and 0.99 for precision, recall, F1-score and accuracy respectively, for the prediction of high turbidity in a river with 2 hour frequency data. The sensitivity of the model to the observation intervals of data is also compared with time periods of 2 hour, 8 hour, 1 day and 2 days. The model shows higher precision with shorter observation intervals, which underscores the importance of collecting high frequency data for better management of water resources in the future.

A Conceptual Framework for Determination of Appropriate Business Model in e-Learning Industry in Iran

  • Salehinejad, Abbas;Samizadeh, Reza
    • Asian Journal of Business Environment
    • /
    • 제7권4호
    • /
    • pp.17-25
    • /
    • 2017
  • Purpose - The purpose of this study is to present a framework for determining the most appropriate business model for e-learning. Research design, data, and methodology - The Electronics Branch of Azad University has been elected as a case study in this research. This study conducted using a descriptive method. The information was obtained using interviews with experts including managers, faculty and students at the Electronics Branch of Azad University. Results - Three service-product system (product oriented system, use an oriented and result oriented system) approaches determined a framework for the formation of a portfolio. This portfolio is including three types of e-learning business models. Examining the relevant characteristics, correspondence of behaviorism learning theory with a product-oriented approach, correspondence of cognitivism theory with a user-oriented approach and in finally match correspondence of constructivist learning theory with a results-oriented approach which is evident. Conclusions - After reviewing the literature on the fields of e-learning, business model and product - service systems, we have achieved three types of e-learning business models. Then the variables in any of the business models were defined by using business model canvas tool and thus a portfolio consisting of three types of e-learning business model canvas was obtained.

딥러닝 기법을 사용하는 소프트웨어 결함 예측 모델 (Prediction Model of Software Fault using Deep Learning Methods)

  • 홍의석
    • 한국인터넷방송통신학회논문지
    • /
    • 제22권4호
    • /
    • pp.111-117
    • /
    • 2022
  • 수십년간 매우 많은 소프트웨어 결함 예측 모델에 관한 연구들이 수행되었으며, 그들 중 기계학습 기법을 사용한 모델들이 가장 좋은 성능을 보였다. 딥러닝 기법은 기계학습 분야에서 가장 각광받는 기술이 되었지만 결함 예측 모델의 분류기로 사용된 연구는 거의 없었다. 몇몇 연구들은 모델의 입력 소스나 구문 데이터로부터 시맨틱 정보를 얻어내는데 딥러닝을 사용하였다. 본 논문은 3개 이상의 은닉층을 갖는 MLP를 이용하여 모델 구조와 하이퍼 파라미터를 변경하여 여러 모델들을 제작하였다. 모델 평가 실험 결과 MLP 기반 딥러닝 모델들은 기존 결함 예측 모델들과 Accuracy는 비슷한 성능을 보였으나 AUC는 유의미하게 더 우수한 성능을 보였다. 또한 또다른 딥러닝 모델인 CNN 모델보다도 더 나은 성능을 보였다.

Inception V3를 이용한 흉부촬영 X선 영상의 폐렴 진단 분류 (Diagnostic Classification of Chest X-ray Pneumonia using Inception V3 Modeling)

  • 김지율;예수영
    • 한국방사선학회논문지
    • /
    • 제14권6호
    • /
    • pp.773-780
    • /
    • 2020
  • 4차 산업의 발전으로 의학·보건·바이오 등 여러 과학기술 분야에서는 질병을 예방하고 질병에 대한 피해를 줄이기 위한 연구가 이루어지고 있으며, 최근에는 ICT 기술의 발전과 더불어 인공지능 기술이 급부상하고 그 효용성이 입증되면서 영상의학 검사의 영상 분석에 인공지능 기술이 도입되어 연구되고 있다. 본 논문에서는 흉부 X선 영상을 이용하여 폐렴의 분류와 검출에 대한 딥러닝 모델을 직접 적용해보고 실제로 Inception 계열의 딥러닝 모델이 폐렴 검출에 있어 유용한 모델인지 평가하고자 한다. 실험재료는 캐글(Kaggle)에서 무료로 제공 및 공유하는 흉부 X선 영상 데이터 세트를 사용하였으며 전체 3,470개의 흉부 X선 영상 데이터 중 학습 데이터 세트 1,870개, 검증 데이터 세트 1,100개, 테스트 데이터 세트 500개로 분류하였다. 실험결과 Inception V3 딥러닝 모델의 Metric 평가에 대한 결과값은 정확도는 94.80%, 정밀도는 97.24%, 재현율은 94.00%, F1 스코어는 95.59의 결과값을 나타내었다. 그리고 흉부 X선 영상의 페렴 검출 및 분류에 대하여 Inception V3 딥러닝 모델링에 대한 최종 에포크의 정확도는 학습 모델링의 경우 94.91%, 검증 모델링은 89.68%의 정확도를 나타내었다. 손실함수 값의 평가는 학습 모델링은 1.127%, 검증 모델링은 4.603%의 손실함수 값을 나타내었다. 이러한 결과로 Inception V3 딥러닝 모델은 흉부영상 데이터의 특징 추출 및 분류에 있어 매우 우수한 딥러닝 모델이며 학습상태 또한 매우 우수하다고 평가하였다. 테스트 모델링에 대한 매트릭스 정확도 평가 결과 정상 흉부 X선 영상 데이터의 경우 96%, 폐렴 흉부 X선 영상데이터의 경우 97%의 정확도가 입증되었다. Inception 계열의 딥러닝 모델의 경우 흉부 질환의 분류에 있어 유용한 딥러닝 모델이 될 것이라고 판단되며 인력의 보조적인 역할 또한 수행할 수 있을 것이라고 기대되어 부족한 의료인력 문제에도 해결점이 될 것이라고 사료된다. 향후 딥러닝을 이용한 폐렴의 진단에 대한 유사 연구 시 본 연구는 유사 연구의 기초자료로 제시될 것이라고 기대된다.

Detecting Anomalies in Time-Series Data using Unsupervised Learning and Analysis on Infrequent Signatures

  • Bian, Xingchao
    • 전기전자학회논문지
    • /
    • 제24권4호
    • /
    • pp.1011-1016
    • /
    • 2020
  • We propose a framework called Stacked Gated Recurrent Unit - Infrequent Residual Analysis (SG-IRA) that detects anomalies in time-series data that can be trained on streams of raw sensor data without any pre-labeled dataset. To enable such unsupervised learning, SG-IRA includes an estimation model that uses a stacked Gated Recurrent Unit (GRU) structure and an analysis method that detects anomalies based on the difference between the estimated value and the actual measurement (residual). SG-IRA's residual analysis method dynamically adapts the detection threshold from the population using frequency analysis, unlike the baseline model that relies on a constant threshold. In this paper, SG-IRA is evaluated using the industrial control systems (ICS) datasets. SG-IRA improves the detection performance (F1 score) by 5.9% compared to the baseline model.

기계학습을 활용한 상품자산 투자모델에 관한 연구 (A Study on Commodity Asset Investment Model Based on Machine Learning Technique)

  • 송진호;최흥식;김선웅
    • 지능정보연구
    • /
    • 제23권4호
    • /
    • pp.127-146
    • /
    • 2017
  • 상품자산(Commodity Asset)은 주식, 채권과 같은 전통자산의 포트폴리오의 안정성을 높이기 위한 대체투자자산으로 자산배분의 형태로 투자되고 있지만 주식이나 채권 자산에 비해 자산배분에 대한 모델이나 투자전략에 대한 연구가 부족한 실정이다. 최근 발전한 기계학습(Machine Learning) 연구는 증권시장의 투자부분에서 적극적으로 활용되고 있는데, 기존 투자모델의 한계점을 개선하는 좋은 성과를 나타내고 있다. 본 연구는 이러한 기계학습의 한 기법인 SVM(Support Vector Machine)을 이용하여 상품자산에 투자하는 모델을 제안하고자 한다. 기계학습을 활용한 상품자산에 관한 기존 연구는 주로 상품가격의 예측을 목적으로 수행되었고 상품을 투자자산으로 자산배분에 관한 연구는 찾기 힘들었다. SVM을 통한 예측대상은 투자 가능한 대표적인 4개의 상품지수(Commodity Index)인 골드만삭스 상품지수, 다우존스 UBS 상품지수, 톰슨로이터 CRB상품지수, 로저스 인터내셔날 상품지수와 대표적인 상품선물(Commodity Futures)로 구성된 포트폴리오 그리고 개별 상품선물이다. 개별상품은 에너지, 농산물, 금속 상품에서 대표적인 상품인 원유와 천연가스, 옥수수와 밀, 금과 은을 이용하였다. 상품자산은 전반적인 경제활동 영역에 영향을 받기 때문에 거시경제지표를 통하여 투자모델을 설정하였다. 주가지수, 무역지표, 고용지표, 경기선행지표 등 19가지의 경제지표를 이용하여 상품지수와 상품선물의 등락을 예측하여 투자성과를 예측하는 연구를 수행한 결과, 투자모델을 활용하여 상품선물을 리밸런싱(Rebalancing)하는 포트폴리오가 가장 우수한 성과를 나타냈다. 또한, 기존의 대표적인 상품지수에 투자하는 것 보다 상품선물로 구성된 포트폴리오에 투자하는 것이 우수한 성과를 얻었으며 상품선물 중에서도 에너지 섹터의 선물을 제외한 포트폴리오의 성과가 더 향상된 성과를 나타남을 증명하였다. 본 연구에서는 포트폴리오 성과 향상을 위해 기존에 널리 알려진 전통적 주식, 채권, 현금 포트폴리오에 상품자산을 배분하고자 할 때 투자대상은 상품지수에 투자하는 것이 아닌 개별 상품선물을 선정하여 자체적 상품선물 포트폴리오를 구성하고 그 방법으로는 기간마다 강세가 예측되는 개별 선물만을 골라서 포트폴리오를 재구성하는 것이 효과적인 투자모델이라는 것을 제안한다.