• 제목/요약/키워드: Modeling of Convolutional

검색결과 42건 처리시간 0.03초

Genetic Algorithm based hyperparameter tuned CNN for identifying IoT intrusions

  • Alexander. R;Pradeep Mohan Kumar. K
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제18권3호
    • /
    • pp.755-778
    • /
    • 2024
  • In recent years, the number of devices being connected to the internet has grown enormously, as has the intrusive behavior in the network. Thus, it is important for intrusion detection systems to report all intrusive behavior. Using deep learning and machine learning algorithms, intrusion detection systems are able to perform well in identifying attacks. However, the concern with these deep learning algorithms is their inability to identify a suitable network based on traffic volume, which requires manual changing of hyperparameters, which consumes a lot of time and effort. So, to address this, this paper offers a solution using the extended compact genetic algorithm for the automatic tuning of the hyperparameters. The novelty in this work comes in the form of modeling the problem of identifying attacks as a multi-objective optimization problem and the usage of linkage learning for solving the optimization problem. The solution is obtained using the feature map-based Convolutional Neural Network that gets encoded into genes, and using the extended compact genetic algorithm the model is optimized for the detection accuracy and latency. The CIC-IDS-2017 and 2018 datasets are used to verify the hypothesis, and the most recent analysis yielded a substantial F1 score of 99.23%. Response time, CPU, and memory consumption evaluations are done to demonstrate the suitability of this model in a fog environment.

Enhancing Wind Speed and Wind Power Forecasting Using Shape-Wise Feature Engineering: A Novel Approach for Improved Accuracy and Robustness

  • Mulomba Mukendi Christian;Yun Seon Kim;Hyebong Choi;Jaeyoung Lee;SongHee You
    • International Journal of Advanced Culture Technology
    • /
    • 제11권4호
    • /
    • pp.393-405
    • /
    • 2023
  • Accurate prediction of wind speed and power is vital for enhancing the efficiency of wind energy systems. Numerous solutions have been implemented to date, demonstrating their potential to improve forecasting. Among these, deep learning is perceived as a revolutionary approach in the field. However, despite their effectiveness, the noise present in the collected data remains a significant challenge. This noise has the potential to diminish the performance of these algorithms, leading to inaccurate predictions. In response to this, this study explores a novel feature engineering approach. This approach involves altering the data input shape in both Convolutional Neural Network-Long Short-Term Memory (CNN-LSTM) and Autoregressive models for various forecasting horizons. The results reveal substantial enhancements in model resilience against noise resulting from step increases in data. The approach could achieve an impressive 83% accuracy in predicting unseen data up to the 24th steps. Furthermore, this method consistently provides high accuracy for short, mid, and long-term forecasts, outperforming the performance of individual models. These findings pave the way for further research on noise reduction strategies at different forecasting horizons through shape-wise feature engineering.

Adversarial Complementary Learning for Just Noticeable Difference Estimation

  • Dong Yu;Jian Jin;Lili Meng;Zhipeng Chen;Huaxiang Zhang
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제18권2호
    • /
    • pp.438-455
    • /
    • 2024
  • Recently, many unsupervised learning-based models have emerged for Just Noticeable Difference (JND) estimation, demonstrating remarkable improvements in accuracy. However, these models suffer from a significant drawback is that their heavy reliance on handcrafted priors for guidance. This restricts the information for estimating JND simply extracted from regions that are highly related to handcrafted priors, while information from the rest of the regions is disregarded, thus limiting the accuracy of JND estimation. To address such issue, on the one hand, we extract the information for estimating JND in an Adversarial Complementary Learning (ACoL) way and propose an ACoL-JND network to estimate the JND by comprehensively considering the handcrafted priors-related regions and non-related regions. On the other hand, to make the handcrafted priors richer, we take two additional priors that are highly related to JND modeling into account, i.e., Patterned Masking (PM) and Contrast Masking (CM). Experimental results demonstrate that our proposed model outperforms the existing JND models and achieves state-of-the-art performance in both subjective viewing tests and objective metrics assessments.

스마트폰 사진 합성을 통한 3D 아바타 모델링 (3D Avatar Modeling through Composite Photograph for Smartphone Environment)

  • 한제완;이창규;송인석;남재우;권기학;문현준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 춘계학술발표대회
    • /
    • pp.476-478
    • /
    • 2018
  • 현대 사회의 발전으로 인해 사람들의 삶의 질이 향상됨에 따라 사람들은 다양한 방식으로 자신 및 자신의 개성을 표출하려는 시도를 한다. 특히 IT 기술의 발전은 가상현실 및 3D 기술의 성장을 이끌어냈다. 본 논문은 다가올 4차 산업혁명에 발맞추어 사용자의 개성을 표출할 실용적이고 개성 있는 3D 모델링 아이디어를 제안하고자 한다. 스마트폰 사진 촬영과 동시에 사용자가 선택한 다른 캐릭터 사진과의 합성 사진을 Convolutional Neural Network (CNN)과 Generative Adversarial Network (GAN) 기반 딥러닝 기술을 통해 생성한다. 생성된 이미지는 사용자의 모습과 합성의 대상이 되는 캐릭터의 모습을 동시에 담고 있다. 본 연구의 결과물로 생성된 합성 사진을 3D 프린터를 이용하여 자신만의 모습이 담긴 굿즈를 생산 혹은 이모티콘을 생성하는 등 다양한 실용적인 응용분야에 적용 가능하다.

딥러닝기반 입체 영상의 획득 및 처리 기술 동향 (Recent Technologies for the Acquisition and Processing of 3D Images Based on Deep Learning)

  • 윤민성
    • 전자통신동향분석
    • /
    • 제35권5호
    • /
    • pp.112-122
    • /
    • 2020
  • In 3D computer graphics, a depth map is an image that provides information related to the distance from the viewpoint to the subject's surface. Stereo sensors, depth cameras, and imaging systems using an active illumination system and a time-resolved detector can perform accurate depth measurements with their own light sources. The 3D image information obtained through the depth map is useful in 3D modeling, autonomous vehicle navigation, object recognition and remote gesture detection, resolution-enhanced medical images, aviation and defense technology, and robotics. In addition, the depth map information is important data used for extracting and restoring multi-view images, and extracting phase information required for digital hologram synthesis. This study is oriented toward a recent research trend in deep learning-based 3D data analysis methods and depth map information extraction technology using a convolutional neural network. Further, the study focuses on 3D image processing technology related to digital hologram and multi-view image extraction/reconstruction, which are becoming more popular as the computing power of hardware rapidly increases.

A Review of Computational Phantoms for Quality Assurance in Radiology and Radiotherapy in the Deep-Learning Era

  • Peng, Zhao;Gao, Ning;Wu, Bingzhi;Chen, Zhi;Xu, X. George
    • Journal of Radiation Protection and Research
    • /
    • 제47권3호
    • /
    • pp.111-133
    • /
    • 2022
  • The exciting advancement related to the "modeling of digital human" in terms of a computational phantom for radiation dose calculations has to do with the latest hype related to deep learning. The advent of deep learning or artificial intelligence (AI) technology involving convolutional neural networks has brought an unprecedented level of innovation to the field of organ segmentation. In addition, graphics processing units (GPUs) are utilized as boosters for both real-time Monte Carlo simulations and AI-based image segmentation applications. These advancements provide the feasibility of creating three-dimensional (3D) geometric details of the human anatomy from tomographic imaging and performing Monte Carlo radiation transport simulations using increasingly fast and inexpensive computers. This review first introduces the history of three types of computational human phantoms: stylized medical internal radiation dosimetry (MIRD) phantoms, voxelized tomographic phantoms, and boundary representation (BREP) deformable phantoms. Then, the development of a person-specific phantom is demonstrated by introducing AI-based organ autosegmentation technology. Next, a new development in GPU-based Monte Carlo radiation dose calculations is introduced. Examples of applying computational phantoms and a new Monte Carlo code named ARCHER (Accelerated Radiation-transport Computations in Heterogeneous EnviRonments) to problems in radiation protection, imaging, and radiotherapy are presented from research projects performed by students at the Rensselaer Polytechnic Institute (RPI) and University of Science and Technology of China (USTC). Finally, this review discusses challenges and future research opportunities. We found that, owing to the latest computer hardware and AI technology, computational human body models are moving closer to real human anatomy structures for accurate radiation dose calculations.

심층 신경망 기법을 이용한 고체 산화물 연료전지 스택의 성능 예측 모델 (Performance Prediction Model of Solid Oxide Fuel Cell Stack Using Deep Neural Network Technique)

  • 이재윤;이스라엘 또레스 삐네다;잡 반 티엔;이동근;김영상;안국영;이영덕
    • 한국수소및신에너지학회논문집
    • /
    • 제31권5호
    • /
    • pp.436-443
    • /
    • 2020
  • The performance prediction model of a solid oxide fuel cell stack has been developed using deep neural network technique, one of the machine learning methods. The machine learning has been received much interest in various fields, including energy system mo- deling. Using machine learning technique can save time and cost requried in developing an energy system model being compared to the conventional method, that is a combination of a mathematical modeling and an experimental validation. Results reveal that the mean average percent error, root mean square error, and coefficient of determination (R2) range 1.7515, 0.1342, 0.8597, repectively, in maximum. To improve the predictability of the model, the pre-processing is effective and interpolative machine learning and application is more accurate than the extrapolative cases.

단일 영상 기반 3차원 복원을 위한 약교사 인공지능 기술 동향 (Recent Trends of Weakly-supervised Deep Learning for Monocular 3D Reconstruction)

  • 김승룡
    • 방송공학회논문지
    • /
    • 제26권1호
    • /
    • pp.70-78
    • /
    • 2021
  • 2차원 단일 영상에서 3차원 깊이 정보를 복원하는 기술은 다양한 한계 및 산업계에서 활용도가 매우 높은 기술임이 분명하다. 하지만 2차원 영상은 임의의 3차원 정보의 투사의 결과라는 점에서 내재적 깊이 모호성(Depth ambiguity)을 가지고 있고 이를 해결하는 문제는 매우 도전적이다. 이러한 한계점은 최근 인공지능 기술의 발달에 힘입어 2차원 영상과 3차원 깊이 정보간의 대응 관계를 학습하는 알고리즘의 발달로 극복되어 지고 있다. 이러한 3차원 깊이 정보 획득을 위한 인공지능 기술을 학습하기 위해서는 대응 관계를 나타내는 대규모의 학습데이터의 필요성이 절대적인데, 이러한 데이터는 취득 및 가공 과정에서 상당한 노동력을 필요로 하기에 제한적으로 구축이 가능하다. 따라서 최근의 기술 발전 동향은 대규모의 2차원 영상과 메타 데이터를 활용하여 3차원 깊이 정보를 예측하려는 약교사(Weakly-supervised) 인공지능 기술의 발전이 주를 이루고 있다. 본 고에서는 이러한 기술 발전 동향을 장면(Scene) 3차원 복원 기술과 객체(Object) 3차원 복원 기술로 나누어 요약하고 현재의 기술들의 한계점과 향후 나아갈 방향에 대해서 토의한다.

모돈 생체 반응 신호의 주파수 영역 Feature selection을 통한 DNN 모델링 연구 (Research on DNN Modeling using Feature Selection on Frequency Domain for Vital Reaction of Breeding Pig)

  • 조진호;오종우;이동훈
    • 한국농업기계학회:학술대회논문집
    • /
    • 한국농업기계학회 2017년도 춘계공동학술대회
    • /
    • pp.166-166
    • /
    • 2017
  • 모돈의 건강 상태를 정량 지수화 하기 위한 연구를 수행 중이다. 지제이상, 섭식 불량, 수면 패턴 등의 운동 특성 분석을 위하여 복수의 초음파 센서를 이용하였다. 시계열 계측 신호를 분석하여 정량 지수화를 수행하는 과정에서 주파수 도메인 분석을 시도하였다. 이 과정에서 주파수 도메인의 분해능에 따른 편차 극복을 위한 비선형 모델링을 수행하였다. 또한 인접한 시계열 데이터 구간 간의 상관성 분석이 가능하면 대용량 데이터의 실시간 처리로 인한 지연 시간 극복 및 기대되는 예후에 대한 조기 진단이 가능할 것이다. 본 연구에서는 구글에서 제공하는 Tensorflow와 NVIDIA에서 제공하는 CUDA 엔진을 동시 적용한 심층 학습 시스템을 이용하였다. 전 처리를 위하여 주파수 분해능 (2분, 3분, 5분, 7분, 11분, 13분, 17분, 19분)에 따른 데이터 집합을 1단계로 두고, 상위 10 순위 안에 드는 파워 스펙트럼 밀도의 크기를 2단계로 하여, 총 2~10개의 입력 노드를 순차적으로 선정하였고, 동일한 방식으로 인접한 시계열의 파워 스펙터럼 밀도를 순위를 변화시켜 지정하였다. 대표적인 심층학습 모델인 Softmax regression with a multilayer convolutional network를 이용하여 Recursive feature selection 경우의 수를 $8{\times}9{\times}9$로 총 648 가지 선정하고, Epoch는 10,000회로 지정하였다. Calibration 모델링의 경우 Cost function이 10% 이하인 경우 해당 경우의 학습을 중단하였으며, 모델 간 상호 교차 검증을 수행하기 위하여 $_8C_2{\times}_8C_2{\times}_8C_2$ 경우의 수에 대한 Verification test를 수행하였다. Calibration 과정 상 모든 경우에 대하여 10% 이하의 Cost function 값을 보였으나, 검증 테스트 과정에서 모든 경우에 대하여 $r^2$ < 0.5 인 결정 계수 값이 나타났다. 단적으로 심층학습 모델의 과도한 적합(Over fitting) 방식의 한계를 보인 것이라 판단할 수 있다. 적합한 Feature selection 및 심층 학습 모델에 대한 지속적이고 추가적인 고려를 통해 과도적합을 해소함과 동시에 실효적이고 활용 가능한 Classification을 위한 입, 출력 노드 단의 전후 Indexing, Quantization에 대한 고려가 필요할 것이다. 이를 통해 모돈 생체 정보 정량화를 위한 지능형 현장 진단 기술 연구를 지속할 것이다.

  • PDF

딥러닝을 활용한 위성영상 기반의 강원도 지역의 배추와 무 수확량 예측 (Satellite-Based Cabbage and Radish Yield Prediction Using Deep Learning in Kangwon-do)

  • 박혜빈;이예진;박선영
    • 대한원격탐사학회지
    • /
    • 제39권5_3호
    • /
    • pp.1031-1042
    • /
    • 2023
  • 인공위성은 시공간적으로 연속적인 지구환경 데이터를 제공하므로 위성영상을 이용하여 효율인 작물 수확량 예측이 가능하며, 딥러닝(deep learning)을 활용함으로써 더 높은 수준의 특징과 추상적인 개념 파악을 기대할 수 있다. 본 연구에서는 Landsat 8 위성 영상을 활용하여 다시기 영상 데이터를 이용하여 5대 수급 관리 채소인 배추와 무의 수확량을 예측하기 위한 딥러닝 모델을 개발하였다. 2015년부터 2020년까지 배추와 무의 생장시기인 6~9월 위성영상을 이용하여 강원도를 대상으로 배추와 무의 수확량 예측을 수행하였다. 본 연구에서는 수확량 모델의 입력자료로 Landsat 8 지표면 반사도 자료와 normalized difference vegetation index, enhanced vegetation index, lead area index, land surface temperature를 입력자료로 사용하였다. 본 연구에서는 기존 연구에서 개발된 모델을 기반으로 우리나라 작물과 입력데이터에 맞게 튜닝한 모델을 제안하였다. 위성영상 시계열 데이터를 이용하여 딥러닝 모델인 convolutional neural network (CNN)을 학습하여 수확량 예측을 진행하였다. Landsat 8은 16일 주기로 영상이 제공되지만 구름 등 기상의 영향으로 인해 특히 여름철에는 영상 취득에 어려움이 많다. 따라서 본 연구에서는 6~7월을 1구간, 8~9월을 2구간으로 나누어 수확량 예측을 수행하였다. 기존 머신러닝 모델과 참조 모델을 이용하여 수확량 예측을 수행하였으며, 모델링 성능을 비교했다. 제안한 모델의 경우 다른 모델과 비교했을 때, 높은 수확량 예측 성능을 나타내었다. Random forest (RF)의 경우 배추에서는 제안한 모델보다 좋은 예측 성능을 나타내었다. 이는 기존 연구 결과처럼 RF가 입력데이터의 물리적인 특성을 잘 반영하여 모델링 되었기 때문인 것으로 사료된다. 연도별 교차 검증 및 조기 예측을 통해 모델의 성능과 조기 예측 가능성을 평가하였다. Leave-one-out cross validation을 통해 분석한 결과 참고 모델을 제외하고는 두 모델에서는 유사한 예측 성능을 보여주었다. 2018년 데이터의 경우 모든 모델에서 가장 낮은 성능이 나타났는데, 2018년의 경우 폭염으로 인해 이는 다른 년도 데이터에서 학습되지 못해 수확량 예측에 영향을 준 것으로 생각되었다. 또한, 조기 예측 가능성을 확인한 결과, 무 수확량은 어느 정도 경향성을 나타냈지만 배추의 경우 조기 예측 가능성을 확인하지 못했다. 향후 연구에서는 데이터 형태에 따라 CNN의 구조를 조정해서 조기 예측 모델을 개발한다면 더 개선된 성능을 보일 것으로 생각된다. 본 연구 결과는 우리나라 밭 작물 수확량 예측을 위한 기초 연구로 활용될 수 있을 것으로 기대된다.