• International Journal of Computer Science & Network Security
• /
• 제23권11호
• /
• pp.133-141
• /
• 2023

This work take deeper analysis of Adaptive Moment Estimation (Adam) and Adam with Weight Decay (AdamW) implementation in real world text classification problem (DGA Malware Detection). AdamW is introduced by decoupling weight decay from L2 regularization and implemented as improved optimizer. This work introduces a novel implementation of AdamW variant as AdamW+ by further simplifying weight decay implementation in AdamW. DGA malware detection LSTM models results for Adam, AdamW and AdamW+ are evaluated on various DGA families/ groups as multiclass text classification. Proposed AdamW+ optimizer results has shown improvement in all standard performance metrics over Adam and AdamW. Analysis of outcome has shown that novel optimizer has outperformed both Adam and AdamW text classification based problems.

• 지구물리와물리탐사
• /
• 제22권4호
• /
• pp.202-209
• /
• 2019

본 연구에서는 Adam 최적화 기법을 이용한 음향매질에서의 탄성파 파형역산 방법을 제안하였다. 탄성파 파형역산에서 최적화에 사용되는 기본적인 최대 경사법은 계산이 빠르고 적용이 간편하다는 장점이 있다. 하지만 속도 모델의 갱신에 일정한 갱신 크기를 사용함에 따라 오차가 정확하게 수렴하지 않는다. 이에 대한 대안으로 제시된 다양한 최적화 기법들의 경우 정확성은 높지만 많은 계산 시간을 필요로 한다는 한계가 있다. Adam 최적화 기법은 최근 딥 러닝 분야에서 학습 모델의 최적화를 위해 사용되는 기법으로 다양한 형태의 모델에 대한 최적화 문제에서 가장 효율적인 성능을 보이고 있다. 따라서 Adam 최적화 기법을 이용한 파형역산 방법을 개발하여 탄성파 파형역산에서의 오차가 빠르고 정확하게 수렴하도록 하였다. 제안된 역산 기법의 성능을 검증하기 위해, 일정한 갱신 크기를 가지는 최대 경사법을 이용하여 수행된 역산 결과와 제안된 Adam 최적화 기반 파형역산을 수행하여 갱신된 P파 속도 모델을 비교하였다. 그 결과 제안된 기법을 통해 빠른 오차 수렴 속도와 높은 정확도의 결과를 확인할 수 있었다.

• 한국수자원학회논문집
• /
• 제56권1호
• /
• pp.63-74
• /
• 2023

높은 신뢰도의 댐 유입량 예측은 효율적인 댐 운영을 위해 필요하다. 최근 다층퍼셉트론(Multi Layer Perceptron, MLP)을 활용하여 댐의 유입량을 예측하는 연구들이 진행되었다. 기존 연구들은 MLP의 연산자 중 자료 간의 최적 상관관계를 찾는 optimizer로 경사하강법(Gradient Descent, GD) 기반의 optimizer를 사용하였다. 하지만, GD 기반의 optimizer들은 지역 최적값으로의 수렴 가능성과 저장공간 부재로 인해 예측성능이 저하된다는 단점이 있다. 본 연구는 GD 기반 optimizer 중 Adaptive moments와 Improved Harmony Search (IHS)를 결합한 Adaptive moments combined with Improved Harmony Search (AdamIHS)를 개발하여 GD 기반 optimizer의 단점을 개선하였다. AdamIHS를 사용한 MLP의 학습 및 예측성능을 평가하기 위해 대청댐 유입량을 학습 및 예측하였으며, GD 기반 optimizer를 사용한 MLP의 학습 및 예측성능과 비교하였다. 학습결과를 비교하면, AdamIHS를 사용한 은닉층 5개인 MLP의 Mean Squared Error (MSE) 평균값이 11,577로 가장 낮았다. 예측결과를 비교하면, AdamIHS를 사용한 은닉층 1개인 MLP의 MSE 평균값이 413,262로 가장 낮았다. 본 연구에서 개발된 AdamIHS를 활용하면 다양한 분야에서 향상된 예측성능을 보여줄 수 있을 것이다.

• International Journal of Internet, Broadcasting and Communication
• /
• 제11권4호
• /
• pp.31-36
• /
• 2019

Unsupervised neural networks have not caught enough attention until Generative Adversarial Network (GAN) was proposed. By using both the generator and discriminator networks, GAN can extract the main characteristic of the original dataset and produce new data with similarlatent statistics. However, researchers understand fully that training GAN is not easy because of its unstable condition. The discriminator usually performs too good when helping the generator to learn statistics of the training datasets. Thus, the generated data is not compelling. Various research have focused on how to improve the stability and classification accuracy of GAN. However, few studies delve into how to improve the training efficiency and to save training time. In this paper, we propose a novel optimizer, named FAST-ADAM, which integrates the Lookahead to ADAM optimizer to train the generator of a semi-supervised generative adversarial network (SSGAN). We experiment to assess the feasibility and performance of our optimizer using Canadian Institute For Advanced Research - 10 (CIFAR-10) benchmark dataset. From the experiment results, we show that FAST-ADAM can help the generator to reach convergence faster than the original ADAM while maintaining comparable training accuracy results.

• 통합자연과학논문집
• /
• 제11권4호
• /
• pp.204-208
• /
• 2018

Comparison of different optimizer performance in photovoltaic power modeling using artificial neural deep learning techniques is described in this paper. Six different deep learning optimizers are tested for Long-Short-Term Memory networks in this study. The optimizers are namely Adam, Stochastic Gradient Descent, Root Mean Square Propagation, Adaptive Gradient, and some variants such as Adamax and Nadam. For comparing the optimization techniques, high and low fluctuated photovoltaic power output are examined and the power output is real data obtained from the site at Mokpo university. Using Python Keras version, we have developed the prediction program for the performance evaluation of the optimizations. The prediction error results of each optimizer in both high and low power cases shows that the Adam has better performance compared to the other optimizers.

• 대한원격탐사학회지
• /
• 제38권6_1호
• /
• pp.1329-1341
• /
• 2022

해양환경 및 해양생태계를 파괴하고 해양사고의 원인이 되는 해양쓰레기는 매년 늘어나고 있으나 그 중 해양침적쓰레기는 해저에 위치해 있어 파악과 수거에 어려움이 있다. 이에 효율적인 수거와 분포량 파악을 위해 수중촬영 이미지를 이용하여 폐그물과 폐밧줄을 대상으로 딥러닝 기반의 의미론적 분할을 실험하였다. 분할에는 최신 딥러닝 기법인 high-resolution network (HRNet)을 사용하고 최적화 알고리즘(optimizer) 별 성능 비교를 하였다. 분할 결과 그물에서는 adaptive moment estimation (Adam), Momentum, stochastic gradient descent(SGD) 순으로 F1 score=(86.46%, 86.20%, 85.29%), IoU=(76.15%, 75.74%, 74.36%) 이며, 밧줄은 F1 score=(80.49%, 80.48%, 77.86%), IoU=(67.35%, 67.33%, 63.75%)로 그물과 밧줄에서 모두 Adam의 결과가 가장 높게 나타났다. 연구 결과를 통해 optimizer 별 분할 성능 평가와 최신 딥러닝 기법의 해양침적쓰레기 분할에 대한 가능성을 확인하였다. 이에 따라 수중촬영 이미지를 통한 해양침적쓰레기 식별에 최신 딥러닝 기법을 적용시킴으로써 육안을 통한 식별보다 정확하고 효율적인 식별을 통해 해양침적쓰레기의 분포량 산정에 기여할 수 있을 것으로 사료된다.

• 한국방사선학회논문지
• /
• 제17권5호
• /
• pp.709-715
• /
• 2023

본 연구의 목적은, U-net 딥러닝 모델을 이용하여 CT 영상에서의 노이즈 감소 효과를 다양한 하이퍼 파라미터를 적용하여 평가하였다. 노이즈가 포함된 입력 영상 생성을 위하여 Gaussian 노이즈를 적용하였고, 총 1300장의 CT 영상에서 train, validation, test 셋의 비율을 8:1:1로 유지하여 U-net 모델을 적용하여 학습하였다. 연구에서 적용된 하이퍼파라미터는 최적화 함수 Adagrad, Adam, AdamW와 학습횟수 10회, 50회, 100회와 학습률 0.01, 0.001, 0.0001을 적용하였으며, 최대 신호 대 잡음비와 영상의 변동계수 값을 계산하여 정량적으로 분석하였다. 결과적으로 U-net 딥러닝 모델을 적용한 노이즈 감소는 영상의 질을 향상시킬 수 있으며 노이즈 감소 측면에서 유용성을 입증하였다.

• 한국정보기술학회 영문논문지
• /
• 제8권2호
• /
• pp.119-127
• /
• 2018

Training a very large deep neural network can be painfully slow and prone to overfitting. Many researches have done for overcoming the problem. In this paper, a combination of early stopping and ADAM based deep neural network was presented. This form of deep network is useful for handling the big data because it automatically stop the training before overfitting occurs. Also generalization ability is better than pure deep neural network model.

• International Journal of Internet, Broadcasting and Communication
• /
• 제13권1호
• /
• pp.100-106
• /
• 2021

Over the past few decades, natural language processing research has not made much. However, the widespread use of deep learning and neural networks attracted attention for the application of neural networks in natural language processing. Sentiment analysis is one of the challenges of natural language processing. Emotions are things that a person thinks and feels. Therefore, sentiment analysis should be able to analyze the person's attitude, opinions, and inclinations in text or actual text. In the case of emotion analysis, it is a priority to simply classify two emotions: positive and negative. In this paper we propose the deep learning based sentimental analysis system according to various optimizer that is SGD, ADAM and RMSProp. Through experimental result RMSprop optimizer shows the best performance compared to others on IMDB data set. Future work is to find more best hyper parameter for sentimental analysis system.

• 한국수자원학회논문집
• /
• 제57권2호
• /
• pp.73-85
• /
• 2024

하천과 저수지의 수질을 예측하는 것은 수자원관리를 위해 필요하다. 높은 정확도의 수질 예측을 위해 많은 연구들에서 인공신경망이 활용되었다. 기존 연구들은 매개변수를 탐색하는 인공신경망의 연산자인 옵티마이저로 경사하강법 기반 옵티마이저를 사용하였다. 그러나 경사하강법 기반 옵티마이저는 지역 최적값으로의 수렴 가능성과 해의 저장 및 비교구조가 없다는 단점이 있다. 본 연구에서는 인공신경망을 이용한 수질 예측성능을 향상시키기 위해 개량형 옵티마이저를 개발하여 경사하강법 기반 옵티마이저의 단점을 개선하였다. 본 연구에서 제안한 옵티마이저는 경사하강법 기반 옵티마이저 중 학습오차가 낮은 Adaptive moments (Adam)과 Nesterov-accelerated adaptive moments (Nadam)를 Harmony Search(HS) 또는 Novel Self-adaptive Harmony Search (NSHS)와 결합한 옵티마이저이다. 개량형 옵티마이저의 학습 및 예측성능 평가를 위해 개량형 옵티마이저를 Long Short-Term Memory (LSTM)에 적용하여 국내의 다산 수질관측소의 수질인자인 수온, 용존산소량, 수소이온농도 및 엽록소-a를 학습 및 예측하였다. 학습결과를 비교하면, Nadam combined with NSHS (NadamNSHS)를 사용한 LSTM의 Mean Squared Error (MSE)가 0.002921로 가장 낮았다. 또한, 각 옵티마이저별 4개 수질인자에 대한 MSE 및 R²에 따른 예측순위를 비교하였다. 각 옵티마이저의 평균 순위를 비교하면, NadamNSHS를 사용한 LSTM이 2.25로 가장 높은 것을 확인하였다.