• KIPS Transactions on Software and Data Engineering
• /
• v.9 no.10
• /
• pp.303-308
• /
• 2020

The ReLU(Rectified Linear Unit) function has been dominantly used as a standard activation function in most deep artificial neural network models since it was proposed. Later, Leaky ReLU, Swish, and Mish activation functions were presented to replace ReLU, which showed improved performance over existing ReLU function in image classification task. Therefore, we recognized the need to experiment with whether performance improvements could be achieved by replacing the RELU with other activation functions in the super resolution task. In this paper, the performance was compared by changing the activation functions in EDSR model, which showed stable performance in the super resolution task. As a result, in experiments conducted with changing the activation function of EDSR, when the resolution was converted to double, the existing activation function, ReLU, showed similar or higher performance than the other activation functions used in the experiment. When the resolution was converted to four times, Leaky ReLU and Swish function showed slightly improved performance over ReLU. PSNR and SSIM, which can quantitatively evaluate the quality of images, were able to identify average performance improvements of 0.06%, 0.05% when using Leaky ReLU, and average performance improvements of 0.06% and 0.03% when using Swish. When the resolution is converted to eight times, the Mish function shows a slight average performance improvement over the ReLU. Using Mish, PSNR and SSIM were able to identify an average of 0.06% and 0.02% performance improvement over the RELU. In conclusion, Leaky ReLU and Swish showed improved performance compared to ReLU for super resolution that converts resolution four times and Mish showed improved performance compared to ReLU for super resolution that converts resolution eight times. In future study, we should conduct comparative experiments to replace activation functions with Leaky ReLU, Swish and Mish to improve performance in other super resolution models.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.05a
• /
• pp.504-507
• /
• 2020

ReLU(Rectified Linear Unit) 함수는 제안된 이후로 대부분의 깊은 인공신경망 모델들에서 표준 활성함수로써 지배적으로 사용되었다. 이후에 ReLU 를 대체하기 위해 Leaky ReLU, Swish, Mish 활성함수가 제시되었는데, 이들은 영상 분류 과업에서 기존 ReLU 함수 보다 향상된 성능을 보였다. 따라서 초해상화(Super Resolution) 과업에서도 ReLU 를 다른 활성함수들로 대체하여 성능 향상을 얻을 수 있는지 실험해볼 필요성을 느꼈다. 본 연구에서는 초해상화 과업에서 안정적인 성능을 보이는 EDSR(Enhanced Deep Super-Resolution Network) 모델의 활성함수들을 변경하면서 성능을 비교하였다. 결과적으로 EDSR 의 활성함수를 변경하면서 진행한 실험에서 해상도를 2 배로 변환하는 경우, 기존 활성함수인 ReLU 가 실험에 사용된 다른 활성함수들 보다 비슷하거나 높은 성능을 보였다. 하지만 해상도를 4 배로 변환하는 경우에서는 Leaky ReLU 와 Swish 함수가 기존 ReLU 함수대비 다소 향상된 성능을 보임을 확인하였다. 구체적으로 Leaky ReLU 를 사용했을 때 기존 ReLU 보다 영상의 품질을 정량적으로 평가할 수 있는 PSNR 과 SSIM 평가지표가 평균 0.06%, 0.05%, Swish 를 사용했을 때는 평균 0.06%, 0.03%의 성능 향상을 확인할 수 있었다. 4 배의 해상도를 높이는 초해상화의 경우, Leaky ReLU 와 Swish 가 ReLU 대비 향상된 성능을 보였기 때문에 향후 연구에서는 다른 초해상화 모델에서도 성능 향상을 위해 활성함수를 Leaky ReLU 나 Swish 로 대체하는 비교실험을 수행하는 것도 필요하다고 판단된다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.10a
• /
• pp.699-701
• /
• 2018

본 연구는 인공 신경망 '추론'과정에서 연산량을 줄이는 아이디어를 고안했고, 이를 구현하여 기존 알고리즘과 성능을 비교 분석하였다. 특정 데이터 셋에 대한 실험을 통해 ReLU(Rectified Linear Unit) 함수의 결과를 분석했고, 그 결과를 통해 ReLU 함수의 결과가 예측가능함을 확인했다. 또한 인공 신경망 알고리즘에 ReLU 함수의 결과 예측 기법을 적용하여 인공 신경망 추론과정을 최적화했다. 이 아이디어를 기반으로 구현된 인공 신경망은 기존 아이디어로 구현된 인공 신경망에 비해 약 3배 빠른 성능을 보였다.

• International journal of advanced smart convergence
• /
• v.13 no.2
• /
• pp.80-87
• /
• 2024

This paper focuses on improving accuracy in constrained computing settings by employing the ReLU (Rectified Linear Unit) activation function. The research conducted involves modifying parameters of the ReLU function and comparing performance in terms of accuracy and computational time. This paper specifically focuses on optimizing ReLU in the context of a Multilayer Perceptron (MLP) by determining the ideal values for features such as the dimensions of the linear layers and the learning rate (Ir). In order to optimize performance, the paper experiments with adjusting parameters like the size dimensions of linear layers and Ir values to induce the best performance outcomes. The experimental results show that using ReLU alone yielded the highest accuracy of 96.7% when the dimension sizes were 30 - 10 and the Ir value was 1. When combining ReLU with the Adam optimizer, the optimal model configuration had dimension sizes of 60 - 40 - 10, and an Ir value of 0.001, which resulted in the highest accuracy of 97.07%.

• Journal of the Korea Academia-Industrial cooperation Society
• /
• v.18 no.10
• /
• pp.75-80
• /
• 2017

In this paper, we describe the effect of the regularization method and the network with identity mapping on the performance of the activation functions in deep convolutional neural networks. The activation functions act as nonlinear transformation. In early convolutional neural networks, a sigmoid function was used. To overcome the problem of the existing activation functions such as gradient vanishing, various activation functions were developed such as ReLU, Leaky ReLU, parametric ReLU, and ELU. To solve the overfitting problem, regularization methods such as dropout and batch normalization were developed on the sidelines of the activation functions. Additionally, data augmentation is usually applied to deep learning to avoid overfitting. The activation functions mentioned above have different characteristics, but the new regularization method and the network with identity mapping were validated only using ReLU. Therefore, we have experimentally shown the effect of the regularization method and the network with identity mapping on the performance of the activation functions. Through this analysis, we have presented the tendency of the performance of activation functions according to regularization and identity mapping. These results will reduce the number of training trials to find the best activation function.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.35-36
• /
• 2023

본 논문에서는 OpenAI Gym 환경에서 제공하는 Acrobot-v1에 대해 DQN(Deep Q-Networks) 강화학습으로 학습시키고, 이 때 적용되는 활성화함수의 성능을 비교분석하였다. DQN 강화학습에 적용한 활성화함수는 ReLU, ReakyReLU, ELU, SELU 그리고 softplus 함수이다. 실험 결과 평균적으로 Leaky_ReLU 활성화함수를 적용했을 때의 보상 값이 높았고, 최대 보상 값은 SELU 활성화 함수를 적용할 때로 나타났다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.01a
• /
• pp.25-26
• /
• 2023

본 논문에서는 OpenAI Gym 환경에서 제공하는 CartPole-v1에 대해 강화학습을 통해 에이전트를 학습시키고, 학습에 적용되는 활성화함수의 성능을 비교분석하였다. 본 논문에서 적용한 활성화함수는 Sigmoid, ReLU, ReakyReLU 그리고 softplus 함수이며, 각 활성화함수를 DQN(Deep Q-Networks) 강화학습에 적용했을 때 보상 값을 비교하였다. 실험결과 ReLU 활성화함수를 적용하였을 때의 보상이 가장 높은 것을 알 수 있었다.

• International journal of advanced smart convergence
• /
• v.6 no.4
• /
• pp.73-79
• /
• 2017

The Convolutional Neural Network (CNN) has shown an excellent performance in computer vision task. Applications of CNN include image classification, object detection in images, autonomous driving, etc. This paper will evaluate the performance of CNN model with ReLU and SELU as activation function. The evaluation will be performed on four different choices of hyperparameter which are initialization method, network configuration, optimization technique, and regularization. We did experiment on each choice of hyperparameter and show how it influences the network convergence and test accuracy. In this experiment, we also discover performance improvement when using SELU as activation function over ReLU.

• Journal of Korea Multimedia Society
• /
• v.21 no.10
• /
• pp.1142-1149
• /
• 2018

Recently, computer vision application is increasing by using CNN which is one of the deep learning algorithms. However, CNN does not provide perfect classification performance due to gradient vanishing problem. Most of CNN algorithms use an activation function called ReLU to mitigate the gradient vanishing problem. In this study, four activation functions that can replace ReLU were applied to four different structural networks. Experimental results show that ReLU has the lowest performance in accuracy, loss rate, and speed of initial learning convergence from 20 experiments. It is concluded that the optimal activation function varied from network to network but the four activation functions were higher than ReLU.

• 한국지구과학회:학술대회논문집
• /
• 2010.04a
• /
• pp.23-23
• /
• 2010

스발바드 서측에 위치하는 스피츠버겐 하부의 암석권맨틀의 분화시기를 규명하기 위하여, 두 개의 독립적인 방사성동위원소 시스템인 Lu-Hf과 Re-Os 시스템을 스피넬 페리도타이트(spinel peridotite)에 활용하였다. 전암에 대한 Re-Os 계통(Re-Os 에러크론, 알루미노크론, Re-결핍연대 등)은 연구지역의 페리도타이트가 대류하는 맨틀로부터 고기원생대/후기시생대에 분리되었음을 지시한다. 흥미롭게도 이런 연대는 페리도타이트내 단사휘석 결정들에 대하여 얻어진 Lu-Hf 에러크론 연대와 일치한다. 또한 시료 내에 지구화학적으로 기록된 현무암질 액의 결핍정도 역시 계통적으로 위의 연대를 지지한다. 위 연대는 스피츠버겐 서측부에 보고된 가장 오래된 지각의 연대와 일치한다. 따라서 연구지역의 암석권맨틀이 연약권으로부터 분리된 것은 접촉하고 있는 지각과 동시기적으로 이루어진 사건임을 알 수 있다. 연구지역은 팔레오세 이래로 복잡한 지구조적 응력장 변화(압축에서 신장환경으로의 변화)를 겪었다. 그럼에도 불구하고 지각과 커플링된 암석권맨틀이 현존한다는 것은 연구지역내 응력장변화가 대규모의 암석권 디라미네이션(delamination)을 유발하지는 않았다는 것을 의미한다. 그러므로 북극권의 화산활동을 설명하기 위하여 북극권 상부맨틀에 존재한다고 알려진 듀팔(DUPAL) 같은 부화된 물질의 성인으로 일부의 연구자들이 주장하여 온 디라미네이션된 암석권맨틀의 존재는 설득력이 없다고 판단된다.