• 한국건축시공학회:학술대회논문집
• /
• 한국건축시공학회 2022년도 가을 학술논문 발표대회
• /
• pp.121-122
• /
• 2022

In this study, compared and analyzed various Activation Functions to present a methodology for developing a natural intelligence-based prediction system. As a result of the analysis, ELU was the best with RMSE: 62.87, R²: 0.96, and the error rate was 4%. However, it is considered desirable to construct a prediction system by combining each algorithm model for optimization.

• 한국농공학회논문집
• /
• 제63권1호
• /
• pp.11-25
• /
• 2021

The objective of this study was to analyze the impact of activation functions on flood forecasting model based on Artificial neural networks (ANNs). The traditional activation functions, the sigmoid and tanh functions, were compared with the functions which have been recently recommended for deep neural networks; the ReLU, leaky ReLU, and ELU functions. The flood forecasting model based on ANNs was designed to predict real-time runoff for 1 to 6-h lead time using the rainfall and runoff data of the past nine hours. The statistical measures such as R2, Nash-Sutcliffe Efficiency (NSE), Root Mean Squared Error (RMSE), the error of peak time (ETp), and the error of peak discharge (EQp) were used to evaluate the model accuracy. The tanh and ELU functions were most accurate with R2=0.97 and RMSE=30.1 (㎥/s) for 1-h lead time and R2=0.56 and RMSE=124.6~124.8 (㎥/s) for 6-h lead time. We also evaluated the learning speed by using the number of epochs that minimizes errors. The sigmoid function had the slowest learning speed due to the 'vanishing gradient problem' and the limited direction of weight update. The learning speed of the ELU function was 1.2 times faster than the tanh function. As a result, the ELU function most effectively improved the accuracy and speed of the ANNs model, so it was determined to be the best activation function for ANNs-based flood forecasting.

• 한국수자원학회논문집
• /
• 제54권spc1호
• /
• pp.1143-1154
• /
• 2021

활성화함수의 선택은 인공신경망(Artificial Neural Network, ANN) 모델의 지하수위 예측성능에 큰 영향을 미친다. 특히 제주도의 중산간 지역과 같이 지하수위의 변동폭이 크고 변동양상이 복잡한 경우 적절한 지하수위 예측을 위해서는 다양한 활성화함수의 비교분석을 통한 최적의 활성화함수 선택이 반드시 필요하다. 본 연구에서는 지하수위의 변동폭이 크고 변동양상이 복잡한 제주도 표선유역 중산간지역 2개 지하수위 관측정을 대상으로 5개의 활성화함수(sigmoid, hyperbolic tangent (tanh), Rectified Linear Unit (ReLU), Leaky Rectified Linear Unit (Leaky ReLU), Exponential Linear Unit (ELU))를 ANN 모델에 적용하여 지하수위 예측결과를 비교 및 분석하고 최적 활성화함수를 도출하였다. 그리고 최근 널리 사용되고 있는 순환신경망 모델인 Long Short-Term Memory (LSTM) 모델의 결과와 비교분석하였다. 분석결과 지하수위 변동폭이 상대적으로 큰 관측정과 상대적으로 작은 관측정에 대한 지하수위 예측에 대해서는 각각 ELU와 Leaky ReLU 함수가 최적의 활성화함수로 도출되었다. 반면 sigmoid 함수는 학습기간에 대해 5개 활성화함수 중 예측성능이 가장 낮았으며 첨두 및 최저 지하수위 예측에서 적절하지 못한 결과를 도출하였다. 따라서 ANN-sigmoid 모델은 가뭄기간의 지하수위 예측을 통한 지하수자원 관리목적으로 사용할 경우 주의가 필요하다. ANN-ELU와 ANN-Leaky ReLU 모델은 LSTM 모델과 대등한 지하수위 예측성능을 보여 활용가능성이 충분히 있으며 LSTM 모델은 ANN 모델들 보다 예측성능이 높아 인공지능 모델의 예측성능 비교분석 시 참고 모델로 활용될 수 있다. 마지막으로 학습기간의 정보량에 따라 학습기간의 지하수위 예측성능이 검증 및 테스트 기간의 예측성능보다 낮을 수 있다는 것을 확인하였으며, 관측지하수위의 변동폭이 크고 변동양상이 복잡할수록 인공지능 모델별 지하수위 예측능력의 차이는 커졌다. 본 연구에서 제시한 5개의 활성화함수를 적용한 연구방법 및 비교분석 결과는 지하수위 예측뿐만 아니라 일단위 하천유출량 및 시간단위 홍수량 등 지표수 예측을 포함한 다양한 연구에 유용하게 사용될 수 있다.

• 한국정보전자통신기술학회논문지
• /
• 제12권1호
• /
• pp.92-98
• /
• 2019

본 논문에서는 몰포러지 연산을 기본으로 하는 몰포러지 신경망(MNN: Morphological Neural Network) 기반 딥러닝 시스템을 제안하였다. 딥러닝에 사용되는 레이어는 몰포러지 레이어, 풀링 레이어, ReLU 레이어, Fully connected 레이어 등이다. 몰포러지 레이어에서 사용되는 연산은 에로전, 다이레이션, 에지검출 등이다. 본 논문에서 새롭게 제안한 MNN은 기존의 CNN(Convolutional Neural Network)을 이용한 딥러닝 시스템과는 달리 히든 레이어의 수와 각 레이어에 적용되는 커널 수가 제한적이다. 레이어 단위 처리시간이 감소하고, VLSI 칩 설계가 용이하다는 장점이 있으므로 모바일 임베디드 시스템에 딥러닝을 다양하게 적용할 수 있다. MNN에서는 제한된 수의 커널로 에지와 형상검출 등의 연산을 수행하기 때문이다. 데이터베이스 영상을 대상으로 행한 실험을 통해 MNN의 성능 및 딥러닝 시스템으로의 활용 가능성을 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.908-909
• /
• 2023

Recently, several generative models have emerged and are being used in various industries. Among them, Cycle GAN is still used in various fields such as style transfer, medical care and autonomous driving. In this paper, we propose two methods to improve the performance of these Cycle GAN model. The ReLU activation function previously used in the generator was changed to Leaky ReLU. And a new loss function is proposed that considers the semantic level rather than focusing only on the pixel level through the VGG feature extractor. The proposed model showed quality improvement on the test set in the art domain, and it can be expected to be applied to other domains in the future to improve performance.

• Journal of Information Processing Systems
• /
• 제19권5호
• /
• pp.614-630
• /
• 2023

Dead trees significantly impact forest production and the ecological environment and pose constraints to the sustainable development of forests. A lightweight YOLOv4 dead tree detection algorithm based on unmanned aerial vehicle images is proposed to address current limitations in dead tree detection that rely mainly on inefficient, unsafe and easy-to-miss manual inspections. An improved logarithmic transformation method was developed in data pre-processing to display tree features in the shadows. For the model structure, the original CSPDarkNet-53 backbone feature extraction network was replaced by MobileNetV3. Some of the standard convolutional blocks in the original extraction network were replaced by depthwise separable convolution blocks. The new ReLU6 activation function replaced the original LeakyReLU activation function to make the network more robust for low-precision computations. The K-means++ clustering method was also integrated to generate anchor boxes that are more suitable for the dataset. The experimental results show that the improved algorithm achieved an accuracy of 97.33%, higher than other methods. The detection speed of the proposed approach is higher than that of YOLOv4, improving the efficiency and accuracy of the detection process.

• 한국초전도학회:학술대회논문집
• /
• 한국초전도학회 2008년도 High Temperature Superconductivity Vol.XVIII
• /
• pp.2-2
• /
• 2008

• Korean Journal of Acupuncture
• /
• 제23권1호
• /
• pp.1-14
• /
• 2006

Objectives : This research was performed to investigate the effect of invasive low level laser acupuncture therapy(LLLAT) at Yolgyol+yogu(LU7+LR5) on weight gain, food intake, food efficiency, lipid metabolism and liver function in hyperlipemia rats. Methods : Experimental groups were divided into high fat diet cup(Control group), high fat diet and 15 mW/5 min LLLAT at LU7+LR5(15 mW/5 min group), 15 mW/10 min LLLAT at LU7+LR5(15 mW/10 min group), 30 mW/5 min LLLAT at LU7+LRS(30 mW/5 min group), 30 mW/10 min LLLAT at LU7+LR5(30 mW/10 min group). LLLAT was treated at the 15,30mW-5,10min once a 2day during 5 weeks. Results : Body weight was decreased significantly in 30 mW/s min group and 30 mW/10 min group compared with control group. Food intake was decreased significantly in 15 mW/5 min group and 15 mW/10 min group compared with control group. Food efficiency was decreased significantly in 30 mW/10 min group compared with control group. In the lipid metabolism, total cholesterol, HDL-cholesterol and free fatty acid were increased significantly in 15 mW/5 min group and 30 mW/10 min group compared with control group. LDL-cholesterol was increased in 30 mW/10 min group and phospholipids was decreased significantly in all experimental group compared with control group. triglyceride was not showed significant result in all experimental group. In the liver function, AST was not showed significant result in all experimental group, ALT and ALP were increased significantly in 30 mW/10 min group, ALP was decreased in 30 mW/5 min group compared with control group. Conclusions : LLLAT at LU7 and LR5 can manage hyperlipemia by controlling body weight, food intake, food efficiency ratio and lipid metabolism.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2018년도 춘계학술대회
• /
• pp.466-467
• /
• 2018

최근 이미지 인식, 영상 인식, 음성 인식, 자연어 처리 등 다양한 분야에 인공지능이 적용되면서 딥러닝(Deep learning) 기술에 관한 관심이 높아지고 있다. 딥러닝 중에서도 가장 대표적인 알고리즘으로 이미지 인식 및 분류에 강점이 있고 각 분야에 많이 쓰이고 있는 CNN(Convolutional Neural Network)에 대한 많은 연구가 진행되고 있다. 본 논문에서는 일반적인 CNN 구조를 변형한 새로운 네트워크 구조를 제안하고자 한다. 일반적인 CNN 구조는 convolution layer, pooling layer, fully-connected layer로 구성된다. 그러므로 본 연구에서는 일반적인 CNN 구조 내부에 FC를 첨가한 새로운 네트워크를 구성하고자 한다. 이러한 변형은 컨볼루션된 이미지에 신경회로망이 갖는 장점인 일반화 기능을 포함시켜 정확도를 올리고자 한다.

• 정보과학회 논문지
• /
• 제44권7호
• /
• pp.668-673
• /
• 2017

최근 몇 년간 딥러닝(deep learning)은 음성 인식, 영상 인식, 물체 검출을 비롯한 다양한 패턴인식 분야에서 혁신적인 성능 발전을 거듭해왔다. 그에 비해 네트워크가 어떻게 작동하는지에 대한 깊은 이해는 잘 이루어지지 않고 있다. 본 논문은 효과적인 신경망 네트워크를 구성하기 위해 네트워크 파라미터들이 신경망 내부에서 어떻게 작동하고, 어떤 역할을 하고 있는지 분석하였다. Faster R-CNN 네트워크를 기반으로 하여 신경망의 과적합(overfitting)을 막는 드랍아웃(dropout) 확률과 앵커 박스 크기, 그리고 활성 함수를 변화시켜 학습한 후 그 결과를 분석하였다. 또한 드랍아웃과 배치 정규화(batch normalization) 방식을 비교해보았다. 드랍아웃 확률은 0.3일 때 가장 좋은 성능을 보였으며 앵커 박스의 크기는 최종 물체 검출 성능과 큰 관련이 없다는 것을 알 수 있었다. 드랍아웃과 배치 정규화 방식은 서로를 완전히 대체할 수는 없는 것을 확인할 수 있었다. 활성화 함수는 음수 도메인의 기울기가 0.02인 leaky ReLU가 비교적 좋은 성능을 보였다.