• International Journal of Computer Science & Network Security
• /
• 제21권7호
• /
• pp.324-330
• /
• 2021

Agriculture is one of the essential needs of human life on planet Earth. It is the source of food and earnings for many individuals around the world. The economy of many countries is associated with the agriculture sector. Lots of diseases exist that attack various fruits and crops. Apple Tree Leaves also suffer different types of pathological conditions that affect their production. These pathological conditions include apple scab, cedar apple rust, or multiple diseases, etc. In this paper, an automatic detection framework based on deep learning is investigated for apple leaves disease classification. Different pre-trained models, VGG16, ResNetV2, InceptionV3, and MobileNetV2, are considered for transfer learning. A combination of parameters like learning rate, batch size, and optimizer is analyzed, and the best combination of ResNetV2 with Adam optimizer provided the best classification accuracy of 94%.

• International journal of advanced smart convergence
• /
• 제13권2호
• /
• pp.80-87
• /
• 2024

This paper focuses on improving accuracy in constrained computing settings by employing the ReLU (Rectified Linear Unit) activation function. The research conducted involves modifying parameters of the ReLU function and comparing performance in terms of accuracy and computational time. This paper specifically focuses on optimizing ReLU in the context of a Multilayer Perceptron (MLP) by determining the ideal values for features such as the dimensions of the linear layers and the learning rate (Ir). In order to optimize performance, the paper experiments with adjusting parameters like the size dimensions of linear layers and Ir values to induce the best performance outcomes. The experimental results show that using ReLU alone yielded the highest accuracy of 96.7% when the dimension sizes were 30 - 10 and the Ir value was 1. When combining ReLU with the Adam optimizer, the optimal model configuration had dimension sizes of 60 - 40 - 10, and an Ir value of 0.001, which resulted in the highest accuracy of 97.07%.

• International Journal of Computer Science & Network Security
• /
• 제23권10호
• /
• pp.115-128
• /
• 2023

Deep learning has been incorporating various optimization techniques motivated by new pragmatic optimizing algorithm advancements and their usage has a central role in Machine learning. In recent past, new avatars of various optimizers are being put into practice and their suitability and applicability has been reported on various domains. The resurgence of novelty starts from Stochastic Gradient Descent to convex and non-convex and derivative-free approaches. In the contemporary of these horizons of optimizers, choosing a best-fit or appropriate optimizer is an important consideration in deep learning theme as these working-horse engines determines the final performance predicted by the model. Moreover with increasing number of deep layers tantamount higher complexity with hyper-parameter tuning and consequently need to delve for a befitting optimizer. We empirically examine most popular and widely used optimizers on various data sets and networks-like MNIST and GAN plus others. The pragmatic comparison focuses on their similarities, differences and possibilities of their suitability for a given application. Additionally, the recent optimizer variants are highlighted with their subtlety. The article emphasizes on their critical role and pinpoints buttress options while choosing among them.

• 전기전자학회논문지
• /
• 제24권3호
• /
• pp.766-776
• /
• 2020

최근 기계학습에 대한 관심이 높아지고 연구가 활성화됨에 따라 다양한 기계학습 모델에서 최적의 하이퍼 파라미터 조합을 찾는 것이 중요해지고 있다. 본 논문에서는 다양한 하이퍼 파라미터 중에서 옵티마이저에 중점을 두고, 다양한 데이터에서 주요 옵티마이저들의 성능을 측정하고 비교하였다. 특히, 가장 기본이 되는 SGD부터 Momentum, NAG, AdaGrad, RMSProp, AdaDelta, Adam, AdaMax, Nadam까지 총 9개의 옵티마이저의 성능을 MNIST, CIFAR-10, IRIS, TITANIC, Boston Housing Price 데이터를 이용하여 비교하였다. 실험 결과, 전체적으로 Adam과 Nadam을 사용하였을 때 기계학습 모델의 손실 함숫값이 가장 빠르게 감소하는 것을 확인할 수 있었으며, F1 score 또한 높아짐을 확인할 수 있었다. 한편, AdaMax는 학습 중에 불안정한 모습을 많이 보여주었으며, AdaDelta는 다른 옵티마이저들에 비하여 수렴 속도가 느리며 성능이 낮은 것을 확인할 수 있었다.

• 한국전자통신학회논문지
• /
• 제17권3호
• /
• pp.529-536
• /
• 2022

지난 2년 동안 중증급성호흡기증후군 코로나바이러스-2(SARS-CoV-2)는 점점 더 많은 사람들에게 영향을 미치고 있다. 본 논문에서는 COVID-19 폐 CT 이미지를 분할하고 분류하기 위해서 서브코딩블록(SCB), 확장공간파라미드풀링(ASSP)와 어텐션게이트(AG)로 구성된 혼합 모드 특징 추출 방식의 새로운 U-Net 컨볼루션 신경망을 제안한다. 그리고 제안된 모델과 비교하기 위하여 FCN, U-Net, U-Net-SCB 모델을 설계한다. 제안된 U-Net-MMFE 는 COVID-19 CT 스캔 디지털 이미지 데이터에 대하여 atrous rate가 12이고, Adam 최적화 알고리즘을 사용할 때 다른 분할 모델에 비하여 94.79%의 우수한 주사위 분할 점수를 얻었다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 추계학술대회
• /
• pp.655-657
• /
• 2021

인공지능 알고리즘을 이용한 유방암의 조기진단에 관련된 연구는 최근들어 활발하게 진행되고 있으나, 사용자의 목적에 맞는 처리속도 및 정확도 등에 다양한 한계점을 보인다. 이러한 문제를 해결하기 위해, 본 논문에서는 ImageNet에서 학습된 ResNet 모델을 현미경 기반 암세포 이미지에서 활용이 가능한 다단계 전이 학습을 제안하고, 이를 다시 전이 학습하여 초음파 유방암 영상을 양성 및 악성으로 분류하는 실험을 진행하였다. 제안된 다단계 전이 학습 알고리즘은 초음파 유방암 영상을 분류하였을 때 96% 이상의 정확도를 보였으며, 향후 암 세포주 및 실시간 영상처리 등의 추가를 통해 보다 높은 활용도와 정확도를 보일 것으로 기대한다.

• 한국작물학회지
• /
• 제66권2호
• /
• pp.105-111
• /
• 2021

해마다, 강한 바람을 동반한 태풍 및 집중호우로 인해 벼도복이 발생하고 있으며, 이삭이 여무는 등숙기에 도복으로 인한 수발아와 관련된 피해를 발생시키고 있다. 따라서,신속한 피해 대응을 위해 신속한 벼 도복 피해 면적 산정은 필수적이다. 벼 도복과 관련된 이미지들은 도복이 발생된 김제, 부안, 군산일대에서 드론을 이용하여 수집하였고, 수집한 이미지들을 128 × 128 픽셀로 분할하였다. 벼 도복을 예측하기 위해 이미지 기반 딥 러닝 모델인 CNN을 이용하였다. 분할한 이미지들은 도복 이미지(lodging)와 정상 이미지(non-lodging) 2가지로 라벨로 분류하였고, 자료들은 학습을 위한 training-set과 검증을 위한 vali-se을 8:2의 비율로 구분하였다. CNN의 층을 간단하게 구성하여, 3개의 optimizer (Adam, Rmsprop, and SGD)로 모델을 학습하였다. 벼 도복 면적 평가는 training-set과 vali-set에 포함되지 않은 자료를 이용하였으며, 이미지들을 methshape 프로그램으로 전체 농지로 결합하여 총 3개의 농지를 평가하였다. 도복 면적 추정은 필지 전체의 이미지를 모델의 학습 입력 크기(128 × 128)로 분할하여 학습된 CNN 모델로 각각 예측한 후, 전체 분할 이미지 개수 대비 도복 이미지 개수의 비율을 전체 농지의 면적에 곱하여 산정하였다. training-set과 vali-set에 대한 학습 결과, 3개의 optimizer 모두 학습이 진행됨에 따라 정확도가 높아졌으며, 0.919 이상의 높은 정확도를 보였다. 평가를 위한 3개의 농지에 대한 결과는 모든 optimizer에서 높은 정확도를 보였으며, Adam이 가장 높은 정확도를 보였다(RMSE: 52.80 m², NRMSE: 2.73%). 따라서 딥 러닝을 이용하여 신속하게 벼 도복 면적을 추정할 수 있을 것으로 예상된다.

• 인터넷정보학회논문지
• /
• 제19권4호
• /
• pp.35-44
• /
• 2018

Monitoring through Synthesis Aperture Radar (SAR) is responsible for marine safety from floating icebergs. However, there are limits to distinguishing between icebergs and ships in SAR images. Convolutional Neural Network (CNN) is used to distinguish the iceberg from the ship. The goal of this paper is to increase the accuracy of identifying icebergs from SAR images. The metrics for performance evaluation uses the log loss. The two-layer CNN model proposed in research of C.Bentes et al.[1] is used as a benchmark model and compared with the four-layer CNN model using data augmentation. Finally, the performance of the final CNN model using the VGG-16 pre-trained model is compared with the previous model. This paper shows how to improve the benchmark model and propose the final CNN model.

• International Journal of Computer Science & Network Security
• /
• 제21권9호
• /
• pp.223-229
• /
• 2021

Classification of different blood cell types is an essential task for human's medical treatment. The white blood cells have different types of cells. Counting total White Blood Cells (WBC) and differential of the WBC types are required by the physicians to diagnose the disease correctly. This paper used transfer learning methods to the pre-trained deep learning models to classify different WBCs. The best pre-trained model was Inception ResNetV2 with Adam optimizer that produced classification accuracy of 98.4% for the dataset comprising four types of WBCs.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제23권7호
• /
• pp.440-445
• /
• 2017

전자상거래 발전에 따라 온라인 쇼핑을 이용하는 사람들이 증가하였고 제품 또한 다양해지고 있다. 이러한 추세로 구매자가 만족할 수 있는 정확한 추천시스템의 중요성이 증대되었으며 정확도를 높이기 위한 새로운 방법의 연구가 계속되고 있다. 순환신경망은 시퀀스 학습에 적합한 딥 러닝 방법 중 하나이며 본 연구에서는 추천시스템의 정확도를 높이는 방법으로 구매자의 제품 접근순서를 순환신경망에 적용하여 알고리즘 성능평가를 하였다. 알고리즘 성능평가에는 대표적인 순환신경망 알고리즘과 최적화 알고리즘으로 진행하였다. 순환신경망 알고리즘으로는 RNN, LSTM, GRU 그리고 최적화 알고리즘으로는 Adagrad, RMSProp, Adam optimizer를 사용하였다. 실험 도구로는 구글의 오픈소스 라이브러리인 텐서플로우를 사용하였고 데이터는 RecSys Challenge 2015에서 제공하는 e-commerce session 데이터를 활용하였다. 실험 결과 실험 데이터에 적합한 최적의 하이퍼파라미터를 발굴하고 적용하여 RecSys Challenge 2015 참가자들의 결과와 비교하였다. 상품 접근 순서만을 학습시킨 결과이기 때문에 등수가 높지는 않았지만 기존 추천시스템에 접목한다면 정확도 향상에 기여할 수 있을 것으로 보인다.