• International Journal of Internet, Broadcasting and Communication
• /
• 제13권1호
• /
• pp.100-106
• /
• 2021

Over the past few decades, natural language processing research has not made much. However, the widespread use of deep learning and neural networks attracted attention for the application of neural networks in natural language processing. Sentiment analysis is one of the challenges of natural language processing. Emotions are things that a person thinks and feels. Therefore, sentiment analysis should be able to analyze the person's attitude, opinions, and inclinations in text or actual text. In the case of emotion analysis, it is a priority to simply classify two emotions: positive and negative. In this paper we propose the deep learning based sentimental analysis system according to various optimizer that is SGD, ADAM and RMSProp. Through experimental result RMSprop optimizer shows the best performance compared to others on IMDB data set. Future work is to find more best hyper parameter for sentimental analysis system.

• 디지털융복합연구
• /
• 제20권4호
• /
• pp.389-396
• /
• 2022

딥러닝(Deep Learning)은 퍼셉트론을 기반으로 하고 있으며 현재에는 이미지 인식, 음성 인식, 객체 검출 및 약물 개발 등과 같은 다양한 영역에서 사용되고 있다. 이에 따라 학습 알고리즘이 다양하게 제안되었고 신경망을 구성하는 뉴런수도 연구자마다 많은 차이를 보이고 있다. 본 연구는 현재 대표적으로 사용되고 있는 확률적 경사하강법(SGD), 모멘텀법(Momentum), AdaGrad, RMSProp 및 Adam법의 뉴런수에 따른 학습 특성을 분석하였다. 이를 위하여 1개의 입력층, 3개의 은닉층, 1개의 출력층으로 신경망을 구성하였고 활성화함수는 ReLU, 손실 함수는 교차 엔트로피 오차(CEE)를 적용하였고 실험 데이터셋은 MNIST를 사용하였다. 그 결과 뉴런수는 100~300개, 알고리즘은 Adam, 학습횟수(iteraction)는 200회가 딥러닝 학습에서 가장 효율적일 것으로 결론을 내렸다. 이러한 연구는 향후 새로운 학습 데이터가 주어졌을 경우 개발될 알고리즘과 뉴런수의 기준치에 함의를 제공할 것이다.

• 한국산학기술학회논문지
• /
• 제22권5호
• /
• pp.7-14
• /
• 2021

토마토 작물은 병해충의 영향을 많이 받기 때문에 이를 예방하지 않으면 농업 경제에 막대한 손실을 초래할 수 있다. 따라서 토마토의 다양한 병해충의 진단을 빠르고 정확하게 진단하는 시스템이 요구된다. 본 논문에서는 ImageNet 데이터 셋 상에서 다양하게 사전 학습된 딥러닝 기반 CNN 모델을 적용하여 토마토의 9가지 병해충 및 정상인 경우의 클래스를 분류하는 시스템을 제안한다. PlantVillage 데이터 셋으로부터 발췌한 토마토 잎의 이미지 셋을 3가지 딥러닝 기반 CNN 구조를 갖는 ResNet, Xception, DenseNet의 입력으로 사용한다. 기본 CNN 모델 위에 톱-레벨 분류기를 추가하여 제안 모델을 구성하였으며, 훈련 데이터 셋에 대해 5-fold 교차검증 기법을 적용하여 학습시켰다. 3가지 제안 모델의 학습은 모두 기본 CNN 모델의 계층을 동결하여 학습시키는 전이 학습과 동결을 해제한 후 학습률을 매우 작은 수로 설정하여 학습시키는 미세 조정 학습 두 단계로 진행하였다. 모델 최적화 알고리즘으로는 SGD, RMSprop, Adam을 적용하였다. 실험 결과는 RMSprop 알고리즘이 적용된 DenseNet CNN 모델이 98.63%의 정확도로 가장 우수한 결과를 보였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권5호
• /
• pp.1649-1665
• /
• 2021

In view of the low accuracy of the traditional FunkSVD algorithm, and in order to improve the computational efficiency of the algorithm, this paper proposes a parallel algorithm of improved FunkSVD based on Spark (SP-FD). Using RMSProp algorithm to improve the traditional FunkSVD algorithm. The improved FunkSVD algorithm can not only solve the problem of decreased accuracy caused by iterative oscillations but also alleviate the impact of data sparseness on the accuracy of the algorithm, thereby achieving the effect of improving the accuracy of the algorithm. And using the Spark big data computing framework to realize the parallelization of the improved algorithm, to use RDD for iterative calculation, and to store calculation data in the iterative process in distributed memory to speed up the iteration. The Cartesian product operation in the improved FunkSVD algorithm is divided into blocks to realize parallel calculation, thereby improving the calculation speed of the algorithm. Experiments on three standard data sets in terms of accuracy, execution time, and speedup show that the SP-FD algorithm not only improves the recommendation accuracy, shortens the calculation interval compared to the traditional FunkSVD and several other algorithms but also shows good parallel performance in a cluster environment with multiple nodes. The analysis of experimental results shows that the SP-FD algorithm improves the accuracy and parallel computing capability of the algorithm, which is better than the traditional FunkSVD algorithm.

• International Journal of Computer Science & Network Security
• /
• 제23권5호
• /
• pp.73-88
• /
• 2023

Brain tumors can also be an abnormal collection or accumulation of cells in the brain that can be life-threatening due to their ability to invade and metastasize to nearby tissues. Accurate diagnosis is critical to the success of treatment planning, and resonant imaging is the primary diagnostic imaging method used to diagnose brain tumors and their extent. Deep learning methods for computer vision applications have shown significant improvements in recent years, primarily due to the undeniable fact that there is a large amount of data on the market to teach models. Therefore, improvements within the model architecture perform better approximations in the monitored configuration. Tumor classification using these deep learning techniques has made great strides by providing reliable, annotated open data sets. Reduce computational effort and learn specific spatial and temporal relationships. This white paper describes transfer models such as the MobileNet model, VGG19 model, InceptionResNetV2 model, Inception model, and DenseNet201 model. The model uses three different optimizers, Adam, SGD, and RMSprop. Finally, the pre-trained MobileNet with RMSprop optimizer is the best model in this paper, with 0.995 accuracies, 0.99 sensitivity, and 1.00 specificity, while at the same time having the lowest computational cost.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제23권7호
• /
• pp.440-445
• /
• 2017

전자상거래 발전에 따라 온라인 쇼핑을 이용하는 사람들이 증가하였고 제품 또한 다양해지고 있다. 이러한 추세로 구매자가 만족할 수 있는 정확한 추천시스템의 중요성이 증대되었으며 정확도를 높이기 위한 새로운 방법의 연구가 계속되고 있다. 순환신경망은 시퀀스 학습에 적합한 딥 러닝 방법 중 하나이며 본 연구에서는 추천시스템의 정확도를 높이는 방법으로 구매자의 제품 접근순서를 순환신경망에 적용하여 알고리즘 성능평가를 하였다. 알고리즘 성능평가에는 대표적인 순환신경망 알고리즘과 최적화 알고리즘으로 진행하였다. 순환신경망 알고리즘으로는 RNN, LSTM, GRU 그리고 최적화 알고리즘으로는 Adagrad, RMSProp, Adam optimizer를 사용하였다. 실험 도구로는 구글의 오픈소스 라이브러리인 텐서플로우를 사용하였고 데이터는 RecSys Challenge 2015에서 제공하는 e-commerce session 데이터를 활용하였다. 실험 결과 실험 데이터에 적합한 최적의 하이퍼파라미터를 발굴하고 적용하여 RecSys Challenge 2015 참가자들의 결과와 비교하였다. 상품 접근 순서만을 학습시킨 결과이기 때문에 등수가 높지는 않았지만 기존 추천시스템에 접목한다면 정확도 향상에 기여할 수 있을 것으로 보인다.

• 전기전자학회논문지
• /
• 제24권3호
• /
• pp.766-776
• /
• 2020

최근 기계학습에 대한 관심이 높아지고 연구가 활성화됨에 따라 다양한 기계학습 모델에서 최적의 하이퍼 파라미터 조합을 찾는 것이 중요해지고 있다. 본 논문에서는 다양한 하이퍼 파라미터 중에서 옵티마이저에 중점을 두고, 다양한 데이터에서 주요 옵티마이저들의 성능을 측정하고 비교하였다. 특히, 가장 기본이 되는 SGD부터 Momentum, NAG, AdaGrad, RMSProp, AdaDelta, Adam, AdaMax, Nadam까지 총 9개의 옵티마이저의 성능을 MNIST, CIFAR-10, IRIS, TITANIC, Boston Housing Price 데이터를 이용하여 비교하였다. 실험 결과, 전체적으로 Adam과 Nadam을 사용하였을 때 기계학습 모델의 손실 함숫값이 가장 빠르게 감소하는 것을 확인할 수 있었으며, F1 score 또한 높아짐을 확인할 수 있었다. 한편, AdaMax는 학습 중에 불안정한 모습을 많이 보여주었으며, AdaDelta는 다른 옵티마이저들에 비하여 수렴 속도가 느리며 성능이 낮은 것을 확인할 수 있었다.

• 한국시뮬레이션학회논문지
• /
• 제29권4호
• /
• pp.73-84
• /
• 2020

인터넷이 대중화되기 시작하면서 해킹 및 시스템과 네트워크에 대한 공격이 있어 왔고, 날로 그 기법들이 진화되면서 기업 및 사회에 위험과 부담감을 주었다. 그러한 위험과 부담감을 덜기 위해서는 조기에 해킹 및 공격을 탐지하여 적절하게 대응해야 하는데, 그에 앞서 반드시 네트워크 침입탐지의 신뢰성을 높일 필요가 있다. 본 연구에서는 네트워크 침입탐지 정확도를 향상시키기 위해 가중치 초기화와 가중치 최적화를 KDD'99 데이터셋에 적용하는 연구를 하였다. 가중치 초기화는 Xavier와 He 방법처럼 가중치 학습 구조와 관련된 초기화 방법이 정확도에 영향을 준다는 것을 실험을 통해 알 수 있었다. 또한 가중치 최적화는 현재 가중치를 학습률에 반영할 수 있도록 한 RMSProp와 이전 변화를 반영한 Momentum의 장점을 결합한 Adam 알고리즘이 정확도면에서 단연 돋보임을 네트워크 침입탐지 데이터셋의 실험을 통해 확인하였다.

• 대한토목학회논문집
• /
• 제43권4호
• /
• pp.511-523
• /
• 2023

철근콘크리트 손상 감지를 위한 무인항공기와 딥러닝 연계에 대한 연구가 활발히 진행 중이다. 컨볼루션 신경망은 객체 분류, 검출, 분할 모델의 백본으로 모델 성능에 높은 영향을 준다. 사전학습 컨볼루션 신경망인 모바일넷은 적은 연산량으로 충분한 정확도가 확보 될 수 있어 무인항공기 기반 실시간 손상 감지 백본으로 효율적이다. 바닐라 컨볼루션 신경망과 모바일넷을 분석 한 결과 모바일넷이 바닐라 컨볼루션 신경망의 15.9~22.9% 수준의 낮은 연산량으로도 6.0~9.0% 높은 검증 정확도를 가지는 것으로 평가되었다. 모바일넷V2, 모바일넷V3Large, 모바일넷 V3Small은 거의 동일한 최대 검증 정확도를 가지는 것으로 나타났으며 모바일넷의 철근콘트리트 손상 이미지 특성 추출 최적 조건은 옵티마이저 RMSprop, 드롭아웃 미적용, 평균풀링인 것으로 분석되었다. 본 연구에서 도출된 모바일넷V2 기반 7가지 손상 감지 최대 검증 정확도 75.49%는 이미지 축적과 지속적 학습으로 향상 될 수 있다.

• 한국방사선학회논문지
• /
• 제14권1호
• /
• pp.39-44
• /
• 2020

본 연구에서는 CNN과 빅데이터 기술을 이용한 Deep Learning을 통해 흉부 X-ray 영상 분류 및 정확성 연구에 대하여 알아보고자 한다. 총 5,873장의 흉부 X-ray 영상에서 Normal 1,583장, Pneumonia 4,289장을 사용하였다. 데이터 분류는 train(88.8%), validation(0.2%), test(11%)로 분류하였다. Convolution Layer, Max pooling layer pool size 2×2, Flatten layer, Image Data Generator로 구성하였다. Convolution layer가 3일 때와 4일 때 각각 filter 수, filter size, drop out, epoch, batch size, 손실함수 값을 설정하였다. test 데이터로 Convolution layer가 4일 때, filter 수 64-128-128-128, filter size 3×3, drop out 0.25, epoch 5, batch size 15, 손실함수 RMSprop으로 설정 시 정확도가 94.67%였다. 본 연구를 통해 높은 정확성으로 분류가 가능하였으며, 흉부 X-ray 영상뿐만 아니라 다른 의료영상에서도 많은 도움이 될 것으로 사료된다.