• 전기전자학회논문지
• /
• 제24권3호
• /
• pp.766-776
• /
• 2020

최근 기계학습에 대한 관심이 높아지고 연구가 활성화됨에 따라 다양한 기계학습 모델에서 최적의 하이퍼 파라미터 조합을 찾는 것이 중요해지고 있다. 본 논문에서는 다양한 하이퍼 파라미터 중에서 옵티마이저에 중점을 두고, 다양한 데이터에서 주요 옵티마이저들의 성능을 측정하고 비교하였다. 특히, 가장 기본이 되는 SGD부터 Momentum, NAG, AdaGrad, RMSProp, AdaDelta, Adam, AdaMax, Nadam까지 총 9개의 옵티마이저의 성능을 MNIST, CIFAR-10, IRIS, TITANIC, Boston Housing Price 데이터를 이용하여 비교하였다. 실험 결과, 전체적으로 Adam과 Nadam을 사용하였을 때 기계학습 모델의 손실 함숫값이 가장 빠르게 감소하는 것을 확인할 수 있었으며, F1 score 또한 높아짐을 확인할 수 있었다. 한편, AdaMax는 학습 중에 불안정한 모습을 많이 보여주었으며, AdaDelta는 다른 옵티마이저들에 비하여 수렴 속도가 느리며 성능이 낮은 것을 확인할 수 있었다.

• 디지털융복합연구
• /
• 제20권4호
• /
• pp.389-396
• /
• 2022

딥러닝(Deep Learning)은 퍼셉트론을 기반으로 하고 있으며 현재에는 이미지 인식, 음성 인식, 객체 검출 및 약물 개발 등과 같은 다양한 영역에서 사용되고 있다. 이에 따라 학습 알고리즘이 다양하게 제안되었고 신경망을 구성하는 뉴런수도 연구자마다 많은 차이를 보이고 있다. 본 연구는 현재 대표적으로 사용되고 있는 확률적 경사하강법(SGD), 모멘텀법(Momentum), AdaGrad, RMSProp 및 Adam법의 뉴런수에 따른 학습 특성을 분석하였다. 이를 위하여 1개의 입력층, 3개의 은닉층, 1개의 출력층으로 신경망을 구성하였고 활성화함수는 ReLU, 손실 함수는 교차 엔트로피 오차(CEE)를 적용하였고 실험 데이터셋은 MNIST를 사용하였다. 그 결과 뉴런수는 100~300개, 알고리즘은 Adam, 학습횟수(iteraction)는 200회가 딥러닝 학습에서 가장 효율적일 것으로 결론을 내렸다. 이러한 연구는 향후 새로운 학습 데이터가 주어졌을 경우 개발될 알고리즘과 뉴런수의 기준치에 함의를 제공할 것이다.

• Advances in concrete construction
• /
• 제15권4호
• /
• pp.269-286
• /
• 2023

In the present study, we aim to utilize the numerical solution frequency results of functionally graded beam under thermal and dynamic loadings to train and test an artificial neural network. In this regard, shear deformable functionally-graded beam structure is considered for obtaining the natural frequency in different conditions of boundary and material grading indices. In this regard, both analytical and numerical solutions based on Navier's approach and differential quadrature method are presented to obtain effects of different parameters on the natural frequency of the structure. Further, the numerical results are utilized to train an artificial neural network (ANN) using AdaGrad optimization algorithm. Finally, the results of the ANN and other solution procedure are presented and comprehensive parametric study is presented to observe effects of geometrical, material and boundary conditions of the free oscillation frequency of the functionally graded beam structure.

• 한국전자통신학회논문지
• /
• 제17권3호
• /
• pp.473-482
• /
• 2022

코로나 시대에서 감염의 위험을 줄이기 위하여 반드시 마스크를 착용하여야 하며, 건축 공사장과 같은 위험한 작업 환경에서 일하는 직원의 안전을 위하여 헬맷을 쓰는 것은 필수불가결하다. 본 논문에서는 헬멧과 마스크의 착용 여부를 분류하는 효과적인 딥러닝 모델 HelmetMask-Net를 제안한다. HelmetMask-Net은 CNN 기반으로 설계되며, 전처리, 컨벌류션 계층, 맥스풀링 계층과 4 가지 출력이 있는 완전결합 계층으로 구성되며, 헬멧, 마스크, 헬멧과 마스크, 헬멧과 마스크을 착용하지 않은 4 가지 경우를 구분한다. 정확도, 최적화, 초월 변수의 수를 고려한 실험으로 2 컨볼루션 계층과 AdaGrad 최적화를 가진 구조가 선정되었다. 모의 실험 결과 99%의 정확도를 보여 주었고, 기존의 모델에 비하여 성능이 우수함을 확인하였다. 제안된 분류기는 코비드 19 시대에 직원의 안전을 향상시킬 수 있을 것이다.

• 한국산학기술학회논문지
• /
• 제21권2호
• /
• pp.189-194
• /
• 2020

본 논문에서는 신경망을 학습하는 데 가장 많이 사용되고 있는 경사하강법에 대해 분석하였다. 학습이란 손실함수가 최소값이 되도록 매개변수를 갱신하는 것이다. 손실함수는 실제값과 예측값의 차이를 수치화 해주는 함수이다. 경사하강법은 오차가 최소화되도록 매개변수를 갱신하는데 손실함수의 기울기를 사용하는 것으로 현재 최고의 딥러닝 학습알고리즘을 제공하는 라이브러리에서 사용되고 있다. 그러나 이 알고리즘들은 블랙박스형태로 제공되고 있어서 다양한 경사하강법들의 장단점을 파악하는 것이 쉽지 않다. 경사하강법에서 현재 대표적으로 사용되고 있는 확률적 경사하강법(Stochastic Gradient Descent method), 모멘텀법(Momentum method), AdaGrad법 그리고 Adadelta법의 특성에 대하여 분석하였다. 실험 데이터는 신경망을 검증하는 데 널리 사용되는 MNIST 데이터 셋을 사용하였다. 은닉층은 2개의 층으로 첫 번째 층은 500개 그리고 두 번째 층은 300개의 뉴런으로 구성하였다. 출력 층의 활성화함수는 소프트 맥스함수이고 나머지 입력 층과 은닉 층의 활성화함수는 ReLu함수를 사용하였다. 그리고 손실함수는 교차 엔트로피 오차를 사용하였다.