• 한국산학기술학회논문지
• /
• 제21권2호
• /
• pp.189-194
• /
• 2020

본 논문에서는 신경망을 학습하는 데 가장 많이 사용되고 있는 경사하강법에 대해 분석하였다. 학습이란 손실함수가 최소값이 되도록 매개변수를 갱신하는 것이다. 손실함수는 실제값과 예측값의 차이를 수치화 해주는 함수이다. 경사하강법은 오차가 최소화되도록 매개변수를 갱신하는데 손실함수의 기울기를 사용하는 것으로 현재 최고의 딥러닝 학습알고리즘을 제공하는 라이브러리에서 사용되고 있다. 그러나 이 알고리즘들은 블랙박스형태로 제공되고 있어서 다양한 경사하강법들의 장단점을 파악하는 것이 쉽지 않다. 경사하강법에서 현재 대표적으로 사용되고 있는 확률적 경사하강법(Stochastic Gradient Descent method), 모멘텀법(Momentum method), AdaGrad법 그리고 Adadelta법의 특성에 대하여 분석하였다. 실험 데이터는 신경망을 검증하는 데 널리 사용되는 MNIST 데이터 셋을 사용하였다. 은닉층은 2개의 층으로 첫 번째 층은 500개 그리고 두 번째 층은 300개의 뉴런으로 구성하였다. 출력 층의 활성화함수는 소프트 맥스함수이고 나머지 입력 층과 은닉 층의 활성화함수는 ReLu함수를 사용하였다. 그리고 손실함수는 교차 엔트로피 오차를 사용하였다.

• 실천공학교육논문지
• /
• 제14권2호
• /
• pp.305-312
• /
• 2022

본 논문에서는 기초적인 데이터 예측 모델을 만들고 최적화하는 교육에 초점을 맞추었다. 그리고 데이터 예측 모델을 최적화하는 데 널리 사용되는 머신러닝의 경사하강법 교육 방법을 제안하였다. 미분법을 적용하여 데이터 예측 모델에 필요한 파라미터 값들을 최적화하는 과정에 사용되는 경사하강법의 전체 동작과정을 시각적으로 보여주며, 수학의 미분법이 머신러닝에 효과적으로 사용되는 것을 교육한다. 경사하강법의 전체 동작과정을 시각적으로 설명하기위해, 스프레드시트로 경사하강법 SW를 구현한다. 본 논문에서는 첫번째로, 2변수 경사하강법 교육 방법을 제시하고, 오차 최소제곱법과 비교하여 2변수 데이터 예측모델의 정확도를 검증한다. 두번째로, 3변수 경사하강법 교육 방법을 제시하고, 3변수 데이터 예측모델의 정확도를 검증한다. 이후, 경사하강법 최적화 실습 방향을 제시하고, 비전공자 교육 만족도 결과를 통해, 제안한 경사하강법 교육방법이 갖는 교육 효과를 분석하였다.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제37권3호
• /
• pp.467-482
• /
• 2023

본 논문에서는 인공지능 알고리즘에서 많이 사용되는 경사하강법(gradient descent method)을 대학수학 강좌에서 인공지능 활용사례로 사용할 수 있도록 연구한 교수·학습 기초자료를 소개한다. 특히 대학 미적분학 수준에서도 가르칠 수 있도록 자세한 개념 설명과 함께 복잡한 함수에 관해서도 쉽게 계산할 수 있도록 파이썬(Python) 기반의 SageMath 코드를 제공한다. 그리고 실제 인공지능 응용과 연계하여 선형회귀에서 발생하는 최소제곱문제를 경사하강법을 활용하여 풀이한 예시도 함께 소개한다. 본 연구는 대학 미적분학 뿐만 아니라 공학수학, 수치해석, 응용수학 등과 같은 고급 수학 과목을 지도하는 다양한 교수자들에게 도움이 될 수 있다.

• 전자공학회논문지CI
• /
• 제38권1호
• /
• pp.1-6
• /
• 2001

본 논문에서는 Hebb 학습법에 기초한 Kohonen의 LVQ 학습법을 퍼셉트론 학습에 사용되는 경도 강하 (Gradient descent) 학습법에 의해 재해석한다. Kohonen의 LVQ는 학습법에 따라 두 가지로 나뉠 수 있는데 하나는 자율학습 LVQ(ULVQ)이며 다른 하나는 타율학습 LVQ(SLVQ)이다. 두 경우 모두 출력뉴런의 목표 값을 적당히 생성할 경우 타율학습 경도 강하학습법으로 표현될 수 있다. 결과적으로 LVQ학습법은 타율학습 경도 강하 학습법의 특수한 형태임을 알 수 있으며 또한 LVQ는 보다 일반화된 '퍼셉트론 형태의 LVQ(PLVQ)'알고리즘으로 표현될 수 있음을 알 수 있다. 본 논문에서는 이를 증명하고 결론을 맺는다.

• 한국콘텐츠학회논문지
• /
• 제4권3호
• /
• pp.99-105
• /
• 2004

이 논문은 다층퍼셉트론의 학습을 빠르게 하기 위한 최적 학습률을 제안한다. 이 학습률은 한 뉴런에 연결된 가중치들에 대한 학습률과, 중간층에 가상의 목표값을 설정하기 위한 학습률로 나타난다. 그 결과, 중간층 가중치의 최적 학습률은 가상의 중간층 목표값 할당 성분과 중간층 오차함수를 최소화 시키고자하는 성분의 곱으로 나타난다. 제안한 방법은 고립단어인식과 필기체 숫자 인식 문제의 시뮬레이션으로 효용성을 확인하였다.

• Journal of the Korean Data and Information Science Society
• /
• 제27권4호
• /
• pp.911-923
• /
• 2016

빅데이터 시대에 머신러닝의 중요성은 더욱 부각되고 있고 로지스틱 회귀는 머신러닝에서 분류를 위한 방법으로 의료, 경제학, 마케팅 및 사회과학 전반에 걸쳐 널리 사용되고 있다. 지금까지 R과 Hadoop의 통합환경인 RHIPE 플랫폼은 설치 및 MapReduce 구현의 어려움으로 인해 거의 연구가 이루지 지지 않았다. 본 논문에서는 대용량 데이터에 대해 로지스틱 회귀 추정을 위한 두가지 알고리즘 즉, Gradient Descent 알고리즘과 Newton-Raphson 알고리즘에 대해 MapReduce로 구현하고, 실제 데이터와 모의실험 데이터를 가지고 이들 알고리즘 간의 성능을 비교하고자 한다. 알고리즘 성능 실험에서 Gradient Descent 알고리즘은 학습률에 크게 의존하고 또한 데이터에 따라 수렴하지 않는 문제를 갖고 있다. Newton-Raphson 알고리즘은 학습률이 불필요 할 뿐만 아니라 모든 실험 데이터에 대해 좋은 성능을 보였다.

• 전기학회논문지P
• /
• 제58권2호
• /
• pp.164-171
• /
• 2009

This paper presents new learning algorithm of dynamic Bayesian networks (DBN) by means of constrained least square (LS) estimation algorithm and gradient descent method. First, we propose constrained LS based parameter estimation for a Markov chain (MC) model given observation data sets. Next, a gradient descent optimization is utilized for online estimation of a hidden Markov model (HMM), which is bi-linearly constructed by adding an observation variable to a MC model. We achieve numerical simulations to prove its reliability and superiority in which a series of non stationary random signal is applied for the DBN models respectively.

• 정보처리학회논문지B
• /
• 제17B권5호
• /
• pp.381-388
• /
• 2010

나이브 베이시안 알고리즘은 데이터 마이닝의 여러 분야에서 적용되고 있으며 좋은 성능을 보여주고 있다. 하지만 이 학습 방법은 모든 속성의 가중치가 동일하다는 가정을 하고 있으며 이러한 가정으로 인하여 가끔 정확도가 떨어지는 현상이 발생한다. 이러한 문제를 보완하기 위하여 나이브 베이시안에서 속성의 가중치를 조절하는 다수의 연구가 제안되어 이러한 단점을 보완하고 있다. 본 연구에서는 나이브 베이시안 학습에서 기존의 속성에 가중치를 부여하는 방식에서 한걸음 나아가 속성의 값에 가중치를 부여하는 새로운 방식을 연구하였다. 이러한 속성값의 가중치를 계산하기 위하여 점진적 하강(gradient descent) 방법을 이용하여 가중치를 계산하는 방식을 제안하였다. 제안된 알고리즘은 다수의 데이터를 이용하여 속성 가중치 방식과 비교하였고 대부분의 경우에 더 좋은 성능을 제공함을 알 수 있었다.

• Journal of Electrical Engineering and information Science
• /
• 제2권6호
• /
• pp.191-196
• /
• 1997

Fuzzy clustering has been playing an important role in solving many problems. Fuzzy c-Means(FCM) algorithm is most frequently used for fuzzy clustering. But some fixed point of FCM algorithm, know as Tucker's counter example, is not a reasonable solution. Moreover, FCM algorithm is impossible to perform the on-line learning since it is basically a batch learning scheme. This paper presents unsupervised learning networks as an attempt to improve shortcomings of the conventional clustering algorithm. This model integrates optimization function of FCM algorithm into unsupervised learning networks. The learning rule of the proposed scheme is a result of formal derivation based on the gradient descent procedure of a fuzzy objective function. Using the result of formal derivation, two algorithms of fuzzy cluster analysis, the batch learning version and on-line learning version, are devised. They are tested on several data sets and compared with FCM. The experimental results show that the proposed algorithms find out the reasonable solution on Tucker's counter example.

• 한국정보통신학회논문지
• /
• 제10권2호
• /
• pp.276-282
• /
• 2006

본 연구에서는 구조가 단순한 PID 제어기의 장점을 살리고, 시스템 파라메터의 변동에 대하여 강인성 성능을 내는 온라인 적응 PID 제어 시스템을 개발하고자 한다. 또한, 제안된 적응 제어 시스템의 초기 제어 구간에서 안정한 스타트-엎(start-up)을 보장하기 위하여 초기 제어기의 이득을 적절한 이득으로 설정하고, 그 이득의 변화량을 경사 감소법에 의하여 학습하는 방법으로 수정 제안하고자 한다. 제안된 적응 PID제어기의 성능 평가를 위하여 비선형 DC 모터의 가변 속도제어에 적용하고, 결과를 모의실험을 통하여 보이고자한다.