• 실천공학교육논문지
• /
• 제14권2호
• /
• pp.305-312
• /
• 2022

본 논문에서는 기초적인 데이터 예측 모델을 만들고 최적화하는 교육에 초점을 맞추었다. 그리고 데이터 예측 모델을 최적화하는 데 널리 사용되는 머신러닝의 경사하강법 교육 방법을 제안하였다. 미분법을 적용하여 데이터 예측 모델에 필요한 파라미터 값들을 최적화하는 과정에 사용되는 경사하강법의 전체 동작과정을 시각적으로 보여주며, 수학의 미분법이 머신러닝에 효과적으로 사용되는 것을 교육한다. 경사하강법의 전체 동작과정을 시각적으로 설명하기위해, 스프레드시트로 경사하강법 SW를 구현한다. 본 논문에서는 첫번째로, 2변수 경사하강법 교육 방법을 제시하고, 오차 최소제곱법과 비교하여 2변수 데이터 예측모델의 정확도를 검증한다. 두번째로, 3변수 경사하강법 교육 방법을 제시하고, 3변수 데이터 예측모델의 정확도를 검증한다. 이후, 경사하강법 최적화 실습 방향을 제시하고, 비전공자 교육 만족도 결과를 통해, 제안한 경사하강법 교육방법이 갖는 교육 효과를 분석하였다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 1987년도 전기.전자공학 학술대회 논문집(II)
• /
• pp.1595-1597
• /
• 1987

Two gradient methods, steepest descent method and conjugate gradient descent method, are compar ed through application to vector linear predictors. It is found that the convergence rate of the conju-gate gradient descent method is much faster than that of the steepest descent method.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제37권3호
• /
• pp.467-482
• /
• 2023

본 논문에서는 인공지능 알고리즘에서 많이 사용되는 경사하강법(gradient descent method)을 대학수학 강좌에서 인공지능 활용사례로 사용할 수 있도록 연구한 교수·학습 기초자료를 소개한다. 특히 대학 미적분학 수준에서도 가르칠 수 있도록 자세한 개념 설명과 함께 복잡한 함수에 관해서도 쉽게 계산할 수 있도록 파이썬(Python) 기반의 SageMath 코드를 제공한다. 그리고 실제 인공지능 응용과 연계하여 선형회귀에서 발생하는 최소제곱문제를 경사하강법을 활용하여 풀이한 예시도 함께 소개한다. 본 연구는 대학 미적분학 뿐만 아니라 공학수학, 수치해석, 응용수학 등과 같은 고급 수학 과목을 지도하는 다양한 교수자들에게 도움이 될 수 있다.

• 한국산학기술학회논문지
• /
• 제21권2호
• /
• pp.189-194
• /
• 2020

본 논문에서는 신경망을 학습하는 데 가장 많이 사용되고 있는 경사하강법에 대해 분석하였다. 학습이란 손실함수가 최소값이 되도록 매개변수를 갱신하는 것이다. 손실함수는 실제값과 예측값의 차이를 수치화 해주는 함수이다. 경사하강법은 오차가 최소화되도록 매개변수를 갱신하는데 손실함수의 기울기를 사용하는 것으로 현재 최고의 딥러닝 학습알고리즘을 제공하는 라이브러리에서 사용되고 있다. 그러나 이 알고리즘들은 블랙박스형태로 제공되고 있어서 다양한 경사하강법들의 장단점을 파악하는 것이 쉽지 않다. 경사하강법에서 현재 대표적으로 사용되고 있는 확률적 경사하강법(Stochastic Gradient Descent method), 모멘텀법(Momentum method), AdaGrad법 그리고 Adadelta법의 특성에 대하여 분석하였다. 실험 데이터는 신경망을 검증하는 데 널리 사용되는 MNIST 데이터 셋을 사용하였다. 은닉층은 2개의 층으로 첫 번째 층은 500개 그리고 두 번째 층은 300개의 뉴런으로 구성하였다. 출력 층의 활성화함수는 소프트 맥스함수이고 나머지 입력 층과 은닉 층의 활성화함수는 ReLu함수를 사용하였다. 그리고 손실함수는 교차 엔트로피 오차를 사용하였다.

• 한국산학기술학회논문지
• /
• 제15권12호
• /
• pp.7277-7282
• /
• 2014

본 연구에서는 gradient descent 알고리즘을 퍼지제어기의 동조를 위해 멤버십함수의 폭을 해석하는데 이용하였으며 이 해석은 퍼지 제어규칙의 전건부와 후건부 퍼지변수들을 변화시켜 보다 개선된 제어 효과를 얻기 위해 사용된다. 이 방법은 제어기의 파라미터들이 gradient descent 알고리즘의 반복 과정에서 제어변수를 선택하는 것이다. 본 논문에서는 궤환 목표치 제어를 위해 7개의 멤버십함수와 49개의 규칙 그리고 2개의 입력과 1개의 출력을 갖는 FLC을 사용하였다. 추론은 Min-Max 합성법을 이용하였고 멤버십함수는 13개의 양자화 레벨에 대한 삼각 형태를 채택하였다.

• 대한의용생체공학회:의공학회지
• /
• 제28권6호
• /
• pp.817-824
• /
• 2007

Tractography using Diffusion Tensor Magnetic Resonance Imaging (DT-MRI) is a method to determine the architecture of axonal fibers in the central nervous system by computing the direction of the principal eigenvector in the white matter of the brain. However, the fiber tracking methods suffer from the noise included in the diffusion tensor images that affects the determination of the principal eigenvector. As the fiber tracking progresses, the accumulated error creates a large deviation between the calculated fiber and the real fiber. This problem of the DT-MRI tractography is known mathematically as the ill-posed problem which means that tractography is very sensitive to perturbations by noise. To reduce the noise in DT-MRI measurements, a tensor-valued median filter which is reported to be denoising and structure-preserving in fiber tracking, is applied in the tractography. In this paper, we proposed the modified gradient descent method which converges fast and accurately to the optimal tensor-valued median filter by changing the step size. In addition, the performance of the modified gradient descent method is compared with others. We used the synthetic image which consists of 45 degree principal eigenvectors and the corticospinal tract. For the synthetic image, the proposed method achieved 4.66%, 16.66% and 15.08% less error than the conventional gradient descent method for error measures AE, AAE, AFA respectively. For the corticospinal tract, at iteration number ten the proposed method achieved 3.78%, 25.71 % and 11.54% less error than the conventional gradient descent method for error measures AE, AAE, AFA respectively.

• Asia pacific journal of information systems
• /
• 제34권2호
• /
• pp.565-584
• /
• 2024

More than 1 million automobile insurance repairs occur per year globally, and the related repair costs add up to astronomical amounts. Insurance companies and repair shops are spending a great deal of money on manpower every year to claim reasonable insurance repair costs. For this reason, promptly predicting insurance claims for vehicles in accidents can help reduce social costs related to auto insurance. Several recent studies have been conducted in auto insurance repair prediction using variables such as photos of vehicle damage. We propose a new model that reflects auto insurance repair characteristics to predict auto insurance repair claims through an association rule method that combines gradient descent and location information. This method searches for the appropriate number of rules by applying the gradient descent method to results generated by association rules and eventually extracting main rules with a distance filter that reflects automobile part location information to find items suitable for insurance repair claims. According to our results, predictive performance could be improved by applying the rule set extracted by the proposed method. Therefore, a model combining the gradient descent method and a location-based association rule method is suitable for predicting auto insurance repair claims.

• Genomics & Informatics
• /
• 제5권3호
• /
• pp.95-101
• /
• 2007

In this paper, we consider the variable selection methods in the Cox model when a large number of gene expression levels are involved with survival time. Deciding which genes are associated with survival time has been a challenging problem because of the large number of genes and relatively small sample size (n<

• 전자공학회논문지C
• /
• 제34C권12호
• /
• pp.61-69
• /
• 1997

This paper proposes a new method for improving the performances of the neural network for optimization using a hyubrid of gradient descent method and dynamic tunneling system. The update rule of gradient descent method, which has the fast convergence characteristic, is applied for high-speed optimization. The update rule of dynamic tunneling system, which is the deterministic method with a tunneling phenomenon, is applied for global optimization. Having converged to the for escaping the local minima by applying the dynamic tunneling system. The proposed method has been applied to the travelling salesman problems and the optimal task partition problems to evaluate to that of hopfield model using the update rule of gradient descent method.

• 전자공학회논문지CI
• /
• 제38권1호
• /
• pp.1-6
• /
• 2001

본 논문에서는 Hebb 학습법에 기초한 Kohonen의 LVQ 학습법을 퍼셉트론 학습에 사용되는 경도 강하 (Gradient descent) 학습법에 의해 재해석한다. Kohonen의 LVQ는 학습법에 따라 두 가지로 나뉠 수 있는데 하나는 자율학습 LVQ(ULVQ)이며 다른 하나는 타율학습 LVQ(SLVQ)이다. 두 경우 모두 출력뉴런의 목표 값을 적당히 생성할 경우 타율학습 경도 강하학습법으로 표현될 수 있다. 결과적으로 LVQ학습법은 타율학습 경도 강하 학습법의 특수한 형태임을 알 수 있으며 또한 LVQ는 보다 일반화된 '퍼셉트론 형태의 LVQ(PLVQ)'알고리즘으로 표현될 수 있음을 알 수 있다. 본 논문에서는 이를 증명하고 결론을 맺는다.