• 실천공학교육논문지
• /
• 제14권2호
• /
• pp.305-312
• /
• 2022

본 논문에서는 기초적인 데이터 예측 모델을 만들고 최적화하는 교육에 초점을 맞추었다. 그리고 데이터 예측 모델을 최적화하는 데 널리 사용되는 머신러닝의 경사하강법 교육 방법을 제안하였다. 미분법을 적용하여 데이터 예측 모델에 필요한 파라미터 값들을 최적화하는 과정에 사용되는 경사하강법의 전체 동작과정을 시각적으로 보여주며, 수학의 미분법이 머신러닝에 효과적으로 사용되는 것을 교육한다. 경사하강법의 전체 동작과정을 시각적으로 설명하기위해, 스프레드시트로 경사하강법 SW를 구현한다. 본 논문에서는 첫번째로, 2변수 경사하강법 교육 방법을 제시하고, 오차 최소제곱법과 비교하여 2변수 데이터 예측모델의 정확도를 검증한다. 두번째로, 3변수 경사하강법 교육 방법을 제시하고, 3변수 데이터 예측모델의 정확도를 검증한다. 이후, 경사하강법 최적화 실습 방향을 제시하고, 비전공자 교육 만족도 결과를 통해, 제안한 경사하강법 교육방법이 갖는 교육 효과를 분석하였다.

• 한국산학기술학회논문지
• /
• 제21권2호
• /
• pp.189-194
• /
• 2020

본 논문에서는 신경망을 학습하는 데 가장 많이 사용되고 있는 경사하강법에 대해 분석하였다. 학습이란 손실함수가 최소값이 되도록 매개변수를 갱신하는 것이다. 손실함수는 실제값과 예측값의 차이를 수치화 해주는 함수이다. 경사하강법은 오차가 최소화되도록 매개변수를 갱신하는데 손실함수의 기울기를 사용하는 것으로 현재 최고의 딥러닝 학습알고리즘을 제공하는 라이브러리에서 사용되고 있다. 그러나 이 알고리즘들은 블랙박스형태로 제공되고 있어서 다양한 경사하강법들의 장단점을 파악하는 것이 쉽지 않다. 경사하강법에서 현재 대표적으로 사용되고 있는 확률적 경사하강법(Stochastic Gradient Descent method), 모멘텀법(Momentum method), AdaGrad법 그리고 Adadelta법의 특성에 대하여 분석하였다. 실험 데이터는 신경망을 검증하는 데 널리 사용되는 MNIST 데이터 셋을 사용하였다. 은닉층은 2개의 층으로 첫 번째 층은 500개 그리고 두 번째 층은 300개의 뉴런으로 구성하였다. 출력 층의 활성화함수는 소프트 맥스함수이고 나머지 입력 층과 은닉 층의 활성화함수는 ReLu함수를 사용하였다. 그리고 손실함수는 교차 엔트로피 오차를 사용하였다.

• Journal of the Korean Data and Information Science Society
• /
• 제28권6호
• /
• pp.1245-1255
• /
• 2017

온라인 학습은 자료가 실시간으로 혹은 배치 단위로 축적되는 상황에서 주어진 목적함수의 해를 계산하는 방법을 말한다. 온라인 학습 알고리즘 중 배치를 이용한 확률적 경사 하강법 (stochastic gradient decent method)은 가장 많이 사용되는 방법 중 하나다. 이 방법은 구현이 쉬울 뿐만 아니라 자료가 동질적인 분포를 따른다는 가정 하에서 그 해의 성질이 잘 연구되어 있다. 하지만 자료에 특이값이 있거나 임의의 배치가 확률적으로 이질적 성질을 가질 때, 확률적 경사 하강법이 주는 해는 큰 편이를 가질 수 있다. 본 연구에서는 이러한 비정상 배치 (abnormal batch) 있는 자료 하에서 효과적으로 온라인 학습을 수행할 수 있는 수정된 경사 하강 알고리즘 (modified gradient decent algorithm)을 제안하고, 그 알고리즘을 통해 계산된 해의 수렴성을 밝혔다. 뿐만 아니라 간단한 모의실험을 통해 제안한 방법의 이론적 성질을 실증하였다.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제37권3호
• /
• pp.467-482
• /
• 2023

본 논문에서는 인공지능 알고리즘에서 많이 사용되는 경사하강법(gradient descent method)을 대학수학 강좌에서 인공지능 활용사례로 사용할 수 있도록 연구한 교수·학습 기초자료를 소개한다. 특히 대학 미적분학 수준에서도 가르칠 수 있도록 자세한 개념 설명과 함께 복잡한 함수에 관해서도 쉽게 계산할 수 있도록 파이썬(Python) 기반의 SageMath 코드를 제공한다. 그리고 실제 인공지능 응용과 연계하여 선형회귀에서 발생하는 최소제곱문제를 경사하강법을 활용하여 풀이한 예시도 함께 소개한다. 본 연구는 대학 미적분학 뿐만 아니라 공학수학, 수치해석, 응용수학 등과 같은 고급 수학 과목을 지도하는 다양한 교수자들에게 도움이 될 수 있다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2022년도 학술발표회
• /
• pp.186-186
• /
• 2022

강수 및 침투 등으로 발생하는 지하수위의 변동을 예측하는 것은 지하수 자원의 활용 및 관리에 필수적이다. 지하수위의 변동은 지하수 자원의 활용 및 관리뿐만이 아닌 홍수 발생과 지반의 응력상태 등에 직접적인 영향을 미치기 때문에 정확한 예측이 필요하다. 본 연구는 인공신경망 중 다층퍼셉트론(Multi Layer Perceptron, MLP)을 이용한 지하수위 예측성능 향상을 위해 MLP의 구조 중 Optimizer를 개량하였다. MLP는 입력자료와 출력자료간 최적의 상관관계(가중치 및 편향)를 찾는 Optimizer와 출력되는 값을 결정하는 활성화 함수의 연산을 반복하여 학습한다. 특히 Optimizer는 신경망의 출력값과 관측값의 오차가 최소가 되는 상관관계를 찾는 연산자로써 MLP의 학습 및 예측성능에 직접적인 영향을 미친다. 기존의 Optimizer는 경사하강법(Gradient Descent, GD)을 기반으로 하는 Optimizer를 사용했다. 하지만 기존의 Optimizer는 미분을 이용하여 상관관계를 찾기 때문에 지역탐색 위주로 진행되며 기존에 생성된 상관관계를 저장하는 구조가 없어 지역 최적해로 수렴할 가능성이 있다는 단점이 있다. 본 연구에서는 기존 Optimizer의 단점을 개선하기 위해 지역탐색과 전역탐색을 동시에 고려할 수 있으며 기존의 해를 저장하는 구조가 있는 메타휴리스틱 최적화 알고리즘을 이용하였다. 메타휴리스틱 최적화 알고리즘 중 구조가 간단한 화음탐색법(Harmony Search, HS)과 GD의 결합모형(HS-GD)을 MLP의 Optimizer로 사용하여 기존 Optimizer의 단점을 개선하였다. HS-GD를 이용한 MLP의 성능검토를 위해 이천시 지하수위 예측을 실시하였으며 예측 결과를 기존의 Optimizer를 이용한 MLP 및 HS를 이용한 MLP의 예측결과와 비교하였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 추계학술대회
• /
• pp.143-145
• /
• 2021

시화호는 초기 목적인 담수호 개발을 심각한 환경 오염으로 달성하지 못한 채 해수로 복구되었다. 파괴와 복원의 시간 동안 시화호의 생태계는 변화를 겪어왔는데, 특히나 철새가 많이 지나는 곳이었기 때문에 조류 생태계에 가시적인 변화가 나타났다. 이에 따라 본 연구는 총 8가지 Ecosystem Index를 바탕으로 시화호 조류 생태계의 변화를 분석하였다. 그리고 더 나아가, 경사 하강법을 적용하여 그간 환경 오염의 척도로도 이용되었던 COD (Chemical Oxegen Demand, 화학적 산소 요구량)지수가 앞서 언급한 8가지 중 3가지 Ecosystem Index의 함수로 표현하였다. 이는 직접적인 환경에 대한 측정 및 정보 수집 없이 생태계의 정보만으로 환경 자체의 상태를 파악할 수 있다는 점에서 큰 가치가 있으며, 더 쉽게 구해낼 수 있기에 그 범용성이 넓다.

• 한국정보통신학회논문지
• /
• 제23권11호
• /
• pp.1357-1363
• /
• 2019

본 논문은 사람의 중기 염색체로 이루어진 디지털 이미지에서 Faster Region-based Convolutional Neural Network(R-CNN) 모델로 염색체 객체를 검출할 때 필요한 경사 하강 최적화기의 성능을 비교한다. Faster R-CNN의 경사 하강 최적화기는 Region Proposal Network(RPN) 모듈과 분류 점수 및 바운딩 박스 예측 블록의 목적 함수를 최소화하기 위해 사용된다. 실험에서는 이러한 네 가지 경사 하강 최적화기의 성능을 비교하였으며 VGG16이 기본 네트워크인 Faster R-CNN 모델은 Adamax 최적화기가 약 52%의 Mean Average Precision(mAP)를 달성하였고 ResNet50이 기본 네트워크인 Faster R-CNN 모델은 Adadelta 최적화기가 약 58%의 mAP를 달성하였다.

• 한국수자원학회논문집
• /
• 제57권2호
• /
• pp.73-85
• /
• 2024

하천과 저수지의 수질을 예측하는 것은 수자원관리를 위해 필요하다. 높은 정확도의 수질 예측을 위해 많은 연구들에서 인공신경망이 활용되었다. 기존 연구들은 매개변수를 탐색하는 인공신경망의 연산자인 옵티마이저로 경사하강법 기반 옵티마이저를 사용하였다. 그러나 경사하강법 기반 옵티마이저는 지역 최적값으로의 수렴 가능성과 해의 저장 및 비교구조가 없다는 단점이 있다. 본 연구에서는 인공신경망을 이용한 수질 예측성능을 향상시키기 위해 개량형 옵티마이저를 개발하여 경사하강법 기반 옵티마이저의 단점을 개선하였다. 본 연구에서 제안한 옵티마이저는 경사하강법 기반 옵티마이저 중 학습오차가 낮은 Adaptive moments (Adam)과 Nesterov-accelerated adaptive moments (Nadam)를 Harmony Search(HS) 또는 Novel Self-adaptive Harmony Search (NSHS)와 결합한 옵티마이저이다. 개량형 옵티마이저의 학습 및 예측성능 평가를 위해 개량형 옵티마이저를 Long Short-Term Memory (LSTM)에 적용하여 국내의 다산 수질관측소의 수질인자인 수온, 용존산소량, 수소이온농도 및 엽록소-a를 학습 및 예측하였다. 학습결과를 비교하면, Nadam combined with NSHS (NadamNSHS)를 사용한 LSTM의 Mean Squared Error (MSE)가 0.002921로 가장 낮았다. 또한, 각 옵티마이저별 4개 수질인자에 대한 MSE 및 R²에 따른 예측순위를 비교하였다. 각 옵티마이저의 평균 순위를 비교하면, NadamNSHS를 사용한 LSTM이 2.25로 가장 높은 것을 확인하였다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 1999년도 하계학술대회 논문집 G
• /
• pp.2833-2835
• /
• 1999

이 논문에서는 임의의 시스템 동정에 사용되는 적응필터의 계수를 최적화시키는 방법으로 광범위하게 사용되어지고 있는 기존의 적응 알고리즘인 Least Mean Square(LMS)방법과 최근들어 다양한 최적화 문제에 응용되고 있는 유전자 알고리즘(GA)을 합성한 하이브리드 형태의 적응 알고리즘을 사용한다. 이 알고리즘은 TIR 필터를 설계하는데 있어, 경사하강법의 개념을 사용함으로써 야기되는 지역 수렴문제의 단점을 보완하기 위해, 미분과 같은 결정론적인 규칙없이 단지 확률적인 연산자만으로 진행하는 유전자 알고리즘을 이용한다. 그리고 유전자 알고리즘에 있어서 확률적인 연산을 사용함으로써 발생하는 많은 계산량과 느린 수렴속도 문제를 LMS의 경사하강법을 이용하여 보완한다. 이처럼 유전자 알고리즘이 지닌 장점과 LMS 알고리즘이 갖는 장점을 이용하여 각 알고리즘이 지니는 단점을 서로 보완함으로써 알고리즘의 성능을 향상시키고 이 향상된 알고리즘을 이용하여 최적 필터계수를 찾는다 이렇게 얻은 필터계수값을 이용하여 적응 필터의 성능을 확인 평가한다.

• 한국지능시스템학회논문지
• /
• 제15권6호
• /
• pp.720-729
• /
• 2005

본 논문에서는 미지의 비선형 시스템을 제어하기 위해 웨이블릿 신경 회로망을 이용한 간접 적응 제어기를 설계한다. 제안 된 간접 적응 제어기는 웨이블릿 신경 회로망을 이용한 동정 모델과 제어기로 구성된다. 여기서 동정 모델과 제어기에 사용되는 웨이블릿 신경 회로망은 시간과 주파수에 대한 정보를 동시에 포함하는 웨이블릿의 특성을 가지고 있기 때문에 다층구조 신경회로망과 방사 기저 함수 신경회로망에 보다 더 빠른 수렴특성을 보인다. 웨이블릿 신경 회로망의 학습방법은 경사 하강법, 유전알고리듬, DNA 기법등 여러 가지가 있으나, 본 논문에서는 확장 칼만 필터를 기반으로 한 학습 방법을 제안한다. 확장 칼만 필터 학습 방법은 계산이 복잡하기는 하지만 학습되어 갱신되는 파라미터의 이전 데이터 정보를 이용하는 특성 때문에 매우 빠른 수렴 특성을 보인다. 본 논문에서는 Buffing 시스템과 1축 머니퓰레이터에 대한 컴퓨터 모치실험을 통해 제안한 확장 칼만 필터 학습 방법을 이용한 간접 적응 제어기가 일반적인 경사 하강법을 이용한 경우보다 우수함을 보인다.