• 한국컴퓨터정보학회논문지
• /
• 제14권8호
• /
• pp.11-18
• /
• 2009

본 논문은 Levenberg-Marquardt 알고리즘에서 Jacobian 행렬의 주부분 행렬을 이용하여 학습속도를 개선하는 방법을 제안한다. Levenberg-Marquardt 학습은 오차함수에 대한 2차 도함수를 계산하기 위해 Hessian 행렬을 사용하는 대신 Jacobian 행렬을 이용한다. 이런 Jacobian 행렬을 가역행렬로 만들기 위해, Levenberg-Marquardt 학습은 ${\mu}$값을 증가시키거나 감소시키는 과정을 수행하고 ${\mu}$값의 변경에 따른 역행렬의 재계산이 필요하다. 따라서 본 논문에서는 ${\mu}$값의 설정을 위해 Jacobian 행렬의 주부분 행렬을 생성하고 주부분 행렬의 고유값 합을 이용하여 ${\mu}$값을 설정한다. 이와 같은 방법은 추가적인 역행렬 계산을 하지 않으므로 학습속도를 개선할 수 있다. 제안된 방법은 일반화된 XOR 문제와 필기체 숫자인식 문제를 대상으로 실험하여 학습속도의 향상을 검증하였다.

• 한국컴퓨터정보학회논문지
• /
• 제15권4호
• /
• pp.57-63
• /
• 2010

Levenberg-Marquardt 알고리즘에서 감쇠 파라미터는 오류역전파 학습과 Gauss-Newton 학습의 스위치 역할을 하며 학습 속도에 영향을 준다. 이런 감쇠 파라미터를 고정시키는 것은 오차 함수의 진동을 유발하고 학습 속도를 감소시킨다. 따라서 본 논문은 오차 함수의 변화 과정을 참조하여 감쇠 파라미터를 가변적으로 적용하는 방법을 제안한다. 제안된 방법은 오차의 변화량이 크면 감쇠 파라미터를 크게, 오차의 변화량이 작으면 감쇠 파라미터를 작게 조정한다. 이것은 모멘텀과 유사한 역할을 하여 학습 속도를 향상시킨다. 제안된 방법의 검증을 위한 실험으로는 iris 분류 문제와 wine 분류 문제를 사용하였다. 제안된 방법은 iris 분류 문제에서는 67% 학습에서, wine 분류 문제에서는 78% 학습에서 학습 속도가 향상되었으며 기존 방법과 비교하여 오차의 진동도 적은 것을 확인할 수 있었다.

• 한국경영과학회:학술대회논문집
• /
• 한국경영과학회/대한산업공학회 2005년도 춘계공동학술대회 발표논문
• /
• pp.746-752
• /
• 2005

본 논문에서는 다층 퍼셉트론 신경망 학습을 위한 새로운 두 단계 학습방법을 제안하고 이를 옵션 가격결정 모형에 응용하였다. 제안된 신경망 학습 알고리즘의 첫번째 단계는 Levenberg-Marquardt 알고리즘을 이용하여 빠르게 국소최적해를 찾는 것이고 두 번째 단계는 첫 번째 단계에서 찾은 국소최적해가 원하는 수준에 미치지 못할 경우 선형탐색 터널링을 이용해서 더 나은 해를 찾는 것이다. 이 두 단계를 반복적으로 수행함으로써 연결가중치 공간에서 구하고자 하는 해를 빠르고 안정적으로 찾을 수 있다. 현재 옵션가격결정 모형으로 많이 이용되고 있는 Black-Scholes 모형의 문제점을 극복하기 위해서 제안된 신경망 모형을 옵션가격결정 문제에 사용하였다. 이 모형을 KOSPI200 옵션 데이터로 실험한 결과 Black-Scholes 모형에 비해 검증오차를 60% 가량 줄일 수 있었다.

• 한국수자원학회논문집
• /
• 제34권6호
• /
• pp.701-711
• /
• 2001

수질 인자들은 다양하고 관계가 복잡하여 수질 변화를 예측하는데 많은 어려움이 있다. 따라서 입력과 출력이 비교적 용이하고 비선형 예측에 적합한 신경망 모형을 이용하여 금강유역 공주지점의 DO, BOD, TN에 대한 월수질 예측을 수행하고 ARIMA 모형과 비교하여 적용 가능성을 검토하였다. 사용된 신경망 모형은 학습을 위해 BP(Back Propagation) 알고리즘을 적용하였으며 학습을 향상시키기 위한 모멘트-적응학습율(Moment-Adaptive learming rate) 방법을 이용한 MANN 모형, 레번버그-마쿼트(Levenberg-Marquardt) 방법을 이 용한 LMNN 모형, 그리고 정성적인 판단인자를 첨가하여 정량적인 월 수질 자료와 분별, 학습하 도록 은닉층을 분리한 MNN 모형으로 구분하였다. 대체로 신경망 모형의 예측치가 실측치에 근사한 결과를 보였으며, 은닉층을 분리한 MNN 모형이 가장 우수한 결과를 보였다.

• 한국수자원학회논문집
• /
• 제33권4호
• /
• pp.505-515
• /
• 2000

본 연구는 하천에서 호우의 발생에 따라 하천 유출수문곡선을 예측코자 블랙박스모형의 신경망이론을 적용하여 수문학적인 문제를 규명하고자 하였다. 이를 위해 신경망 이론 중 Levenverg-Marquardt 방법에 의한 오차역전파 알고리즘과 Radial Basis Function Network(RBFN)를 이용하여 IHP 대표유역인 보청청유역에 수문곡선을 적용하여 선행유출량 예측과 미학습 유역의 적용성을 검토하였다. 그 결과 복잡하고 비선형적인 수문계의 강우-유출 과정의 학습에 있어 RBFN은 은닉층에서 자율학습, 출력층에서 지도학습의 두 단계로 나누어 학습을 함으로서 BP 알고리즘보다 학습시간이 빠르게 나타났고, 선행유출량의 예측결과 여러 통계적 지표에서 RBFN이 BP 알고리즘보다 좋은 결과를 얻을 수 있었다. 미학습 유역의 적용성 검토에서도 BP알고리즘과 RBFN 모두 첨두치가 비교적 실측자료의 경향과 비슷한 경향으로 나타났다.

• 한국수자원학회논문집
• /
• 제31권1호
• /
• pp.45-57
• /
• 1998

본 논문의 목적은 다목적 저수지의 홍수유입량 예측을 위한 방법으로 병렬다중결선의 계층구조를 가진 신경망이론에 의하여 홍수시 불확실한 비선형시스템의 특성을 같는 저수지 유입량 예측모형을 개발하는 것이다. 신경망이론을 이용한 예측모형의 개발을 위하여 역전파 학습알고리즘을 사용하였으며 역전파 학습알고리즘 사용시 흔히 대두되는 지역최소값 문제와 수렴속도의 향상을 위해서 최적화기법인 경사하강법을 이용한 모멘트법과 경사하강법과 Gauss-Newton 방법을 이용한 Leverberg-Marquardt 법을 사용하였다. 모형개발에 사용된 자료는 연속적인 값으로 입력자료와 출력자료를 강우와 댐유입량을 학습시킨 후, 저수지의 홍수유입량 예측을 위한 다층신경망 모형을 구성하였다. 학습시 사용한 자료를 토대로 개발된 모형을 검정한 결과 매우 만족스런 결과를 얻을 수 있었고 실제 충주댐 유역을 대상으로 저수지 홍수유입량 예측결과 모형의 타당성을 입증할 수 있었다.

• 한국정보기술학회논문지
• /
• 제18권5호
• /
• pp.55-64
• /
• 2020

태양광 시스템의 안정성과 신뢰성 향상을 위해서는 배터리의 잔존량 (State of Charge, SOC)을 정확하게 추정하여야 한다. 본 연구에서는 gradient descent, Levenberg-Marquardt 및 scaled conjugate gradient 학습방법을 사용한 인공 신경회로망 (Artificial Neural Networks, ANN)과 적응형 뉴로-퍼지 추론 시스템 (Adaptive Neuro-Fuzzy Inference System, ANFIS)을 사용한 SOC 추정방법을 제안한다. 입력으로는 충전 시작 전압 및 적류적산법을 통해 구한 충전 전류를 사용하여 추정된 SOC를 출력한다. 4개의 모델 (ANN-GD, ANN-LM, ANN-SCG, 및 ANFIS)을 사용하여 SOC 추정 방법을 구현하였고 실험을 통해 MATLAB을 사용하여 4개의 모델의 성능을 비교 분석하였다. 실험 결과로부터 ANFIS 모델을 사용한 배터리의 SOC 추정이 가장 정확도가 높았으며 빠른 속도로 수렴함을 확인하였다.

• 한국지능시스템학회논문지
• /
• 제16권1호
• /
• pp.1-7
• /
• 2006

본 논문에서는 6개의 특징점을 이용하는 가버 웨이블릿 신경망 기반 적응 표정인식 시스템을 제안한다. 특징 추출부를 포함하는 초기 네트워크의 구성은 Levenberg-Marquardt 기반의 학습방법이 사용되며, 따라서 특징 추출부 결정에 있어서 경험적 요소를 배재시킬 수 있다. 또한 새로운 사용자에 대한 적응 네트워크를 구성하기 위해서 개선된 보상함수를 가지는 Q-학습과, 비지도 퍼지 신경망 모델을 사용하였다. Q-학습을 통해서는 개인 사용자에 대해 분리도가 좋은 특징벡터를 얻을 수 있는 가버필터 세트를 얻을 수 있으며, 퍼지 신경망을 통해서는 사용자의 얼굴변화에 맞게 인식기를 변화시킬 수 있다. 따라서 제안된 시스템은 사용자의 얼굴변화를 따라갈 수 있는 좋은 적응 성능을 보이고 있다.

• 한국항공우주학회지
• /
• 제37권5호
• /
• pp.425-432
• /
• 2009

본 연구에서는 오일러 CFD코드에서 얻은 데이터를 이용하여 2차원 익형의 비정상 공력하중을 모델링하고 예측할 수 있는 신경망의 능력을 확인하였다. 신경망 모델은 감독자 관리 학습을 기반으로 하여 르벤버그-마쿼트 알고리즘, 그리고 여기에 유전알고리즘을 결합시킨 혼합형 유전알고리즘을 사용하여 구성하고 각 경우에 대하여 그 효율성을 비교 분석하였다. 복잡한 시스템을 모사하는 신경망을 학습시키는 데는 혼합형유전알고리즘이 더 효율적이라는 것을 보였으며 신경망모델에 의한 2차원 익형의 비정상공력하중 예측결과 실제 수치결과와 비교적 정확하게 일치하여 신경망 모델이 축소모델로서의 기능을 발휘하는 것을 입증하였다.

• 비파괴검사학회지
• /
• 제29권5호
• /
• pp.466-472
• /
• 2009

고온, 고압의 원자력 배관 누설 판별을 위해 음향방출기법(AE)을 이용한 누설감지 시스템인 ALMS 기법이 적용되고 있다. 이 시스템은 단지 AE 센서로 전해진 신호의 RMS값을 이용하여 누설의 유무만을 판단할 뿐, 누설 발생시 누설부의 크기나 형태를 평가하는 것에는 어려움이 있었다. 따라서 본 논문에서는 이러한 문제를 해결하기 위하여 AE센서와 가속도센서를 동시에 이용한 이중 센서 시스템을 제안하였다. 빠른 학습 속도와 정확성을 위해 Levenberg-Marquardt 학습 알고리즘을 이용한 인공신경회로망을 적용시키고, 이를 통해 신뢰성 있는 분석 결과를 얻을 수 있다. 배관내 압력과 누설부의 크기와 모양에 따른 실험신호들을 학습시키고 그 판별 정확성을 확인하였다. 추가적으로 배관 두께에 따라 발생하는 파(wave)의 종류와 특성이 달라지는 것을 이론과 실험을 통하여 알아보았다.