• 대한전자공학회논문지TE
• /
• 제39권2호
• /
• pp.66-75
• /
• 2002

본 논문에서는 역전파 신경회로망의 학습능률을 향상시키기 위한 방법으로 발생한 오차에 따라서 학습파라미터와 은닉층의 수를 적응적으로 변경시킬 수 있는 적응 역 전파 학습알고리즘을 제안하였다. 제안한 알고리즘은 역전파 신경회로망이 국소점으로 수렴하는 문제를 해결할 수 있고 최적의 수렴환경을 만들 수 있다. 제안된 알고리즘을 평가하기 위하여 배타적 논리합, 3-패리티 및 7${\times}$5 영문자 폰트의 학습을 이용하였다. 실험결과, 기존에 제안된 알고리즘들에 비하여 국소점에 빠지게 되는 경우가 감소하였고 약 17.6%~64.7%정도 학습능률이 향상하였다.

• 전력전자학회논문지
• /
• 제5권2호
• /
• pp.131-139
• /
• 2000

일반적으로 시스템 인식과 제어에 이용하는 다층 신경회로망은 기존의 역전파 알고리즘을 이용한다. 그러나 결선강도에 대한 오차의 기울기를 구하는 방법이기 때문에 국부적 최소점에 빠지기 쉽고, 수렴속도가 매우 늦으며 초기 결선강도 값들이나 학습계수에 민감하게 반응한다. 이와 같은 단점을 개선하기 위하여 확장된 칼만 필터링 기법을 역전파 알고리즘에 결합하였으나 계산상의 복잡성 때문에 망의 크기가 증가하면 실제 적용할 수 없다. 최근 신경회로망을 선형과 비선형 구간으로 구분하고 칼만 필터링 기법을 도입하여 수렴속도를 빠르게 하고 초기 결선강도 값에 크게 영향을 받지 않도록 개선하였으나, 여전히 은닉층의 선형 오차값을 역전파 알고리즘에 의해서 계산하기 때문에 학습계수에 민감하다는 단점이 있다. 본 논문에서는 위에서 언급한 기존의 신경회로망 알고리즘의 문제점을 개선하기 위하여 은닉층의 목표값을 최적기법에 의하여 직접계산하고 각각의 결선강도 값은 반복최소 자승법으로 온라인 학습하는 알고리즘을 제안하고 이들 신경회로망 알고리즘과 비교하고자 한다. 여러 가지 시뮬레이션과 실험을 통하여 제안된 방법이 초기 결선강도에 크게 영향을 받지 않으며, 기존의 학습계수 선정에 따른 문제점을 해결함으로써 신경회로망 모델에 기초한 실시간 제어기 설계에 응용할 수 있도록 하였다. 또한, 유도전동기의 속도추정과 제어에 적용하여 좋은 결과를 보였다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2002년도 추계학술대회 및 정기총회
• /
• pp.162-165
• /
• 2002

Q-learning은 강화학습의 한 방법으로서, 여러 분야에 널리 응용되고 있는 기법이다. 최근에는 Linear Quadratic Regulation(이하 LQR) 문제에 성공적으로 적용된 바 있는데, 특히, 시스템모델의 파라미터에 대한 구체적인 정보가 없는 상태에서 적절한 입력과 출력만을 가지고 학습을 통해 문제를 해결할 수 있어서 상황에 따라서 매우 실용적인 대안이 될 수 있다. Neural Q-learning은 이러한 Q-learning의 Q-value를 MLP(multilayer perceptron) 신경망의 출력으로 대치시킴으로써, 비선형 시스템의 최적제어 문제를 다룰 수 있게 한 방법이다. 그러나, Neural Q방식은 신경망의 구조를 먼저 결정한 후 역전파 알고리즘을 이용하여 학습하는 절차를 취하기 때문에, 시행착오를 통하여 신경망 구조를 결정해야 한다는 점, 역전파 알고리즘의 적용으로 인해 신경망의 연결강도 값들이 지역적 최적해로 수렴한다는 점등의 문제점을 상속받는 한계가 있다. 따라서, 본 논문에서는 Neural-0 학습의 도구로, 역전파 알고리즘으로 학습되는 MLP 신경망을 사용하는 대신 최근 들어 여러 분야에서 그 성능을 인정받고 있는 서포트 벡터 학습법을 사용하는 방법을 택하여, $\varepsilon$-SVR(Epsilon Support Vector Regression)을 이용한 Q-value 근사 기법을 제안하고 관련 수식을 유도하였다. 그리고, 모의 실험을 통하여, 제안된 서포트 벡터학습 기반 Neural-Q 방법의 적용 가능성을 알아보았다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제33권12호
• /
• pp.999-1007
• /
• 2006

역전파 학습 방법은 속도가 느리고, 지역 최소점이나 고원에 빠져 수렴에 실패하는 경우가 많다고 알려져 있다. 이제까지 알려진 역전파의 대체 방법들은 수렴 속도와 변수에 따른 수렴의 안정성 사이에서 불균형이라는 대가를 치루고 있다. 기존의 전통적인 역전파에서 발생하는 위와 같은 문제점 중, 특히 지역 최소점을 탈피하는 기능을 추가하여 적은 저장 공간으로 안정성이 보장되면서도 빠른 수렴속도를 유지하는 알고리즘을 제안한다. 이 방법은 전체 신경망을 은닉층-출력층(hidden to output)을 의미하는 상위 연결(upper connections)과 입력층-은닉층(input to hidden)을 의미하는 하위 연결(lower connections) 2개로 분리하여 번갈아 훈련을 시키는 분리 학습방법을 적용한다. 본 논문에서 제안하는 알고리즘은 다양한 classification 문제에 적용한 실험 결과에서 보듯이 전통적인 역전파 및 기타 개선된 알고리즘에 비해 계산량이 적고, 성능이 매우 좋으며 높은 신뢰성을 보장한다.

• Journal of the Korean Data and Information Science Society
• /
• 제9권2호
• /
• pp.345-355
• /
• 1998

다층전방향 신경망을 학습시키기 위해 역전파 알고리즘이 널리 사용되고 있으나 이 알고리즘은 긴 훈련시간, 극소점 문제, 이상치에 민감하다는 단점을 가지고 있다. 한편 실제문제에서는 많은 경우에 자료에 과대오차와 이상치가 포함되게 된다. 따라서 과대 오차에 민감하지 않고, 이상치의 영향을 최소화시키는 로버스트 역전파 알고리즘의 필요성이 대두되었다. 본 논문에서는 기존의 두종류의 로버스트 역전파 알고리즘을 이론적으로 비교하고 비선형 회귀 함수추정과 문자인식과 같은 패턴인식 문제에 적용하여 실험결과를 분석한다. 그리고 향후 연구과제로 신경망 학습을 위해 베이지안 기법의 사용을 제안한다.

• 한국차세대컴퓨팅학회논문지
• /
• 제15권2호
• /
• pp.7-16
• /
• 2019

신경 회로망을 구현하기 위해 다양한 시도들이 이루어지고 있으며, 하드웨어적인 개선을 위해 전용 칩 개발이 이루어지고 있다. 이러한 신경 회로망을 웨어러블 디바이스에 적용하기 위해서는 소형화와 저전력 동작이 필수적이다. 이러한 관점에서 적합한 구현 방법은 FPGA (field programmable gate array)를 사용한 디지털 회로 설계이다. 이 시스템을 구현하기 위해서는 성능 향상을 위해 신경 회로망의 많은 부분을 차지하는 학습 알고리즘을 FPGA 내에 구현하여야 한다. 본 논문에서는 FPGA를 이용하여 다양한 학습 알고리즘 중 역전파 알고리즘을 구현하였으며, 구현 된 신경 회로망은 OR 게이트 연산을 통해 검증되었다. 또한 이러한 신경 회로망을 활용하여 다양한 사용자의 생체 신호 측정 결과를 분석할 수 있음을 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2001년도 추계학술발표논문집 (상)
• /
• pp.605-608
• /
• 2001

다층 신경망의 학습에 쓰이는 오류 역전파 학습은 매우 효과적이지만 학습 속도가 너무 느리고 최적의 은닉충의 뉴런의 수를 결정하는 해답은 아직 없는 실정이다. 또한 가끔은 국부 최소점(Local maxima)에 빠져 학습이 끝내 이루어지지 않는 경우가 있다. 이에 본 논문에서는 이러한 Local maxima 를 효과적으로 탈출 할 수 있는 방법에 대해서 연구해 보았다. 국부 최소점은 연결강도와 전체 오차 사이의 이차원 공간에서 표현할 수 있는데 본 알고리즘은 이러한 연결강도와 오차와의 관계를 인위적으로 변화시켜 결론적으로 Local maxima 를 탈출하게 하는 방법을 소개한다. 본 연구에서 사용된 방법은 네트웍이 학습중에 Local maxima 에 빠졌을 때 은닉층의 뉴런의 수를 추가하여 인위적으로 연결강도 평면의 위상을 변조시킨다. 또한 은닉충의 뉴런의 수를 동적으로 변화 시키면서 최적의 뉴런의 수를 결정할 수 있게 하였다. 위 알고리즘의 성능을 평가하기 위해서 XOR 문제와 $10{\times}8$ 영문폰트와 숫자의 학습에 적용하여 일반적인 역전파 학습과 비교 평가하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2006년도 춘계학술발표대회
• /
• pp.325-328
• /
• 2006

역전파 학습 방법은 속도가 느리고, 지역 최소점으로 빠져 수렴에 실패하는 경우가 많다고 알려져 있다. 이제까지 알려진 역전파의 대체 방법들은 수렴 속도와 인자에 따른 수렴의 안정성에 대한 불균형을 해소 하는데 치중했다. 기존의 전통적인 역전파에서 발생하는 위와 같은 문제를 해결하기 위하여, 본 논문에서는 적은 용량의 저장 공간만을 요구하며 수렴이 빠르고 상대적으로 안정성이 보장되는 알고리즘을 제안한다. 이 방법은 상위연결(upper connections), 은닉층-출력층(hidden to output), 하위 연결(lower connections), 입력층-은닉층(input to hidden)에 대해 개별적으로 훈련을 시키는 교대 학습 방법을 적용한다.

• 한국지능정보시스템학회:학술대회논문집
• /
• 한국지능정보시스템학회 2003년도 춘계학술대회
• /
• pp.469-473
• /
• 2003

다층 구조 신경망에서 널리 사용되는 오류 역전파 알고리즘은 초기 가중치와 불충분한 은닉층의 노드수로 인하여 지역 최소화에 빠질 가능성이 있다. 따라서 본 논문에서는 오류 역전파 알고리즘에서 은닉층의 노드 수를 설정하는 문제와 ARTI에서 경계 변수의 설정에 따라 인식률이 저하되는 문제점을 개선하기 위하여 ARTI과 Max-Min 신경망을 결합한 퍼지 다층 퍼셉트론을 제안한다. 제안된 자가 생성을 이용한 퍼지 다층 퍼셉트론은 입력층에서 은닉층으로 노드를 생성시키는 방식은 ARTI을 적용하였고, 가중치 조정은 특정 패턴에 대한 저장 패턴을 수정하도록 하는 winner-take-all 방식을 적용하였다. 제안된 학습 방법의 성능을 평가하기 위하여 학생증 영상을 대상으로 실험한 결과, 기존의 오류 역전파 알고즘보다 연결 가중치들이 지역 최소화에 위치할 가능성이 줄었고 학습 속도 및 정체 현상이 개선되었다.

• 전자공학회논문지CI
• /
• 제39권4호
• /
• pp.19-27
• /
• 2002

역전파 알고리즘의 성능 개선을 위해서 학습율을 자동 조정하는 방식을 제안하였다. 제안한 방식은 각각의 연결강도의 학습율을 퍼지 논리 시스템을 이용하여 자동 조정하는 방식으로 각각의 연결강도에 대해서 ${\Delta}$와 $\bar{{\Delta}}$를 구하여 퍼지 논리 시스템의 입력으로 사용하고, 학습율을 출력으로 사용하였다. 제안한 방식을 N-패리티 문제, 함수 근사, 숫자 패턴 분류에 대한 시뮬레이션 결과 일반적인 역전파 알고리즘, 모멘텀 방식, Jacobs의 delta-bar-delta 방식보다 성능이 개선됨을 확인하였다.