• Journal of Platform Technology
• /
• 제6권4호
• /
• pp.34-40
• /
• 2018

현재 인공신경망은 단일 작업에 대해선 뛰어난 성능을 보이나, 다른 종류의 작업을 학습하면 이전 학습 내용을 잊어버리는 단점이 있다. 이를 catastrophic forgetting이라고 한다. 인공신경망의 활용도를 높이긴 위해선 이 현상을 극복해야 한다. catastrophic forgetting을 극복하기 위한 여러 노력이 있다. 하지만 많은 노력이 있었음에도 완벽하게 catastrophic forgetting을 극복하지는 못하였다. 본 논문에서는 여러 노력 중 elastic weight consolidation(EWC)에 사용되는 핵심 개념을 이용하여, 순차적 반복학습을 제시한다. 인공신경망 학습에 많이 쓰이는 MNIST를 확장한 EMNIST 데이터 셋을 이용하여 catastrophic forgetting 현상을 재현하고 이를 순차적 반복학습을 통해 극복하는 실험을 진행하였으며, 그 결과 모든 작업에 대해서 학습이 가능하였다.

• 한국경영과학회지
• /
• 제40권4호
• /
• pp.145-156
• /
• 2015

Incorporation of individual learning and forgetting behaviors within worker-task assignment models produces a mixed integer nonlinear program (MINLP) problem, which is difficult to solve as a NP hard due to its nonlinearity in the objective function. Previous studies commonly assume homogeneity among workers in workforce scheduling that takes account of learning and forgetting characteristics. This paper expands previous researches by considering heterogeneous individual learning/forgetting, and investigates the impact of worker heterogeneity in initial expertise, steady-state productivity, learning and forgetting on system performance to assist manager's decision-making in worker-task assignments without tackling complex MINLP models. In order to understand the performance implications of workforce heterogeneity, this paper examines analytically how heterogeneity in each of the four parameters of the exponential learning and forgetting (L/F) model affects system performance in three cases : consecutive assignments with no break, n breaks of s-length each, and total b break-periods occurred over T periods. The study presents the direction of change in worker performance under different assignment schedules as the variance in initial expertise, steady-state productivity, learning or forgetting increases. Thus, it implies whether having more heterogenous workforce in terms of each of four parameters in the L/F model is desired or not in different schedules from the perspective of system productivity measurement.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2007년도 춘계학술대회 학술발표 논문집 제17권 제1호
• /
• pp.435-439
• /
• 2007

This paper deals with RLS algorithm using Newton-Raphson method based adaptive forgetting factor for a passive telemetry RF sensor system in order to estimate the time variant parameter to be included in RF sensor model. For this estimation with RLS algorithm, phasor typed RF sensor system modelled with inductive coupling principle is used. Instead of applying constant forgetting factor to estimate time variant parameter, the adaptive forgetting factor based on Newton-Raphson method is applied to RLS algorithm without constant forgetting factor to be determined intuitively. Finally, we provide numerical examples to evaluate the feasibility and generality of the proposed method in this paper.

• 한국통신학회논문지
• /
• 제40권9호
• /
• pp.1793-1801
• /
• 2015

최근 KRLS-T라고 하는 커널 기반의 RLS 알고리즘이 제안되었다. 이 알고리즘은 비정재 환경에서 베이지안 이론에 기반한 망각 기저를 사용하고 있다. 이런 망각 기저의 핵심은 고정 망각인자를 사용하는 것이다. 그러나 실제 환경에서는 시스템의 비정재 정도까지도 시변인 경우가 많다. 이 경우 고정 망각인자로는 시스템의 바른 추정이 불가하다. 본 논문에서는 가변 망각인자를 사용한 KRLS-T를 제안한다. 그리고 모의 실험에서 가변 망각인자를 가진 KRLS-T가 시변 시스템의 추정에 더 효과적임을 보인다.

• 제어로봇시스템학회논문지
• /
• 제5권4호
• /
• pp.394-402
• /
• 1999

In this paper, we present an effective RLS algorithm with forgetting factor of Erlang function for the system identification. In the proposed algorithm, the forgetting factor decreases monotonically in the first stage, and then it increases monotonically in the second stage in contrary to the conventional forgetting factor RLS algorithms. In addition, annealing effect and an asymptotically stability of the proposed algorithm is discussed based on the analysis of convergency property on. Simulation results for the system identification problem indicate the superiority of the proposed algorithm in comparison to the RLS algorithm such as NLMS and Kalman filter based algorithm.

• 한국통신학회논문지
• /
• 제41권9호
• /
• pp.1141-1145
• /
• 2016

일반적으로 RLS 알고리즘에서 비정재성(non-stationary) 환경에서 시간에 따라 변하는 파라메터를 좀 더 잘 추정하기 위해서 가변 망각인자를 사용한다. RLS 알고리즘에서 가변 망각인자를 사용할 때는 연산량이 많이 증가하는 단점이 수반된다. 본 논문에서는 연산량이 적은 가우스 뉴턴 가변망각인자 RLS 알고리즘을 제안한다. 본 방법은 기존 가우스 뉴턴 가변망각인자 RLS와 거의 유사한 성능을 보유하고 있을 뿐만 아니라 부가로 요구되는 연산량을 $O(N^2)$에서 O(N)으로 줄이는 효과도 준다.

• 한국음향학회:학술대회논문집
• /
• 한국음향학회 1998년도 제15회 음성통신 및 신호처리 워크샵(KSCSP 98 15권1호)
• /
• pp.470-474
• /
• 1998

In this paper, to estimate the time-varying parameters of speech signal, we use the robust sequential estimator based on t-distribution and, for time-varying signal, introduce the forgetting factor. By using the RSE based on t-distribution with small degree of freedom, we can alleviate efficiently the effects of outliers to obtain the better performance of parameter estimation. Moreover, by the forgetting factor, the proposed algorithm can estimate the accurate parameters under the rapid variation of speech signal.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 1988년도 전기.전자공학 학술대회 논문집
• /
• pp.305-308
• /
• 1988

Pole assignment controller with variable forgetting factor is generalizaed to allow the output and/or input variance to be reduced. The algorithm can give significant reductions in variance for little extra computational effort and is presented for servo-tracking using leat-squares estimation. Moreover, the use of a variable forgetting factor with correct choice of information bound can avoid 'blowing-up' of the covariance matrix of the estimates and subsequent unstable control.

• 드라이브 ㆍ 컨트롤
• /
• 제14권3호
• /
• pp.40-49
• /
• 2017

This study presents an online estimation of an excavator's rotational inertia by using recursive least square with forgetting. It is difficult to measure rotational inertia in real systems. Against this background, online estimation of rotational inertia is essential for improving safety and automation of construction equipment such as excavators because changes in inertial parameter impact dynamic characteristics. Regarding an excavator, rotational inertia for swing motion may change significantly according to working posture and digging conditions. Hence, rotational inertia estimation by predicting swing motion is critical for enhancing working safety and automation. Swing velocity and damping coefficient were used for rotational inertia estimation in this study. Updating rules are proposed for enhancing convergence performance by using the damping coefficient and forgetting factors. The proposed estimation algorithm uses three forgetting factors to estimate time-varying rotational inertia, damping coefficient, and torque with different variation rates. Rotational inertia in a typical working scenario was considered for reasonable performance evaluation. Three simulations were conducted by considering several digging conditions. Presented estimation results reveal the proposed estimation scheme is effective for estimating varying rotational inertia of the excavator.

• 전기전자학회논문지
• /
• 제24권2호
• /
• pp.514-522
• /
• 2020

Continuous Learning 환경에서 인공 신경망의 학습이 진행됨에 따라 이전에 학습했던 데이터의 정보를 잊는 Catastrophic Forgetting 현상이 있다. 서로 다른 Domain을 갖는 데이터 사이에서 쉽게 발생한다. 이 현상을 제어하기 위해 신경망의 출력 분포를 통해 이전에 학습된 데이터와 새로 학습할 데이터들의 관계를 측정하는 방법과 이 측정값을 사용하여 Catastrophic Forgetting 현상을 완화하는 방법을 제시한다. 평가를 위해 MNIST, EMNIST 데이터를 사용하였고 실험 결과, 이전 데이터에 대한 정확도가 평균적으로 약 22.37% 향상되었다.