Learning of Mixtures of Experts Network Based on Kalman Filtering

칼만 필터링을 이용한 Mixtures of Experts network 학습

복잡한 문제 학습을 위해 여러 가지 형태의 모듈라 네트워크의 구조가 제시되어 왔다. 그 중 엑스퍼트 네트워크와 게이팅 네트워크로 구성된 Mixtures of Experts network은 복잡한 문제를 단순한 문제들로 분해하고, 각각의 엑스퍼트 네트워크가 분해된 단순한 문제를 학습하여 결과를 도출함으로써, 국소적 지역해의 위험을 방지하고 보다 정확한 학습을 가능하게 한다. 그러나 엑스퍼트 네트워크의 수렴은 게이팅 네트워크의 수렴에 많은 영향을 받게 되고, 모든 복잡한 데이터에 대한 엑스퍼트 네트워크의 기여도를 학습하는 게이팅 네트워크는 역전파 알고리즘에 의한 학습 방법으로는 수렴 속도가 떨어진다. 본 논문에서는 게이팅 네트워크를 칼만필터로 학습하여 복잡한 문제에 대한 강건성은 유지하고 보다 빠른 수렴이 가능한 방법을 제시하고자한다.