Abstract
The ITL (information theoretic learning) based on the kernel density estimation method that has successfully been applied to machine learning and signal processing applications has a drawback of severe sensitiveness in choosing proper kernel sizes. For the maximization of correntropy criterion (MCC) as one of the ITL-type criteria, several methods of adapting the remaining kernel size ( ) after removing the term have been studied. In this paper, it is shown that the main cause of sensitivity in choosing the kernel size derives from the term and that the adaptive adjustment of in the remaining terms leads to approach the absolute value of error, which prevents the weight adjustment from continuing. Thus, it is proposed that choosing an appropriate constant as the kernel size for the remaining terms is more effective. In addition, the experiment results when compared to the conventional algorithm show that the proposed method enhances learning performance by about 2dB of steady state MSE with the same convergence rate. In an experiment for channel models, the proposed method enhances performance by 4 dB so that the proposed method is more suitable for more complex or inferior conditions.
머신 러닝 및 신호처리에 활용되고 있는 정보이론적 학습법(ITL, information theoretic learning)은 커널 사이즈(σ) 설정이 매우 민감한 어려움을 지닌다. ITL의 성능지표중 하나인 코렌트로피 함수를 최대화하는 성능지표에 대해, 기울기에 존재하는 1/σ2를 제거한 뒤 남은 커널 사이즈에 대해 적응적으로 조절하는 방법들이 연구되었다. 이 논문에서는, 1/σ2의 커널 사이즈가 실제 시스템의 민감성이나 불안정에 큰 역할을 하고 있으며 남은 부분에 존재하는 커널 사이즈에 대한 최적해는 오차의 절대값 근방에 수렴함에 따라 오히려 수렴 후 가중치 갱신을 멈추게 하는 부작용이 나타남을 밝혔다. 이에 적응적 커널 사이즈 조절 대신 적절한 상수를 선택하는 것이 보다 효과적이라는 것을 제안하였고, 실험결과에서 동일한 수렴 속도에 약 2dB 향상된 정상상태 MSE를 보였다. 제안한 방식을 더욱 열악한 다경로 채널환경에 적용하여 실험한 결과 4dB 이상의 성능향상을 보여 제안한 방식은 열악한 상황일수록 더욱 향상된 성능을 보임을 알 수 있다.
