Abstract
The cross-correntropy concept can be expressed with inner products of two different probability density functions constructed by Gaussian-kernel density estimation methods. Blind algorithms based on the maximization of the cross-correntropy (MCC) and a symbol set of randomly generated N samples yield superior learning performance, but have a huge computational complexity in the update process at the aim of weight adjustment based on the MCC. In this paper, a method of reducing the computational complexity of the MCC algorithm that calculates recursively the gradient of the cross-correntropy is proposed. The proposed method has only O(N) operations per iteration while the conventional MCC algorithms that calculate its gradients by a block processing method has $O(N^2)$. In the simulation results, the proposed method shows the same learning performance while reducing its heavy calculation burden significantly.
상호-코렌트로피 개념은 가우시안 커널의 커널 밀도 추정법에 의해 구축된 두 가지 서로 다른 확률밀도함수의 내적으로 표현될 수 있다. N개의 랜덤 심볼열과 상호-코렌트로피의 최대화 (MCC) 에 바탕을 두고 개발된 블라인드 알고리듬은 탁월한 학습 성능을 보인다. 그러나 이 알고리듬은 MCC 기반으로 가중치를 갱신할 목적으로 설계되면서 과도한 계산 복잡도를 지니게 된다. 이 논문에서는 상호-코렌트로피의 기울기 계산을 반복적으로 수행하여 MCC 알고리듬의 계산상의 복잡도를 크게 줄이는 방법을 제안하였다. 기존의 MCC 알고리듬은 블록 처리 방식에 의해 기울기를 계산하여 $O(N^2)$의 계산량이 필요했던 반면 제안된 방법은 O(N)의 계산만을 수행한다. 시뮬레이션 결과로부터, 제안된 이 방법이 기존의 알고리듬과 비교하여 계산량의 부담을 크게 줄이면서도 동일한 학습 성능을 보였다.
