Design of New Density Estimator with Entropy Maximization

엔트로피 최대화를 이용한 새로운 밀도추정자의 설계

본 연구에서는 엔트로피 이론을 사용하여 ICA(Independent Component Analysis) 점수함수를 생성하는 새로운 밀도추정자(Density Estimator)를 제안한다. 원 신호에 대한 밀도함수의 추정은 적당한 점수함수를 생성하기 위해 필요하고, 미분 가능한 밀도함수인 커널을 이용한 밀도추정법(Kernel Density Estimation)을 이용하여 점수함수를 생성하였다. 보다 빠른 점수함수의 생성을 위해서 식의 형태를 convolution 형태로 표현하였으며, ICA 학습을 위해서 결합엔트로피를 최대화(Joint Entropy Maximization)하는 방향으로 커널의 폭을 학습하였다. 이를 위해서 기울기 강하법(Gradient descent method)를 사용하였으며, 이러한 제약 사항은 새로운 밀도 추정자를 설계하기 위한 기본적인 개념을 나타낸다. 실험결과, 커널의 폭을 담당하는 smoothing parameters들이 일정한 값으로 학습함을 알 수 있었다.