한국콘텐츠학회:학술대회논문집 (Proceedings of the Korea Contents Association Conference)
- 한국콘텐츠학회 2014년도 추계 종합학술대회 논문집
- /
- Pages.39-40
- /
- 2014
확장된 크로스 엔트로피 오차함수의 특성
Characteristics of Extended Cross-Entropy Error Function
초록
신경회로망의 학습을 위하여 크로스 엔트로피 오차함수가 사용되며, 이의 성능향상을 위하여 확장된 크로스 엔트로피 함수도 제시되었다. 크로스 엔트로피 오차함수는 정보이론에서 제시된 상대 엔트로피(relative entropy)에서 유도된 함수이다. 상대 엔트로 피는 두 확률밀도함수의 발산(divergence) 함수이다. 이 논문에서는 상대 엔트로피와 크로스 엔트로피 관계를 파악한 후, 이를 기반으로 확장된 크로스 엔트로피에 상응하는 새로운 엔트로피 발산 함수를 n=2와 4인 경우에 대하여 유도한다.
키워드