• 대한전자공학회논문지TC
• /
• 제48권3호
• /
• pp.50-59
• /
• 2011

본 논문은 주파수 영역에서 과거와 현재에 센싱된 결과들의 관계를 이용한 스펙트럼 센싱기법을 제안하였다. 기존에 제안된 대부분의 스펙트럼 센싱기법은 해당 시간에 센싱된 우선사용자의 신호만을 다루고 있다. 해당 시간 이전의 우선사용자의 상태는 조건부확률을 사용하여 검출기의 신뢰성을 증가시킬 수 있다. 따라서, 본 논문은 이전 시간과 해당 시간의 스펙트럼 센싱 결과를 사용하는 cross entropy 기반의 스펙트럼 센싱기법을 제안하며 이를 통해 우선사용자 신호 검출 성능을 향상시키고 잡음에 강인한 성능을 가질 수 있다. 이전 시간에 검출된 신호가 잡음인 경우 cross entropy 기반의 스펙트럼 센싱 성능 감소는 기존의 entropy 기반의 센싱기법과 동일하게 된다. 이러한 문제를 해결하기 위해 본 논문에서는 보다 향상된 cross entropy 센싱기법을 제안하였다. 본 논문은 시뮬레이션을 통해 가장 최근에 제안된 주파수 영역에서의 entropy 기반 스펙트럼 센싱기법 보다 제안된 방법이 더 나은 성능을 보이는 것을 보였다.

• Korean Chemical Engineering Research
• /
• 제52권3호
• /
• pp.294-301
• /
• 2014

This study focuses on analysis and comparison of entropy generation in various cross-sectional ducts along with fully developed laminar flow and constant uniform wall heat flux. The obtained results were compared in ducts with circular, semicircular, and rectangular with semicircular ends, equilateral triangular, and square and symmetrical hexagonal cross-sectional areas. These results were separately studied for aspect ratio of different rectangular shapes. Characteristics of fluid were considered at average temperature between outlet and inlet ducts. Results showed that factors such as Reynolds number, cross section, hydraulic diameter, heat flux and aspect ratio were effective on entropy generation, and these effects are more evident than heat flux and occur more in high heat fluxes. Considering the performed comparisons, it seems that semicircular and circular cross section generates less entropy than other cross sections.

• International Journal of Contents
• /
• 제11권2호
• /
• pp.57-62
• /
• 2015

Relative entropy is a divergence measure between two probability density functions of a random variable. Assuming that the random variable has only two alphabets, the relative entropy becomes a cross-entropy error function that can accelerate training convergence of multi-layer perceptron neural networks. Also, the n-th order extension of cross-entropy (nCE) error function exhibits an improved performance in viewpoints of learning convergence and generalization capability. In this paper, we derive a new divergence measure between two probability density functions from the nCE error function. And the new divergence measure is compared with the relative entropy through the use of three-dimensional plots.

• 한국인공지능학회지
• /
• 제5권1호
• /
• pp.1-9
• /
• 2017

Recently, the Q-Learning algorithm, which is one kind of reinforcement learning, is mainly used to implement artificial intelligence system in combination with deep learning. Many research is going on to improve the performance of Q-Learning. Therefore, purpose of theory try to improve the performance of Q-Learning algorithm. This Theory apply Cross Entropy Error to the loss function of Q-Learning algorithm. Since the mean squared error used in Q-Learning is difficult to measure the exact error rate, the Cross Entropy Error, known to be highly accurate, is applied to the loss function. Experimental results show that the success rate of the Mean Squared Error used in the existing reinforcement learning was about 12% and the Cross Entropy Error used in the deep learning was about 36%. The success rate was shown.

• International Journal of Safety
• /
• 제4권2호
• /
• pp.1-5
• /
• 2005

Design of manufacturing process, in general, facilitates the creation of new process that may potentially harm the workers. Design of safety-guaranteed manufacturing process is, therefore, very important since it determines the ultimate outcomes of manufacturing activities involving safety of workers. This study discusses application of discrimination information (cross entropy) to safety assessment of manufacturing processes. The idea is based on the general principles of design and their applications. An example of Cartesian robotic movement is given.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2018년도 춘계학술대회
• /
• pp.298-299
• /
• 2018

본 연구에서는 의사결정자의 사전정보가 필요하지 않은 DEA 모형들을 대상으로 변별력 평가를 실시하였다. 변별력 평가를 위한 DEA모형으로 Entropy 모형, Bootstrap 모형, Benevolent Cross Efficiency 모형, Aggressive Cross Efficiency 모형, Game Cross Efficiency 모형을 선정하였다. 변별력 평가척도인 변동계수(coefficient of variation)와 중요도(degree of importance) 평가기준을 이용하여 5개 DEA 모형의 변별력을 평가하였다. 평가결과에 따르면 변별력 순위는 2개 평가 지표 모두에서 Entropy 모형, Aggressive CE 모형, Benevolent CE 모형, Game CE 모형, Bootstrap 모형 순으로 평가되었다.

• 한국산업정보학회논문지
• /
• 제27권4호
• /
• pp.37-45
• /
• 2022

본 논문에서는 대표적인 조합 최적화(combinatorial optimization) 문제인 다수 에이전트-다수 작업 할당 문제를 제시한다. 할당 문제의 목적은 각 작업의 달성률(achievement rate)의 합을 최대로 하는 에이전트-작업 할당을 결정하는 것이다. 달성률은 각 작업의 할당된 에이전트의 수에 따라 아래 오목 증가(concave down increasing)형태로 다루어지며, 본 할당 문제는 비선형(non-linearity)의 목적함수를 갖는 NP-난해(NP-hard) 문제로 표현된다. 본 논문에서는 할당 문제를 해결하기 위한 효과적이면서 효율적인 문제 해결 방법론으로 혼합 교차-엔트로피 알고리즘(hybrid cross-entropy algorithm)을 제안한다. 일반적인 교차-엔트로피 알고리즘은 문제 상황에 따라 느린 매개변수 업데이트 속도와 조기수렴(premature convergence)이 발생할 수 있다. 본 연구에서 제안하는 문제 해결 방법론은 이러한 단점의 발생 확률을 낮추도록 설계되었으며, 실험적으로도 우수한 성능을 보이는 알고리즘임을 수치실험을 통해 제시한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권12호
• /
• pp.3889-3903
• /
• 2022

To address the problem of low detection accuracy due to training noise caused by mislabeling when Tri-training for network intrusion detection (NID), we propose a Tri-training algorithm based on cross entropy and K-nearest neighbors (TCK) for network intrusion detection. The proposed algorithm uses cross-entropy to replace the classification error rate to better identify the difference between the practical and predicted distributions of the model and reduce the prediction bias of mislabeled data to unlabeled data; K-nearest neighbors are used to remove the mislabeled data and reduce the number of mislabeled data. In order to verify the effectiveness of the algorithm proposed in this paper, experiments were conducted on 12 UCI datasets and NSL-KDD network intrusion datasets, and four indexes including accuracy, recall, F-measure and precision were used for comparison. The experimental results revealed that the TCK has superior performance than the conventional Tri-training algorithms and the Tri-training algorithms using only cross-entropy or K-nearest neighbor strategy.

• 한국어정보학회:학술대회논문집
• /
• 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
• /
• pp.56-59
• /
• 2017

CNN(Convolutional Neural Network)을 이용하여 발화 주제 다중 분류 task를 multi-labeling 방법과, cluster 방법을 이용하여 수행하고, 각 방법론에 MSE(Mean Square Error), softmax cross-entropy, sigmoid cross-entropy를 적용하여 성능을 평가하였다. Network는 음절 단위로 tokenize하고, 품사정보를 각 token의 추가한 sequence와, Naver DB를 통하여 얻은 named entity 정보를 입력으로 사용한다. 실험결과 cluster 방법으로 문제를 변형하고, sigmoid를 output layer의 activation function으로 사용하고 cross entropy cost function을 이용하여 network를 학습시켰을 때 F1 0.9873으로 가장 좋은 성능을 보였다.

• Communications for Statistical Applications and Methods
• /
• 제12권1호
• /
• pp.125-137
• /
• 2005

Many discriminant analysis models for binary data have been used in real applications, but none of the classification models dominates in all varying circumstances(Asparoukhov & Krzanowski(2001)). Lee and Hwang (2003) proposed a new classification model by using multinomial distribution with the maximum entropy estimation method. The model showed some promising results in case of small number of variables, but its performance was not satisfactory for large number of variables. This paper explores to use the iterative cross entropy minimization estimation method in replace of the maximum entropy estimation. Simulation experiments show that this method can compete with other well known existing classification models.