• 제목/요약/키워드: Conditional Entropy

검색결과 36건 처리시간 0.026초

조건부 정보엔트로피에 의한 불완전 정보시스템의 불확실성 측정 (Uncertainty Measurement of Incomplete Information System based on Conditional Information Entropy)

  • 박인규
    • 한국인터넷방송통신학회논문지
    • /
    • 제14권2호
    • /
    • pp.107-113
    • /
    • 2014
  • 러프집합에서 식별불능의 관계와 근사공간의 개념을 이용해서 의사결정표로부터 최적화된 정보를 유도하게 된다. 그러나 일반적으로 결정표에서 데이터의 중복이나 비일관성은 피할 수 없기 때문에 속성의 중요성은 지식의 감축에서 매우 중요한 개념이다. 속성의 중요성에 대한 대수학적인 정의는 도메인중의 완전한 부분집합에 대한 해당 속성이 주는 영향을 고려하는 것이고, 정보이론적인 정의는 도메인 중의 불완전한 부분집합에 대한 해당 속성이 주는 영향을 고려하는 것이다. 따라서 속성 중요성은 정보이론적인 관점의 정의와 대수학인 관점의 정의가 분명하게 차이가 있다. 본 논문에서는 정보시스템의 조건속성과 결정속성에 포함될 수 있는 정보를 최적화하기 위한 정보이론적인 척도로써 러프집합을 이용한 조건부 정보엔트로피를 제안하고 그 효용성을 보인다.

명암도 기반의 의료영상 정합을 위한 최적화 방법 (Optimization Methods for Medical Images Registration based on Intensity)

  • 이명은;김수형;임준식
    • 전자공학회논문지CI
    • /
    • 제46권6호
    • /
    • pp.1-6
    • /
    • 2009
  • 본 논문에서는 명암도 기반의 의료영상 정합을 위한 최적화 방법을 소개하고자 한다. 제안하는 최적화 방법은 조건부 확률의 엔트로피에 기반한 측도를 사용함으로써 수행된다. 본 논문에서는 정합을 수행하기 위해서 주어진 두 영상의 명암도에 대한 조인트 히스토그램으로부터 계산된 조건부 엔트로피를 개선하여 새로운 정합 방법의 측도로써 정의한다. 그리고 기존의 명암도 기반의 방법들 즉, 명암도 차이 측정을 이용한 방법, 상관계수를 이용한 방법, 상호정보량을 이용한 방법 등과 비교 실험을 수행한다. 단일 모달리티 뇌 MR 영상을 이용한 실험과 서로 다른 모달리티 뇌 MR 영상과 CT 영상의 정합 결과를 통해서 성능을 평가한다. 실험결과에 의하면 제안한 방법이 기존의 최적화 방법들 널다 최적화 하는데 소요되는 시간이 더 빠르고 정확한 정합이 됨을 알 수 있다.

Cross Entropy 기반의 주파수 영역에서 스펙트럼 센싱 성능 개선 (An Improved Cross Entropy-Based Frequency-Domain Spectrum Sensing)

  • 타사미아;구준롱;장성진;김재명
    • 대한전자공학회논문지TC
    • /
    • 제48권3호
    • /
    • pp.50-59
    • /
    • 2011
  • 본 논문은 주파수 영역에서 과거와 현재에 센싱된 결과들의 관계를 이용한 스펙트럼 센싱기법을 제안하였다. 기존에 제안된 대부분의 스펙트럼 센싱기법은 해당 시간에 센싱된 우선사용자의 신호만을 다루고 있다. 해당 시간 이전의 우선사용자의 상태는 조건부확률을 사용하여 검출기의 신뢰성을 증가시킬 수 있다. 따라서, 본 논문은 이전 시간과 해당 시간의 스펙트럼 센싱 결과를 사용하는 cross entropy 기반의 스펙트럼 센싱기법을 제안하며 이를 통해 우선사용자 신호 검출 성능을 향상시키고 잡음에 강인한 성능을 가질 수 있다. 이전 시간에 검출된 신호가 잡음인 경우 cross entropy 기반의 스펙트럼 센싱 성능 감소는 기존의 entropy 기반의 센싱기법과 동일하게 된다. 이러한 문제를 해결하기 위해 본 논문에서는 보다 향상된 cross entropy 센싱기법을 제안하였다. 본 논문은 시뮬레이션을 통해 가장 최근에 제안된 주파수 영역에서의 entropy 기반 스펙트럼 센싱기법 보다 제안된 방법이 더 나은 성능을 보이는 것을 보였다.

조건부 엔트로피 제한 벡터 양자화를 이용한 영상 부호화 (Image Coding using Conditional Entropy Constrained Vector Quantization)

  • 이승준;서용창;이충웅
    • 전자공학회논문지B
    • /
    • 제31B권11호
    • /
    • pp.88-96
    • /
    • 1994
  • 벡터 양자화를 이용하여 영상신호를 압축하는 경우, 원 영상을 복원하기 위하여 복호기쪽에 어야 하는 인덱스들 사이에는 높은 상관성이 존재하며, 이러한 높은 상관성을 인덱스의 부호화에 이용하면 보다 높은 부호화 효율을 얻을 수 있다. 본 논문에서는, 각 인덱스들을 이전 인덱스의 값에 따라 적응적으로 부호화하는 조건부 엔트로피 부호화를 도입하고, 이 경우 벡터 양자기를 최적화하는 방법을 제안한다. 즉, 조건부 엔트로피 부호화를 도입하는 경우 각 입력벡터당 평균 비트수는 조건부 엔트로피에 근접한다는 사실을 유용하여, 조건부 엔트로피를 제한한 상태에서 평균 왜곡을 최소화 하도록 VQ 부호책을 구성함으로써 최적화 과정이 이루어진다. 또한, 이와 같이 각 입력벡터의 양자화 결과가 다음 입력벡터의 인덱스를 부호화하는데 영향을 미치는 경우, 장시간(long term)의 관점에서 최적인 인덱스열을 찾기 위해 우리는 비터비 탐색 방법을 도입한다. 영상 모의 실험을 통해, 제안하는 방법이, 구획간의 상관성을 이용하지 않는 기존의 엔트로피 제한 벡터 양자기에 비해 같은 비트율에서 약 1.0~3.0 dB 높은 PSNR을 나타냄을 알 수 있었다.

  • PDF

Context-Based Minimum MSE Prediction and Entropy Coding for Lossless Image Coding

  • Musik-Kwon;Kim, Hyo-Joon;Kim, Jeong-Kwon;Kim, Jong-Hyo;Lee, Choong-Woong
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 1999년도 KOBA 방송기술 워크샵 KOBA Broadcasting Technology Workshop
    • /
    • pp.83-88
    • /
    • 1999
  • In this paper, a novel gray-scale lossless image coder combining context-based minimum mean squared error (MMSE) prediction and entropy coding is proposed. To obtain context of prediction, this paper first defines directional difference according to sharpness of edge and gradients of localities of image data. Classification of 4 directional differences forms“geometry context”model which characterizes two-dimensional general image behaviors such as directional edge region, smooth region or texture. Based on this context model, adaptive DPCM prediction coefficients are calculated in MMSE sense and the prediction is performed. The MMSE method on context-by-context basis is more in accord with minimum entropy condition, which is one of the major objectives of the predictive coding. In entropy coding stage, context modeling method also gives useful performance. To reduce the statistical redundancy of the residual image, many contexts are preset to take full advantage of conditional probability in entropy coding and merged into small number of context in efficient way for complexity reduction. The proposed lossless coding scheme slightly outperforms the CALIC, which is the state-of-the-art, in compression ratio.

한글 음절의 초성, 중성, 종성 단위의 발생확률, 엔트로피 및 평균상호정보량 (Entropy and Average Mutual Information for a 'Choseong', a 'Jungseong', and a 'Jongseong' of a Korean Syllable)

  • 이재홍;오상현
    • 대한전자공학회논문지
    • /
    • 제26권9호
    • /
    • pp.1299-1307
    • /
    • 1989
  • A Korean syllable is regarded as a random variable according to its probabilistic property in occurrence. A Korean syllable is divided into a 'choseong', a 'jungseong', and a 'jongseong' which are regarded as random variables. From the cumulative freaquency of a Korean syllable all possible joint probabilities and conditional probabilities are computed for the three ramdom variables. From the joint probabilities and the conditional probabilities all possible joint entropies and conditional entropies are computed for the three random varibles. Also all possible average mutual informations are calculated for the three random variables. Average mutual informatin between two random variables hss its biggest value between choseong and jungseong. Average mutual information between a random variable and other two random variables has its biggest value between jungseong and choseong-jongseong.

  • PDF

AN IMAGE THRESHOLDING METHOD BASED ON THE TARGET EXTRACTION

  • Zhang, Yunjie;Li, Yi;Gao, Zhijun;Wang, Weina
    • Journal of applied mathematics & informatics
    • /
    • 제26권3_4호
    • /
    • pp.661-672
    • /
    • 2008
  • In this paper an algorithm, based on extracting a certain target of an image, is proposed that is capable of performing bilevel thresholding of image with multimodal distribution. Each pixel in the image has a membership value which is used to denote the characteristic relationship between the pixel and its belonging region (i.e. the object or background). Using the membership values of image set, a new measurement, which simultaneously measures the measure of fuzziness and the conditional entropy of the image, is calculated. Then, thresholds are found by optimally minimizing calculated measurement. In addition, a fuzzy range is defined to improve the threshold values. The experimental results demonstrate that the proposed approach can select the thresholds automatically and effectively extract the meaningful target from the input image. The resulting image can preserve the object region we target very well.

  • PDF

러프집합 이론을 이용한 러프 엔트로피 기반 지식감축 (Rough Entropy-based Knowledge Reduction using Rough Set Theory)

  • 박인규
    • 디지털융복합연구
    • /
    • 제12권6호
    • /
    • pp.223-229
    • /
    • 2014
  • 대용량의 지식베이스 시스템에서 유용한 정보를 추출하여 효율적인 의사결정을 수행하기 위해서는 정제된 특징추출이 필수적이고 중요한 부분이다. 러프집합이론에 있어서 최적의 리덕트의 추출과 효율적인 객체의 분류에 대한 문제점을 극복하고 자, 본 연구에서는 조건 및 결정속성의 효율적인 특징추출을 위한 러프엔트로피 기반 퀵리덕트 알고리듬을 제안한다. 제안된 알고리듬에 의해 유용한 특징을 추출하기 위한 조건부 정보엔트로피를 정의하여 중요한 특징들을 분류하는 과정을 기술한다. 또한 본 연구의 적용사례로써 실제로 UCI의 5개의 데이터에 적용하여 특징을 추출하는 시뮬레이션을 통하여 본 연구의 모델링이 기존의 방법과 비교결과, 제안된 방법이 효율성이 있음을 보인다.

크로스 엔트로피 기반 스펙트럼 센싱에서 채널 점유 시간 변화에 따른 히스토그램 Bin 개수 선택 기법 (Histogram Bin Number Selection Method Robust to the Variations of Channel Occupancy for Cross Entropy)

  • 용슬바로;장성진;김재명
    • 한국ITS학회 논문지
    • /
    • 제12권1호
    • /
    • pp.88-97
    • /
    • 2013
  • 기존에 제안된 대부분의 스펙트럼 센싱 기법은 해당 시간에 센싱 된 우선사용자의 신호만을 다루고 있다. 하지만 해당 시간 이전의 우선사용자의 상태를 이용하게 되면 조건부 확률을 사용하여 검출기의 신뢰성을 증가시킬 수 있다. 따라서 크로스 엔트로피(Cross Entropy) 기반의 스펙트럼 센싱 기법에서는 해당 시간 이전의 우선사용자의 상태도 함께 이용하는 기법을 제안하였으며 이를 통해 우선사용자 신호 검출 성능을 향상시키고 잡음에 강인한 성능을 갖도록 하였다. 그러나 이러한 크로스 엔트로피 기반의 스펙트럼 센싱 기법은 모두 실제 이상적인 센싱 환경만을 고려하였다. 다시 말해, 우선사용자의 채널 점유 시간이 항상 일정하다고 가정한 상태에서 센싱을 수행하였다. 하지만 실제 상황에서는 우선사용자가 채널을 점유하는 시간이 이상적인 상황보다 길어질 수도, 반대로 짧아질 수도 있으며 이로 인해 스펙트럼 센싱 성능이 변화 할 수 있다. 따라서 본 논문에서는 이러한 실제 상황에서도 센싱 성능을 일정하게 유지할 수 있는 기법을 제안하였으며 이를 시뮬레이션을 통해 확인하였다.

능동 학습을 이용한 학습 데이터 반자동 구축 (Semi-automatic Construction of Training Data using Active Learning)

  • 이창기;허정;왕지현;이충희;오효정;장명길;이영직
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2006년도 학술대회 1부
    • /
    • pp.1252-1255
    • /
    • 2006
  • 본 논문은 정보검색, 정보추출, 번역, 자연어처리 등의 작업을 위한 통계적 방법론에서 필요한 학습 데이터 구축을 효율적으로 하기 위한 학습 데이터 반자동 구축 장치 및 그 방법에 대하여 기술한다. 본 논문에서는 학습 데이터 구축양을 줄이기 위해서 능동 학습을 이용한다. 또한 최근 각광 받고 있는 Conditional Random Fields(CRF)를 능동학습에 이용하기 위해서 CRF를 이용한 Confidence measure를 정의한다.

  • PDF