• 제목/요약/키워드: Shannon's Information Theory

검색결과 22건 처리시간 0.023초

시맨틱 통신 연구 동향 (Trend of Semantic Communication)

  • 권동승;나지현
    • 전자통신동향분석
    • /
    • 제37권6호
    • /
    • pp.74-83
    • /
    • 2022
  • Shannon and Weaver's semantic communication has been actively studied in recent years as a new communication method to provide intelligent mobile services without requiring more capacity, infrastructure, and energy, even with limited radio resources. Considered a breakthrough beyond the Shannon paradigm, semantic communication aims at successfully transmitting semantic information conveyed by a source rather than accurately receiving each symbol or bit, regardless of meaning. Thus, semantic communication can lead to knowledgeable systems that significantly reduce data traffic because the transmitter only transmits the necessary information related to a specific task. This study describes essential differences between existing and semantic communication, research trends related to semantic communication principles and theory, performance metrics of semantic communication, semantic communication system framework, and future research and development issues.

Turbo 복호기 CPLD 구현 (A CPLD Implementation of Turbo Decoder)

  • 김상훈;김상명;황원철;정지원
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2000년도 춘계종합학술대회
    • /
    • pp.438-441
    • /
    • 2000
  • 본 논문에서는 Shannon's Limit 보다 근접한 성능을 나타낼 수 있는 Turbo 부호의 기본 이론과 MAP, Log-MAP 복호알고리즘을 정리하고, 이를 바탕으로 VHDL(Very high speed integrated circuit Hardware Description Language)를 이용하여 Log-MAP Turbo 복호기를 ALTERA 사의 FLEX10k100 CPLD(Complex Programmable Logic Device)에 구현하였다.

  • PDF

Information Dimensions of Speech Phonemes

  • Lee, Chang-Young
    • 음성과학
    • /
    • 제3권
    • /
    • pp.148-155
    • /
    • 1998
  • As an application of dimensional analysis in the theory of chaos and fractals, we studied and estimated the information dimension for various phonemes. By constructing phase-space vectors from the time-series speech signals, we calculated the natural measure and the Shannon's information from the trajectories. The information dimension was finally obtained as the slope of the plot of the information versus space division order. The information dimension showed that it is so sensitive to the waveform and time delay. By averaging over frames for various phonemes, we found the information dimension ranges from 1.2 to 1.4.

  • PDF

Selecting Good Speech Features for Recognition

  • Lee, Young-Jik;Hwang, Kyu-Woong
    • ETRI Journal
    • /
    • 제18권1호
    • /
    • pp.29-41
    • /
    • 1996
  • This paper describes a method to select a suitable feature for speech recognition using information theoretic measure. Conventional speech recognition systems heuristically choose a portion of frequency components, cepstrum, mel-cepstrum, energy, and their time differences of speech waveforms as their speech features. However, these systems never have good performance if the selected features are not suitable for speech recognition. Since the recognition rate is the only performance measure of speech recognition system, it is hard to judge how suitable the selected feature is. To solve this problem, it is essential to analyze the feature itself, and measure how good the feature itself is. Good speech features should contain all of the class-related information and as small amount of the class-irrelevant variation as possible. In this paper, we suggest a method to measure the class-related information and the amount of the class-irrelevant variation based on the Shannon's information theory. Using this method, we compare the mel-scaled FFT, cepstrum, mel-cepstrum, and wavelet features of the TIMIT speech data. The result shows that, among these features, the mel-scaled FFT is the best feature for speech recognition based on the proposed measure.

  • PDF

우리나라 친환경농산물 시장에 대한 정보이론적 접근 : 신뢰재의 정보비대칭성 지표로서의 정보엔트로피 측정 (A Theoretic Approach to the Organic Food Market in Korea: An Estimation of Information Entropy as a Measure of Information Asymmetry for Credence Goods)

  • 송양훈
    • 환경정책연구
    • /
    • 제7권3호
    • /
    • pp.41-61
    • /
    • 2008
  • 우리나라 친환경농산물시장은 외형적으로 꾸준히 증가하고 있지만, 친환경농산물에 대한 소비자들의 신뢰도는 낮은 것으로 나타나, 친환경농산물시장의 발전에 걸림돌이 되고 있다. 따라서 친환경농산물시장을 활성화하고 궁극적으로 국민 건강의 증진 및 개방화시대에 우리나라 농업이 살아남기 위해서는, 친환경농산물을 비롯한, 한우와 수입우 등 '신뢰재(Credence Good)' 시장에서의 정보비대칭성(Information Asymmetry) 문제가 해소되어야 한다. 게임이론을 통하여 이러한 정보비대칭성을 계측할 수 있으나, 게임 참가자들의 보상(payoff)을 계측하는 문제의 해결이 용이하지 않고, 가능하더라고 유의성을 담보할 수 없다. 따라서 대안으로 Shannon(1948)에 의하여 주창된 정보엔트로피(Information Entropy; 정보무질서도 또는 정보교란도)의 측정을 통하여 정보비대칭성 지표를 개발하고 이를 토대로 친환경농산물시장을 관리하여야 한다. 본 연구에 따르면, 2003년 이후 친환경농산물시장의 정보엔트로피는 꾸준히 감소하고 있으며, 정책적 제안으로 인증제도의 개선 및 지표의 개발을 통하여 친환경농산물시장을 활성화시킬 것을 주장하였다.

  • PDF

A NOTE ON GENERALIZED NET MODEL OF E-LEARNING EVALUATION ASSOCIATED WITH INTUITIONISTIC FUZZY ESTIMATIONS

  • Shannon, A.;Sotirova, E.;Atanassov, K.;Krawczak, M.;Melo-Pinto, P.;Kim, T.;Jang, L.C.;Kang, Dong-Jin;Rim, S.H.
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제6권1호
    • /
    • pp.6-9
    • /
    • 2006
  • A generalized net is used to construct a model which describes the process of evaluation of the problems solved by students. The model utilizes the theory of intuitionistic fuzzy sets. The model can be used to simulate some processes, related to estimation of students' background.

문제 상위는 유전 알고리즘의 성능에 어떤 영향을 미치는가? (How Does Problem Epistasis Affect the performance of Genetic Algorithm?)

  • 유동필;김용혁
    • 예술인문사회 융합 멀티미디어 논문지
    • /
    • 제8권4호
    • /
    • pp.251-258
    • /
    • 2018
  • 수학과 컴퓨터 과학 분야에서 최적화 문제란 가능한 모든 해 중에서 가장 좋은 해를 찾는 문제이다. 유전 알고리즘에서 최적화 문제의 어려운 정도는 상위의 측면에서 설명될 수 있다. 생물학에서 상위는 유전자의 표현형이 하나 혹은 그 이상의 유전자에 의해 억제되는 것을 의미하지만 진화 알고리즘에서는 유전자들 사이의 상호작용을 의미한다. 본 논문에서는 상위와 유전 알고리즘이 최적 해를 찾는 시간 사이의 상관관계를 실험적으로 확인하였다. Shannon의 정보 이론에 근거해 상위를 수치화하는 프레임워크를 사용하여 다양한 문제(One-Max, Royal Road, NK-Landscape)의 상위를 비교하였고, 그 결과 상위가 커짐에 따라 문제가 어려워져 최적 해를 찾기 어려운 경향이 있음을 확인하였다. 성능은 주어진 세대 안에 최적 해를 찾는 경우 최적 해를 찾는 데까지 걸린 세대 수로 비교하였고, 최적 해를 찾지 못하는 경우 최적 해의 적합도에 대한 주어진 세대 동안 찾은 적합도가 가장 높은 해의 적합도 비율로 비교하였다.

확률론적 이론을 이용한 종단면에서의 단방향 이동거리에 관한 연구 (A Study on the One-Way Distance in the Longitudinal Section Using Probabilistic Theory)

  • 김성률;문지현;전해성;서종철;추연문
    • 한국산학기술학회논문지
    • /
    • 제21권12호
    • /
    • pp.87-96
    • /
    • 2020
  • 유속은 수리학적 구조물을 운영 관리하는데 필수적인 요소임에도 불구하고 경제적, 인력적 이유로 인해 유량, 유속 측정이 충분히 이루어지지 않고 있다. 또한, 홍수기에 하천의 유속을 산정하는데 사용되는 공식은 Chezy와 Manning 등류 공식으로 일반적으로 등류가 아닌 자연하천에 이 공식을 그대로 사용하는 것은 문제가 있다. 이에 따라 본 연구는 측정치와 경험적인 방법으로 유량과 유속을 다른 수리학적 요소로 나타내는 방법이 아닌 이론적 방법으로 유속에 접근하였다. 이전의 기존 유속 공식과 분포식의 한계를 엔트로피 이론으로 해결한 Chiu (1987)의 연구를 따라 개수로의 유속을 엔트로피 이론에 근거하여 전개하였고 효용성을 검증하기 위해 지점의 유속이 측정된 수로의 데이터를 활용하여 식을 검증하였다. 이동거리의 R2값은 0.9993, 유속의 R2값은 0.8051~0.9483으로 예측치가 실제 적용 가능함을 확인하였다. 식을 활용하면 실제 유속 측정을 여러 지점에서 매시간 하지 않아도 특성 인자를 통해 시간에 따라 이동하는 하천의 유속과 이동지점을 동시에 구할 수 있고 실시간 유속이 필요하지만 빈번한 실측이 불가능한 홍수기의 유속 산정이 가능하다. 이를 활용하여 하천의 수평·수직거리를 이용해 제작되는 하천 종단면도에 활용 가능하며 GIS와 연계하여 하천 특성인자의 정확성을 높일 수 있을것으로 판단된다. GIS의 공간 모델에 하천의 거리와 유속 정보를 결합해 홍수기의 경보·예측 시스템에 활용이 가능할 것으로 보인다.

세계 각국의 자원에 대한 통계적 고찰 (Statistical Consideration on the Resources of the Countries in the World)

  • 허문열;최병수;이승천
    • 응용통계연구
    • /
    • 제22권1호
    • /
    • pp.41-57
    • /
    • 2009
  • 본 논문에서는 세계 232 개국에 대한 인구, 경제 및 기타 자원에 관한 자료를 사용하여 국가의 개발정도, 인간개발지수, 경제력 그리고 OECD 가입 여부에 어떤 자원이 어떻게 영향을 미치는가를 통계적으로 고찰해보고자 한다. 여기서 사용하는 국가별 자원 자료는 연속형 자료와 이산형 자료가 혼재되어있는 혼합형이며 많은 결측값이 포함되어 있어 기존의 방법으로는 분석하는 데 한계가 있다. 이 논문에서는 시각적 방법을 동원하여 복합형 자료를 탐색하는 과정을 제시하고 이러한 방법의 한계점을 보이고자한다. 이러한 한계점을 극복하고 객관적인 판단기준을 적용하여 주어진 문제에 대한 과학적인 결론을 유도하기 위해 Shannon (1948)의 엔트로피 이론에 기본을 둔 상호정보(MI)를 활용하고자 한다. 상호정보를 추정하는 방법은 여러 가지가 있으며 각 방법에 따라 결과가 매우 다르게 나타난다. 본 논문에서는 Fayyad와 Irani (1992)의 이산화 방법을 적용하여 MI를 추정하는 방법을 적용한다. 여기서 이루어지는 모든 과정은 다차원 자료의 시각적 탐색 도구인 DAVIS (Huh와 Song, 2002)를 사용하였다.