• 전기학회논문지P
• /
• 제58권2호
• /
• pp.164-171
• /
• 2009

This paper presents new learning algorithm of dynamic Bayesian networks (DBN) by means of constrained least square (LS) estimation algorithm and gradient descent method. First, we propose constrained LS based parameter estimation for a Markov chain (MC) model given observation data sets. Next, a gradient descent optimization is utilized for online estimation of a hidden Markov model (HMM), which is bi-linearly constructed by adding an observation variable to a MC model. We achieve numerical simulations to prove its reliability and superiority in which a series of non stationary random signal is applied for the DBN models respectively.

• 한국정보처리학회논문지
• /
• 제7권6호
• /
• pp.1852-1860
• /
• 2000

Distinct from the Markov random field or pseudo 2D HMM models for image analysis, this paper proposes a new model of 2D hidden Markov mesh chain(HMMM) model which subsumes the definitions of and the assumptions underlying the conventional HMM. The proposed model is a new theoretical realization of 2D HMM with the causality of top-down and left-right progression and the complete lattice constraint. These two conditions enable an efficient mesh decoding for model estimation and a recursive maximum likelihood estimation of model parameters. Those algorithms are developed in theoretical perspective and, in particular, the training algorithm, it is proved, attains the optimal set of parameters.

• Communications for Statistical Applications and Methods
• /
• 제13권3호
• /
• pp.491-501
• /
• 2006

We consider a multiple change point model with autoregressive conditional heteroscedasticity (ARCH). The model assumes that all or the part of the parameters in the ARCH equation change over time. The occurrence of the change points is modelled as the discrete time Markov process with unknown transition probabilities. The model is estimated by Markov chain Monte Carlo methods based on the approach of Chib (1998). Simulation is performed using a variant of perfect sampling algorithm to achieve the accuracy and efficiency. We apply the proposed model to the simulated data for verifying the usefulness of the model.

• Journal of the Korean Statistical Society
• /
• 제28권2호
• /
• pp.235-251
• /
• 1999

In this paper we examine extremal behavior of a $textsc{k}$th-order stationary Markov chain {X\ulcorner} by considering excesses over a high level which typically appear in clusters. Excesses over a high level within a cluster define a cluster damage, i.e., a normalized sum of all excesses within a cluster, and all excesses define a damage point process. Under some distributional assumptions for {X\ulcorner}, we prove convergence in distribution of the cluster damage and obtain a representation for the limiting cluster damage distribution which is well suited for simulation. We also derive formulas for the mean and the variance of the limiting cluster damage distribution. These results guarantee a compound Poisson limit for the damage point process, provided that it is strongly mixing.

• Smart Structures and Systems
• /
• 제15권3호
• /
• pp.735-749
• /
• 2015

The major difficulty of using Bayesian probabilistic inference for system identification is to obtain the posterior probability density of parameters conditioned by the measured response. The posterior density of structural parameters indicates how plausible each model is when considering the uncertainty of prediction errors. The Markov chain Monte Carlo (MCMC) method is a widespread medium for posterior inference but its convergence is often slow. The differential evolution adaptive Metropolis-Hasting (DREAM) algorithm boasts a population-based mechanism, which nms multiple different Markov chains simultaneously, and a global optimum exploration ability. This paper proposes an improved differential evolution adaptive Metropolis-Hasting algorithm (IDREAM) strategy to estimate the posterior density of structural parameters. The main benefit of IDREAM is its efficient MCMC simulation through its use of the adaptive Metropolis (AM) method with a mutation strategy for ensuring quick convergence and robust solutions. Its effectiveness was demonstrated in simulations on identifying the structural parameters with limited output data and noise polluted measurements.

• International Journal of Computer Science & Network Security
• /
• 제22권3호
• /
• pp.1-8
• /
• 2022

Supporting real-time flows with delay and throughput constraints is an important challenge for future wireless networks. In this paper, we develop an optimal scheduling scheme to optimally choose the packets to transmit. The optimal transmission strategy is based on an observable Markov decision process. The novelty of the work focuses on a priority-based probabilistic packet scheduling strategy for efficient packet transmission. This helps in providing guaranteed services to real time traffic in Heterogeneous Wireless Networks. The proposed scheduling mechanism is able to optimize the desired performance. The proposed scheduler improves the overall end-to-end delay, decreases the packet loss ratio, and reduces blocking probability even in the case of congested network.

• 한국정보통신학회논문지
• /
• 제27권1호
• /
• pp.135-138
• /
• 2023

In this paper, we study real-time error in the context of monitoring a binary information source through a delay system. To derive the average real-time error, we model the delay system as a discrete time Geo/D/1/1 queueing model. Using a discrete time three-dimensional Markov chain with finite state space, we analyze the queueing model. We also perform some numerical analysis on various system parameters: state transition probabilities of binary information source; transmission times; and transmission frequencies. When the state changes of the information source are positively correlated and negatively correlated, we investigate the relationship between transmission time and transmission frequency.

• 한국인터넷방송통신학회논문지
• /
• 제10권6호
• /
• pp.9-15
• /
• 2010

인지전파 기술은 지역과 시간에 따라 일시적으로 사용하지 않는 주파수 대역을 자동으로 인지하고 찾아서 환경에 맞게 통신방식, 주파수 대역폭 등을 능동적으로 판단하여 통신함으로서 한정적인 주파수 자원을 효율적으로 사용하고자 하는 기술이다. 본 논문에서는 오검출과 오경보의 불완전한 센싱 환경하의 인지 전파망에서 주사용자나 부사용자의 세션 큐가 스펙트럼 사용효율에 어떤 영향을 미치는 지를 연속시간 마르코프 체인 분석을 통하여 정량적으로 규명하였다. 큐가 있을 경우 주 사용자는 최대 18% 까지, 부 사용자는 최대 50% 까지 스펙트럼 사용 효율을 높일 수 있었다.

• 한국인터넷방송통신학회논문지
• /
• 제10권6호
• /
• pp.1-8
• /
• 2010

무선 접속을 통한 이동통신망이나 데이터망의 멀티미디어 서비스는 이제 현대 생활의 중요한 일부가 되었으며 유비쿼터스 컴퓨팅이 확산됨에 따라 새로운 서비스에 필요한 주파수 스펙트럼에 대한 수요는 급증할 전망이다. 인지전파 기술은 지역과 시간에 따라 일시적으로 사용하지 않는 주파수 대역을 자동으로 인지하고 찾아서 환경에 맞게 통신방식, 주파수 대역폭 등을 능동적으로 판단하여 통신함으로서 한정적인 주파수 자원을 효율적으로 사용하고자 하는 기술이다. 본 논문에서는 인지 전파 망에서 오검출과 오경보의 불완전한 센싱이 주 사용자와 부 사용자의 스펙트럼 사용에 어떤 영향을 미치는지를 연속시간 마르코프 체인 분석을 통하여 규명하였다. 연속시간 마르코프 체인의 닫힌 해(Closed Form Solution)를 통하여 센싱 오류, 제공 부하 등의 파라미터들이 시스템 성능에 미치는 영향을 분석하였다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 1부
• /
• pp.739-743
• /
• 2008

본 연구에서는 사용자가 입력한 멜로디에 따른 반주 음악을 자동으로 생성하는 방법을 제시한다. 시작되는 코드는 사용자의 멜로디에 의해서 생성이 되며, 그 다음 코드들은 코드들간의 전이확률이 정의되어있는 마르코프 체인(markov chain)의 확률 테이블을 이용하여 연속적으로 생성된다. 확률 테이블은 기존 음악의 샘플 데이터를 강화학습(reinforcement learning)을 이용하여 학습된다. 또한 실시간으로 재생되는 반주 코드는 매 상태 마다 주어지는 보상 값을 통해 더 나은 행동을 취할 수 있도록 학습해 나간다. 멜로디와 각 코드들간의 유사성은 피치 클래스 히스토그램을 이용하여 계산된다. 본 기술을 사용하여 주어진 사용자 입력에 조화로운 반주 코드의 자동 생성이 가능하다.