• 제목/요약/키워드: Continuous Time Markov Chain

검색결과 43건 처리시간 0.022초

Numerical Iteration for Stationary Probabilities of Markov Chains

  • Na, Seongryong
    • Communications for Statistical Applications and Methods
    • /
    • 제21권6호
    • /
    • pp.513-520
    • /
    • 2014
  • We study numerical methods to obtain the stationary probabilities of continuous-time Markov chains whose embedded chains are periodic. The power method is applied to the balance equations of the periodic embedded Markov chains. The power method can have the convergence speed of exponential rate that is ambiguous in its application to original continuous-time Markov chains since the embedded chains are discrete-time processes. An illustrative example is presented to investigate the numerical iteration of this paper. A numerical study shows that a rapid and stable solution for stationary probabilities can be achieved regardless of periodicity and initial conditions.

연속시간 흡수 마코프체인을 활용한 신뢰도 중복 최적화 문제 (A Reliability Redundancy Optimization Problem with Continuous Time Absorbing Markov Chain)

  • 김각규;백승원;윤봉규
    • 대한산업공학회지
    • /
    • 제39권4호
    • /
    • pp.290-297
    • /
    • 2013
  • The increasing level of operation in high-tech industry is likely to require ever more complex structure in reliability problem. Furthermore, system failures are more significant on society as a whole than ever before. Reliability redundancy optimization problem (RROP) plays a important role in the designing and analyzing the complex system. RROP involves selection of components with multiple choices and redundancy levels for maximizing system reliability with constraints such as cost, weight, etc. Meanwhile, previous works on RROP dealt with system with perfect failure detection, which gave at most a good solution. However, we studied RROP with imperfect failure detection and switching. Using absorbing Markov Chain, we present not a good solution but the optimal one. In this study, the optimal system configuration is designed with warm and cold-standby redundancy for k-out-of-n system in terms of MTTF that is one of the performance measures of reliability.

통신 서비스 가용도의 추계적 모델 (Stochastic Model for Telecommunication Service Availability)

  • 함영만;이강원
    • 한국통신학회논문지
    • /
    • 제37권1B호
    • /
    • pp.50-58
    • /
    • 2012
  • 본 연구의 주된 목적은 사용자 관점에서 본 통신 시스템 서비스 가용도의 이론적 모델 개발이다. 이를 위하여 호(Call) 도착은 non-homogeneous 포아손 과정의 가정, 그리고 시스템 상태는 CTMC 모델의 가정을 토대로 서비스 가용도의 추계적 모델을 개발하였다. 제시한 모델은 시간에 따라 변하는 호 도착률을 포함하여 사용자 관점에서 본 서비스 신뢰도 모형의 사용자 모델을 효율적으로 나타냈다. 아울러 시스템 자원의 고장 없이도 사용자가 서비스를 받지 못하는 시스템 상태인 운영 고장 상태를 모델에 포함하여 제공자 입장이 아니라 사용자 관점에서 모델을 구축하였다.

MEAN-FIELD BACKWARD STOCHASTIC DIFFERENTIAL EQUATIONS ON MARKOV CHAINS

  • Lu, Wen;Ren, Yong
    • 대한수학회보
    • /
    • 제54권1호
    • /
    • pp.17-28
    • /
    • 2017
  • In this paper, we deal with a class of mean-field backward stochastic differential equations (BSDEs) related to finite state, continuous time Markov chains. We obtain the existence and uniqueness theorem and a comparison theorem for solutions of one-dimensional mean-field BSDEs under Lipschitz condition.

보행 방향 및 상태 분석을 위한 병렬 가우스 과정 (Parallel Gaussian Processes for Gait and Phase Analysis)

  • 신봉기
    • 정보과학회 논문지
    • /
    • 제42권6호
    • /
    • pp.748-754
    • /
    • 2015
  • 본 연구에서는 다중 상태 변수의 인수 HMM을 일반화하여 연속 은닉 변수와 이산 은닉 변수가 결합된 순차 상태 추정 모형을 제안하고 이에 기반한 보행 동작 모형을 설계한다. 유한 상태의 이산변수는 마르코프 연쇄 구조로 보행의 동역학적 특성을 표현하고 각 이산 상태에 대해 연속 변수를 독립변수로 한 가우스 과정을 정의한다. 마르코프 상태 천이는 여러 가우스 과정 사이의 스위칭을 제어하며 각 가우스 과정은 동일한 자세의 회전 또는 다양한 시각을 표현한다. 온라인 필터링 추론을 위해 입자 필터 방식의 추론 알고리듬도 제시한다. 이 알고리듬은 입력 벡터 열이 주어졌을 때 이들 병렬적 가우스 과정을 동적으로 갈아타는 스위칭 궤적을 디코딩 해준다. 실험 결과 비선형적 보행자 비디오 영상을 보행방향과 보행 상태의 열로 분리하며 매우 직관적인 해석을 할 수 있음을 보였다.

Markov Process 기반 RAM 모델에 대한 파라미터 민감도 분석 (Parametric Sensitivity Analysis of Markov Process Based RAM Model)

  • 김영석;허장욱
    • 시스템엔지니어링학술지
    • /
    • 제14권1호
    • /
    • pp.44-51
    • /
    • 2018
  • The purpose of RAM analysis in weapon systems is to reduce life cycle costs, along with improving combat readiness by meeting RAM target value. We analyzed the sensitivity of the RAM analysis parameters to the use of the operating system by using the Markov Process based model (MPS, Markov Process Simulation) developed for RAM analysis. A Markov process-based RAM analysis model was developed to analyze the sensitivity of parameters (MTBF, MTTR and ALDT) to the utility of the 81mm mortar. The time required for the application to reach the steady state is about 15,000H, which is about 2 years, and the sensitivity of the parameter is highest for ALDT. In order to improve combat readiness, there is a need for continuous improvement in ALDT.

An efficient approximation method for phase-type distributions

  • Kim, Jung-Hee;Yoon, Bok-Sik
    • 한국경영과학회:학술대회논문집
    • /
    • 한국경영과학회 1995년도 추계학술대회발표논문집; 서울대학교, 서울; 30 Sep. 1995
    • /
    • pp.99-107
    • /
    • 1995
  • The Phase-type(PH) distribution, defined as a distribution of the time until the absorption in a finite continuous-time Markov chain state with one absorbing state, has been widely used for various stochastic modelling. But great computational burdens often make us hesitate to apply PH methods. In this paper, we propose a seemingly efficient approximation method for phase type distributions. We first describe methods to bound the first passage time distribution in continuous-time Markov chains. Next, we adapt these bounding methods to approximate phase-tupe distributions. Numerical computation results are given to verify their efficiency.

  • PDF

Markov 과정의 최초통과시간을 이용한 지수가중 이동평균 관리도의 평균런길이의 계산 (Average run length calculation of the EWMA control chart using the first passage time of the Markov process)

  • 박창순
    • 응용통계연구
    • /
    • 제30권1호
    • /
    • pp.1-12
    • /
    • 2017
  • 많은 확률과정이 Markov 특성을 만족하거나 근사적으로 만족하는 것으로 가정된다. Markov 과정에서 특히 관심을 끄는 것은 최초통과시간이다. 최초통과시간에 대한 연구는 Wald의 축차분석에서 시작하여 근사적 특성에 대한 많은 연구가 되어왔고 컴퓨터의 발달로 통계계산적 방법이 사용되면서 근사적 결과가 참값에 가까운 값을 계산할 수 있게 되었다. 이 논문은 Markov 과정의 예로서 지수가중 이동평균 관리도를 사용할 때 평균런길이를 계산하는 과정과 계산상의 주의점, 문제점 등을 연구하였다. 이 결과는 다른 모든 Markov 과정에 적용될 수 있으며 특히 Markov 연쇄로의 근사는 확률과정의 특성의 연구에 유용하고 계산적 접근을 용이하게 한다.