• 제목/요약/키워드: 마코프 결정 프로세스

검색결과 5건 처리시간 0.019초

강건한 스케줄링을 위한 마코프 의사결정 프로세스 추론 및 역강화 학습 기반 일상 행동 학습 (Robust Scheduling based on Daily Activity Learning by using Markov Decision Process and Inverse Reinforcement Learning)

  • 이상우;곽동현;온경운;허유정;강우영;재이다;장병탁
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권10호
    • /
    • pp.599-604
    • /
    • 2017
  • 유저의 일상 스케쥴을 제안하고 예측하는 서비스는 스마트 비서의 흥미로운 응용이다. 전통적인 방법에서는 유저의 행동을 예측하기 위하여, 유저가 직접 자신의 행동을 기록하거나, e-mail 혹은 SNS 등에서 명시적인 일정 정보를 추출하여 사용해왔다. 하지만, 유저가 모든 정보를 기록할 수 없기에, 스마트 비서가 얻을 수 있는 정보는 제한적이며, 유저는 유저의 일상의 routine한 정보를 기록하지 않는 경향이 있다. 본 논문에서는 스케줄러에 적히는 정형화된 일정인 스케줄과 비정형화된 일정을 만드는 일상 행동 패턴들을 동시에 고려하는 접근 방법을 제안한다. 이를 위하여 마코프 의사 결정 프로세스 (MDP)를 기반으로 하는 추론 방법과 역강화 학습 (IRL)을 통한 보상 함수 학습 방법을 제안한다. 실험 결과는 우리가 6주간 모은 실제 생활을 기록한 데이터 셋에서 우리의 방법이 기존 방법들보다 우수한 성능을 보임을 논증한다.

연속시간 마코프 프로세스를 이용한 지하매질에서의 통계적 핵종이동 모델 (A Stochastic Model for the Nuclide Migration in Geologic Media Using a Continuous Time Markov Process)

  • 이연명;강철형;한필수;박헌휘;이건재
    • Nuclear Engineering and Technology
    • /
    • 제25권1호
    • /
    • pp.154-165
    • /
    • 1993
  • 연속시간 마코프프로세스를 이용한 한 통계적 방법에 의한 일차원 지하 핵종이동 모델이 제시되었다. 지하매질은 보편적으로 지하수속도, 분산계수 또는 지연계수 등 물리화학적 변수 등의 비균질성을 보여 일반적인 결정론적 이류분산모델로는 잘 기술되지 않는다. 통계적 모델에서의 최종결과는 시간에 따른 함수로서의 기대값과 그 기대값의 분산도를 보여주는 분산치다. 매질이 균질하다고 생각될 정도로 나뉘어진 구획에 대한 핵종의 농도 분포를 구하여 결정론적인 해석해에 의한 농도분포와 비교하여 비균질 매질, 또는 현저하게 구분되는 다층매질의 경우에 대해서 유용 할 것이라는 결론을 얻었다. 매질을 나눈 구획수가 수치적 분산에 민감한 것으로 나타났지만 해석적 모델에 의해 분산계수가 보정될 수 있었다.

  • PDF

무선 센서 네트워크에서 에너지 효율적인 전송 방안에 관한 연구 (An Energy-Efficient Transmission Strategy for Wireless Sensor Networks)

  • 판반카;김정근
    • 인터넷정보학회논문지
    • /
    • 제10권3호
    • /
    • pp.85-94
    • /
    • 2009
  • 본 논문에서는 무선 센서 네트워크에서의 에너지 효율적인 전송방안을 제안하고 이에 대한 이론적 분석을 제시하고자 한다. 본 논문에서 제안하는 전송기법은 채널 상태가 상대적으로 좋을 때만 전송을 시도하는 opportunistic transmission에 기반한 이진 결정 (binary-decision) 기반 전송이다. 이진 결정 기반 전송에서는 Markov decision process (MDP)를 이용하여 성공적인 전송을 위한 최적의 채널 임계값을 도출하였다. 다양한 시뮬레이션을 통해 제안하는 전송기법의 성능을 에너지 효율성과 전송율 측면에서 분석하였다.

  • PDF

연속시간 마코프 프로세스를 이용한 균열암반매질에서의 핵종이동 모델 (A Nuclide Transport Model in the Fractured Rock Medium Using a Continuous Time Markov Process)

  • 이연명;강철형;한필수;박헌휘;이건재
    • Nuclear Engineering and Technology
    • /
    • 제25권4호
    • /
    • pp.529-538
    • /
    • 1993
  • 이전에 제신된 시간 균일적인 경우의 모델[1]에 대한 확장으로 균열암반내 핵종이동에 관한 연속시간 마코프 프로세스를 이용한 통계적 방법에 의한 모델이 제시되었다. 단일 평판 균일을 갖는 암반매질에서 핵종이 균열로부터 알반조직내로 확산 이동하는 경우 더 이상 균열시간적인 마코프 모델을 적용할 수 없으므로 암반으로의 확산항을 시간에 따라 변화하는 과정으로 보아 모델을 제시한 후 기존의 결정론적 해석해와 비교하였다. 통계적모델의 최종 결과는 시간의 함수로서의 상태변수에 대한 기댓값과 그 분산치일 것이다. 핵종의 시간 종속적인 확률분포가 전이강도가 주어질 때 매질내의 특성이 균질하다고 볼 수 있도록 나누어진 암반매질의 각 구획에 대해 주어지게 된다. 이 모델은 매질공간에 대해 불연속적이므로 핵종이동에 영향을 주는 변수들이 쉽게 균열암반이나 다중매질 등과 같은 비균질한 매질에 적용되어 질수 있다. 매질을 나눈 구획수가 수치적 분산에 민감한 것으로 나타났지만 분산계수의 보정에 의해 해석해와 잘 일치되는 것을 알 수 있었다.

  • PDF

균열 암반 매질에서의 핵종의 붕괴사슬 이동을 위한 연속시간 마코프 프로세스 모델 (Continuous Time Markov Process Model for Nuclide Decay Chain Transport in the Fractured Rock Medium)

  • 이연명;강철형;한필수;박헌휘;이건재
    • Nuclear Engineering and Technology
    • /
    • 제25권4호
    • /
    • pp.539-547
    • /
    • 1993
  • 이전에 제시한 모델 1-3을 다시 확장하여 균열 암반에서의 일차원적 핵종이동에 관한 추계적인 모델을 제시하였다. 이 모델은 처분장 근처의 암반내의 균열을 통한 무한 길이를 갖는 핵종의 붕괴 사슬에 의한 이동을 연속시간 마코프 프로세스를 이용하여 모사한다. 이전의 결정론적 해석해에 의한 모델들이 균일한 다공성매질과 같은 단순성을 요구하고 핵종의 붕괴사슬의 수를 제한하며 균열암반매질내에서의 이동의 경우에는 균열에서 암반으로의 확산등이 고려되지 않거나 그 해의 형태가 복잡하다. 또다른 결정론적인 해를 제시하는 수치모델의 경우에도 해를 얻기 위한 과정이 상당히 복잡하고 정확한 해를 제공하지는 못한다. 이에 반해 이 모델은 매질에서의 핵종의 농도에 관한 기대값과 그 분산으로서 비교적 용이하게 해를 제시한다. 모델을 검증하고 그 효율성가 정착성을 예시하기 위하여 암반으로의 확산이 무시된 단순화된 매질에 대하여 3개의 붕괴 사슬을 갖는 가상의 핵종에 대하여 이동거리와 시간에 대한 농도에 대하여 정확한 해석해와의 비교가 행하여 졌다. 매질을 나눈 구획의 수에 종속 하는 수치분산을 보정하여 계산된 결과에서 이 모델이 해석해와 잘 일치하는 것을 알 수 있었다.

  • PDF