• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.475-480
• /
• 2007

대화관리시스템은 사용자 발화로부터 사용자의 의도를 추론하여 시스템의 응답을 결정하고 이를 사용자에게 자연스러운 형태로 반환하는 역할을 한다. 본 논문에서는 마르코프 의사 결정과정에 기반한 대화관리자를 통하여 정확한 동작 수행과 사용자의 자연스러운 발화를 가능케 하는 대화관리시스템에 대해서 소개한다. 마르코프 의사 결정과정 대화관리자는 실세계 환경을 모델링 하는 유한 개수의 상태들과 이를 이용한 통계적 학습을 통해 시스템 응답을 결정 한다. 본 대화관리시스템은 대화관리자 이외에 언어이해부, 영역규칙 적용부, 목적시스템 제어부, 예제기반 응답생성부로 이루어져 있으며, 각 구성요소는 영역이식에 용이하도록 설계되어 있다.

• Proceedings of the Korea Society for Industrial Systems Conference
• /
• 1997.03a
• /
• pp.141-161
• /
• 1997

팩시밀리로부터 수신된 영상은 글자를 두껍게 하는 돌출잡영(salient noise), 문자주변에 점이 추가되는 고춧가루 잡영(pepper noise), 선의절단을 일으키는 백색잡영(white noise)으로 인하여 가독성이 떨어진다. 수신된 팩시밀리 영상을 원래의 영상으로 복원하기 위하여 최근에 Handley 와 Dougherty가 처음으로 형태학적 복원 방법을 제안하였다. 형태학적 복원 방법은 돌출잡영에 대해서 효과적이었지만, 확률적으로 발생하는 백색잡영과 고춧가루잡영에 대해서는 팩시밀리 영상을 결정적 수열(deterministic sequence)로다루었기 때문에 효과적이지 못했다. 본 논문에서는 주사과정, 고딩과정, 그리고 통신과정에서 생성되는 돌출, 고춧가루, 백색잡영에 의해 훼손된 팩시밀리 영상을 칼만여과를 이용하여 복원하는 새로운 방법을 제안하였다. 제안된 방법은 모델링과 복원 두 단계로 구축된다. 첫째, 이웃 화소들과의 종속관계를 갖는 팩시밀리 영상을 마르코프 랜덤 필드를 바탕으로 팩시밀리 시스템 모델을 제안하였다. 둘째, 제안된 팩시밀리 시스템 모델을 칼만 여과과정의 시스템 모델 및 관측모델로 재구성한 다음, 칼만 여과과정의 ill-conditioned 문제를 극복하기 위하여 양정치 (positive definite)공분산 행렬을 유도하여 새로운 복원방법을 제안하였다. 제안된 방법의 복원 능력을 검증하기 위하여 사무실에서 가장 많이 사용되는 한글을 사용하여 알파벳 대소문자, 숫자, 특수문자로 구성된 문서를 만들어 실험하였다. 그 결과, 제안된 방법이 형태학적인 복원 방법보다 성능이 우수함을 밝혔다.

• Journal of KIISE:Software and Applications
• /
• v.36 no.6
• /
• pp.479-490
• /
• 2009

A number of temporal abstraction approaches have been suggested so far to handle the high computational complexity of Markov decision problems (MDPs). Although the structure of temporal abstraction can significantly affect the efficiency of solving the MDP, to our knowledge none of current temporal abstraction approaches explicitly consider the relationship between topology and efficiency. In this paper, we first show that a topological measurement from complex network literature, mean geodesic distance, can reflect the efficiency of solving MDP. Based on this, we build an incremental method to systematically build temporal abstractions using a network model that guarantees a small mean geodesic distance. We test our algorithm on a realistic 3D game environment, and experimental results show that our model has subpolynomial growth of mean geodesic distance according to problem size, which enables efficient solving of resulting MDP.

• Proceedings of the Korean Reliability Society Conference
• /
• 2000.04a
• /
• pp.47-53
• /
• 2000

Brown과 Proschan의 수리모형과 이를 일반화한 Lee와 Seoh의 시스템 수리모형이 고려된다. Brown과 Proschan의 수리모형은 시스템의 고장시 완전수리가 확률 p로, 불완전수리가 확률 1-p로 이루어지는 모형이고, Lee와 Seoh의 수리모형은 시스템 고장시 완전수리와 불완전수리의 선택이 마르코프 연쇄과정에 따라 결정되는 모형이다. 본 논문에서는, 완전수리비용과 불완전수리비용을 고려한 후, 시스템의 수명분포가 지수분포, 균일분포, Weibull분포인 경우로 나누어, 위 두 시스템 수리모형에서의 최적화가 연구된다.

• Journal of the Society of Naval Architects of Korea
• /
• v.56 no.1
• /
• pp.58-65
• /
• 2019

The stability, reliability and efficiency of a smart ship are important issues as the interest in an autonomous ship has recently been high. An automatic collision avoidance system is an essential function of an autonomous ship. This system detects the possibility of collision and automatically takes avoidance actions in consideration of economy and safety. In order to construct an automatic collision avoidance system using reinforcement learning, in this work, the sequential decision problem of ship collision is mathematically formulated through a Markov Decision Process (MDP). A reinforcement learning environment is constructed based on the ship maneuvering equations, and then the three key components (state, action, and reward) of MDP are defined. The state uses parameters of the relationship between own-ship and target-ship, the action is the vertical distance away from the target course, and the reward is defined as a function considering safety and economics. In order to solve the sequential decision problem, the Deep Deterministic Policy Gradient (DDPG) algorithm which can express continuous action space and search an optimal action policy is utilized. The collision avoidance system is then tested assuming the $90^{\circ}$intersection encounter situation and yields a satisfactory result.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.05a
• /
• pp.412-414
• /
• 2019

경로 계획은 에이전트가 로봇이 특정 목적지에 도착할 수 있도록 에이전트가 수집한 정보를 바탕으로 경로를 설정하는 작업을 뜻한다. 부분 관측만 가능한 맵인 경우 에이전트 이동마다 새로 수집되는 정보들을 바탕으로 마르코프 의사결정 과정을 사용한 가치 반복 알고리즘이 널리 사용되지만, 제안된 가치 반복 알고리즘 사용 시 매 행동마다 모든 공간의 최적 경로를 계산하기 때문에 시간이 오래 걸리는 문제점이 있다. 이에 본 논문에서는 에이전트가 한 번에 탐색하는 범위가 제한되어 있다는 점에 착안하여 탐색 반경 내에 속하는 공간의 가치 함수 값을 미리 추정하여 효율적으로 최적의 경로를 추정하는 가치 반복 알고리즘을 제안한다.

• Journal of KIISE:Software and Applications
• /
• v.30 no.7_8
• /
• pp.672-680
• /
• 2003

A shopbot is a software agent whose goal is to maximize buyer´s satisfaction through automatically gathering the price and quality information of goods as well as the services from on-line sellers. In the response to shopbots´ activities, sellers on the Internet need the agents called pricebots that can help them maximize their own profits. In this paper we adopts Q-learning, one of the model-free reinforcement learning methods as a price-setting algorithm of pricebots. A Q-learned agent increases profitability and eliminates the cyclic price wars when compared with the agents using the myoptimal (myopically optimal) pricing strategy Q-teaming needs to select a sequence of state-action fairs for the convergence of Q-teaming. When the uniform random method in selecting state-action pairs is used, the number of accesses to the Q-tables to obtain the optimal Q-values is quite large. Therefore, it is not appropriate for universal on-line learning in a real world environment. This phenomenon occurs because the uniform random selection reflects the uncertainty of exploitation for the optimal policy. In this paper, we propose a Mixed Nonstationary Policy (MNP), which consists of both the auxiliary Markov process and the original Markov process. MNP tries to keep balance of exploration and exploitation in reinforcement learning. Our experiment results show that the Q-learning agent using MNP converges to the optimal Q-values about 2.6 time faster than the uniform random selection on the average.

• Journal of KIISE:Software and Applications
• /
• v.35 no.5
• /
• pp.313-324
• /
• 2008

A sentence reduction is the information compression process which removes extraneous words and phrases and retains basic meaning of the original sentence. Most researches in the sentence reduction have required a large number of lexical and syntactic resources and focused on extracting or removing extraneous constituents such as words, phrases and clauses of the sentence via the complicated parsing process. However, these researches have some problems. First, the lexical resource which can be obtained in loaming data is very limited. Second, it is difficult to reduce the sentence to languages that have no method for reliable syntactic parsing because of an ambiguity and exceptional expression of the sentence. In order to solve these problems, we propose the sentence reduction method which uses templates and POS(part of speech) information without a parsing process. In our proposed method, we create a new sentence using both Sentence Reduction Templates that decide the reduction sentence form and Grammatical POS-based Reduction Rules that compose the grammatical sentence structure. In addition, We use Viterbi algorithms at HMM(Hidden Markov Models) to avoid the exponential calculation problem which occurs under applying to Sentence Reduction Templates. Finally, our experiments show that the proposed method achieves acceptable results in comparison to the previous sentence reduction methods.

• Proceedings of the KSPS conference
• /
• 2006.11a
• /
• pp.14-18
• /
• 2006

The role of dialogue manager is to select proper actions based on observed environment and inferred user intention. This paper presents stochastic model for dialogue manager based on Markov decision process. To build a mixed initiative dialogue manager, we used accumulated user utterance, previous act of dialogue manager, and domain dependent knowledge as the input to the MDP. We also used dialogue corpus to train the automatically optimized policy of MDP with reinforcement learning algorithm. The states which have unique and intuitive actions were removed from the design of MDP by using the domain knowledge. The design of dialogue manager included the usage of natural language understanding and response generator to build short message based remote control of home networked appliances.

• Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
• /
• 2004.03a
• /
• pp.511-516
• /
• 2004

수치표고모델, 정사영상과 같은 공간영상정보를 구축하기 위해서는 입체영상을 이동한 영상정합(image matching)의 과정이 필수적이며, 단영상 또는 스테레오 영상을 이용하여 대상물의 3차원 정보를 재구성하고 복원하는 기술은 사진측량 및 컴퓨터 비전 분야의 주요 연구 중의 하나이다. 본 연구에서는 화소값의 유사성과 상호관계성을 고려하는 MRF 모델을 이용하여 영상정합을 수행하였다. MRF 모델은 공간분석이나 물리적 현상의 전후관계(contextural dependencies)의 분석을 위한 확률이론의 한 분야로 다양한 공간정보를 통합할 수 있는 방법을 제공한다. 본 연구에서는 기준영상의 화소에 시차를 할당하는 접근 방법으로 확률모델의 일종인 마르코프 랜덤필드(MRF)모델에 기반한 영상정합기법을 제안하였고, 공간내 화소의 상호관계를 고려해주므로 대상물의 경계부분에서의 매칭 정확도를 향상시켰다. 영상정합문제에서의 MRF 기본가정은 영상 내 특정화소의 시차는 그 주위화소의 시차에 의한 부분정보에 따라 결정이 가능하다는 것이다. 깁스분포(gibbs distribution)를 사용하여 사후(posteriori) 확률값을 유도해내고, 이를 최대사후확률(MAP: Maximum a Posteriori)추정법을 이용하여 에너지함수를 생성하였다. 생성된 에너지함수의 최적화(Optimization)를 위하여 본 연구에서는 전역최적화기법인 multiway cut 기법을 사용하여 영상정합에 있어 에너지함수를 최소로 하는 이미지화소에 대한 시차레이블을 구하여 영상정합을 수행하였다.