• Journal of KIISE:Software and Applications
• /
• v.35 no.3
• /
• pp.179-188
• /
• 2008

An important issue in multiagent reinforcement learning is how an agent should team its optimal policy through trial-and-error interactions in a dynamic environment where there exist other agents able to influence its own performance. Most previous works for multiagent reinforcement teaming tend to apply single-agent reinforcement learning techniques without any extensions or are based upon some unrealistic assumptions even though they build and use explicit models of other agents. In this paper, basic concepts that constitute the common foundation of multiagent reinforcement learning techniques are first formulated, and then, based on these concepts, previous works are compared in terms of characteristics and limitations. After that, a policy model of the opponent agent and a new multiagent reinforcement learning method using this model are introduced. Unlike previous works, the proposed multiagent reinforcement learning method utilize a policy model instead of the Q function model of the opponent agent. Moreover, this learning method can improve learning efficiency by using a simpler one than other richer but time-consuming policy models such as Finite State Machines(FSM) and Markov chains. In this paper. the Cat and Mouse game is introduced as an adversarial multiagent environment. And effectiveness of the proposed multiagent reinforcement learning method is analyzed through experiments using this game as testbed.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2002.11b
• /
• pp.1333-1336
• /
• 2002

본 논문은 대규모 네트워크 온라인 게임에서 게임 진행 중에 발생할 수 있는 부하를 최소화 할 수 있고 추후 확장이 용이한 온라인 게임 서버의 구조에 대해 설명한다. 본 논문에서 설명하는 게임 서버는 게임 서버가 제공해야 하는 기능별로 로그인 서버, 존 서버, 사용자 관리 서버, 그리고 DB 에이전트로 구성된다. 각 서버들은 상호 연관관계를 최소화하여 어느 한 서버에 고장이 발생하였을 때 전체 게임에 발생할 수 있는 문제를 최소화 할 수 있고 추후 확장이 용이한 구조이다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.969-974
• /
• 2007

동물이나 곤충, 혹은 사람 같은 군중이 등장하는 장면을 영화나 게임 등에서 종종 볼 수 있다. 이러한 대규모의 군중을 제어하기 위해서는 일반적인 에이전트별 제어 방식이 아닌 군중적인 움직임을 보일 수 있는 특별한 군중 제어가 필요하다. 자연스러운 군중의 제어를 위해선 지능적인 행동을 보여야하며 움직임은 자연스러워야한다. 또한 게임 등의 실시간 환경을 위해선 연산의 속도도 고려해야 한다. 이에 본 논문에서는 조종 행동을 이용한 실시간 대규모 군중 제어 기법을 제안한다.

• KIPS Transactions on Software and Data Engineering
• /
• v.10 no.4
• /
• pp.143-152
• /
• 2021

It is very important to learn behavioral policies that allow multiple agents to work together organically for common goals in various real-world applications. In this multi-agent reinforcement learning (MARL) environment, most existing studies have adopted centralized training with decentralized execution (CTDE) methods as in effect standard frameworks. However, this multi-agent reinforcement learning method is difficult to effectively cope with in a dynamic environment in which new environmental changes that are not experienced during training time may constantly occur in real life situations. In order to effectively cope with this dynamic environment, this paper proposes a novel multi-agent reinforcement learning system, C-COMA. C-COMA is a continual learning model that assumes actual situations from the beginning and continuously learns the cooperative behavior policies of agents without dividing the training time and execution time of the agents separately. In this paper, we demonstrate the effectiveness and excellence of the proposed model C-COMA by implementing a dynamic mini-game based on Starcraft II, a representative real-time strategy game, and conducting various experiments using this environment.

• The KIPS Transactions:PartB
• /
• v.9B no.2
• /
• pp.139-146
• /
• 2002

The robot soccer simulation game is a dynamic multi-agent environment. In this paper we suggest a new reinforcement learning approach to each agent's dynamic positioning in such dynamic environment. Reinforcement learning is the machine learning in which an agent learns from indirect, delayed reward an optimal policy to choose sequences of actions that produce the greatest cumulative reward. Therefore the reinforcement learning is different from supervised learning in the sense that there is no presentation of input-output pairs as training examples. Furthermore, model-free reinforcement learning algorithms like Q-learning do not require defining or learning any models of the surrounding environment. Nevertheless these algorithms can learn the optimal policy if the agent can visit every state-action pair infinitely. However, the biggest problem of monolithic reinforcement learning is that its straightforward applications do not successfully scale up to more complex environments due to the intractable large space of states. In order to address this problem, we suggest Adaptive Mediation-based Modular Q-Learning (AMMQL) as an improvement of the existing Modular Q-Learning (MQL). While simple modular Q-learning combines the results from each learning module in a fixed way, AMMQL combines them in a more flexible way by assigning different weight to each module according to its contribution to rewards. Therefore in addition to resolving the problem of large state space effectively, AMMQL can show higher adaptability to environmental changes than pure MQL. In this paper we use the AMMQL algorithn as a learning method for dynamic positioning of the robot soccer agent, and implement a robot soccer agent system called Cogitoniks.

• Journal of the Korea Society for Simulation
• /
• v.16 no.3
• /
• pp.39-48
• /
• 2007

This study suggests a method of command and control in modeling a combat situation. In particular, it presents the structure of an intelligent agent that may substitute for the current system of decision making in the military operation to lead a troop. Today the Korean military war game simulations emphasize on engagements, instead of command and control. This suggested principle will be a good foundation for the today and the future Korean warfare.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2019.01a
• /
• pp.73-74
• /
• 2019

증가하는 모바일 시장 규모에 맞추어 게임 엔진의 기능이 발전하고 있다. 대형 개발사를 위한 간편한 협업 기능부터 1인 개발자를 위한 간단한 기능들까지 다양한 기능들의 게임 엔진이 사용되고 있으며 그 중 유니티 엔진은 소규모 인디 개발자들을 위한 기능들을 많이 추가하고 또한 발전시켜 많은 개발자들에게 도움을 주고 있다. 본 논문 에서 소개하는 게임은 유니티의 여러 기능을 적극적으로 이용하고, 특히 네비메쉬 에이전트를 사용하여 사용자가 길 찾기 문제를 쉽게 하도록 만든 것이 특징이다.

• Journal of Korea Game Society
• /
• v.20 no.1
• /
• pp.57-66
• /
• 2020

The goal is to implement AI using reinforcement learning, which replaces the less favored Supporter in MOBA games. ML_Agent implements game rules, environment, observation information, rewards, and punishment. The experiment was divided into P and C group. Experiments were conducted to compare the cumulative compensation values and the number of deaths to draw conclusions. In group C, the mean cumulative compensation value was 3.3 higher than that in group P, and the total mean number of deaths was 3.15 lower. performed cooperative play to minimize death and maximize rewards was confirmed.

• Journal of Korea Game Society
• /
• v.11 no.1
• /
• pp.111-120
• /
• 2011

It is important to realistically simulate group behaviors of the multi-agents in virtual worlds. While most researchers have focused on their group behaviors in an open space, this paper studies their group behaviors by using steering force in an enclosed space. Agents have a common target and should move towards it in an enclosed space while avoiding collision with other agents. Under those environments, three possible models of agents are proposed and the six steering forces needed in each model are also proposed. In order to show the correctness of the proposed models, they were simulated. Our simulation results showed that the proposed models only using steering forces operate well in the enclosed space although it requires a different period of time for each agent to arrive at its target depending on the walls and doors.

• 한국HCI학회:학술대회논문집
• /
• 2007.02b
• /
• pp.518-525
• /
• 2007

컴퓨터와 사용자와의 효과적인 정서적 상호작용의 도구로서 의인화된 형태의 인터페이스 에이전트의 정서 표현에 대한 연구가 진행되어 왔다. 기존의 연구는 의인화된 인터페이스 에이전트가 어떤 정서를 표현하는가에 초점을 두고 있다. 그러나 인간과의 원활한 정서적 상호작용에 영향을 미치는 것은 어떤 정서인가의 문제만이 아니다. 인간은 타인의 상황과 정서에 공감하는 방식으로 정서를 표현하는 상대를 더 긍정적으로 평가한다. 또한 공감하는 방식의 정서 표현은 사회적으로 적용되는 성별 고정관념에 따라 여성적 속성으로 분류된다. 따라서 공감하는 방식의 정서 표현이라 하더라도 표현의 주체가 남성이냐 여성이냐에 따라 상대방의 인식이 달라질 수 있다. 본 연구는 인간간의 사회적 관계에서 일어나는 공감적인 정서 표현과 표현하는 주체의 성별의 효과가 인간-인터페이스 에이전트간의 상호작용에서도 나타나는지를 검증하기 위하여 참가자와 인터페이스 에이전트가 함께 게임에 참여하는 과제를 실시하고 인터페이스 에이전트의 성별, 참가자의 성별, 얼굴 표정과 말을 통한 정서 표현의 공감 여부(타인의 상황에 공감하는 정서 표현 - 자신의 상황에 대한 정서 표현), 정서 표현 여부(얼굴 표정과 말로 정서를 표현 - 정서가 배제된 무표정과 말)에 따라 인터페이스 에이전트에 대해 참가자가 지각한 배려, 호감, 신뢰, 지능, 지배, 순종이 어떻게 다른지를 측정하는 실험을 실시했다. 그 결과, 타인의 상황과 정서에 공감하는 방식으로 정서를 표현하는 에이전트의 배려, 지능, 순종적 성향을 높게 평가하는 것으로 나타났다. 남성 에이전트의 경우, 정서를 표현하거나 정서가 배제된 표현을 하는 조건에 관계없이 참가자가 지각하는 배려와 호감의 차이가 없었으나, 여성 에이전트의 경우 정서를 표현하는 조건에서 배려와 호감이 높은 것으로 평가되었다. 반대로 참가자가 인터페이스 에이전트에 대해 갖는 신뢰에 대해서 여성 에이전트의 경우, 정서를 표현하거나 정서가 배제된 표현을 하는 조건에 관계없이 참가자가 느끼는 신뢰의 차이가 없었으나 남성 에이전트의 경우, 정서가 배제된 표현을 하는 에이전트에게 더 높은 신뢰를 보였다. 또한 남성 참가자에 비해 여성 참가자가 에이전트의 배려, 호감, 지능, 순종을 높게 평가하는 경향을 보였다. 본 연구의 결과는 사용자와 인터페이스 에이전트 간의 원활한 정서적 상호작용을 위해서는 어떤 정서를 표현할 것인지 뿐만 아니라 누구에 대한 정서를 어떻게 표현하는지, 정서를 표현하는 에이전트가 남성인지 여성인지, 에이전트와 상호작용하는 사용자가 남성인지, 여성인지를 고려할 필요가 있음을 시사하고 있다.