• ETRI Journal
• /
• 제43권6호
• /
• pp.1004-1012
• /
• 2021

The collaboration productively interacting between multi-agents has become an emerging issue in real-world applications. In reinforcement learning, multi-agent environments present challenges beyond tractable issues in single-agent settings. This collaborative environment has the following highly complex attributes: sparse rewards for task completion, limited communications between each other, and only partial observations. In particular, adjustments in an agent's action policy result in a nonstationary environment from the other agent's perspective, which causes high variance in the learned policies and prevents the direct use of reinforcement learning approaches. Unexpected social loafing caused by high dispersion makes it difficult for all agents to succeed in collaborative tasks. Therefore, we address a paradox caused by the social loafing to significantly reduce total returns after a certain timestep of multi-agent reinforcement learning. We further demonstrate that the collaborative paradox in multi-agent environments can be avoided by our proposed effective early stop method leveraging a metric for social loafing.

• 한국지능시스템학회논문지
• /
• 제17권1호
• /
• pp.39-45
• /
• 2007

이 논문에서는 멀티에이전트 기반 지능형 웹기반 이러닝 시스템을 구현하였다. 이 시스템 구현을 위해 사용자들의 취향검사를 수행하였고, 결과 사용자 그룹에 맞는 적절한 이러닝 커뮤니티를 형성하였다. 제안하는 시스템인 IMAS는 신경회로망에 의해 이러닝 커뮤니티를 학습하였고, 새로운 분산기반 멀티에이전트 프레임워크를 이용하여 에이전트를 생성한다.

• 한국콘텐츠학회논문지
• /
• 제9권10호
• /
• pp.51-58
• /
• 2009

강화학습은 최적의 행동정책을 구하는 최적화 문제로 주어진 환경과의 상호작용을 통해 받는 보상 값을 최대화하는 것이 목표이다. 특히 단일 에이전트에 비해 상태공간과 행동공간이 매우 커지는 다중 에이전트 시스템인 경우 효과적인 강화학습을 위해서는 적절한 행동 선택 전략이 마련되어야 한다. 본 논문에서는 멀티에이전트의 효과적인 행동 선택과 학습의 수렴속도를 개선하기 위하여 퍼지 추론 기반의 멀티에이전트 강화학습 모델을 제안하였다. 멀티 에이전트 강화학습의 대표적인 환경인 로보컵 Keepaway를 테스트 베드로 삼아 다양한 비교 실험을 전개하여 에이전트의 효율적인 행동 선택 전략을 확인하였다. 제안된 퍼지 추론 기반의 멀티에이전트 강화학습모델은 다양한 지능형 멀티 에이전트의 학습에서 행동 선택의 효율성 평가와 로봇축구 시스템의 전략 및 전술에 적용이 가능하다.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2001년도 ICCAS
• /
• pp.164.1-164
• /
• 2001

Q-learning is a recent reinforcement learning algorithm that does not need a modeling of environment and it is a suitable approach to learn behaviors for autonomous agents. But when it is applied to multi-agent learning with many I/O states, it is usually too complex and slow. To overcome this problem in the multi-agent learning system, we propose the successive Q-learning algorithm. Successive Q-learning algorithm divides state-action pairs, which agents can have, into several Q-functions, so it can reduce complexity and calculation amounts. This algorithm is suitable for multi-agent learning in a dynamically changing environment. The proposed successive Q-learning algorithm is applied to the prey-predator problem with the one-prey and two-predators, and its effectiveness is verified from the efficient avoidance ability of the prey agent.

• 한국컴퓨터정보학회논문지
• /
• 제26권3호
• /
• pp.9-17
• /
• 2021

동적 시스템 환경에서 지능형 협업 자율 시스템을 위한 기계학습 기반의 다양한 방법들이 연구 및 개발되고 있다. 본 연구에서는 분산 노드 기반 컴퓨팅 방식의 자율형 다중 에이전트 경로 탐색 방법을 제안하고 있으며, 지능형 학습을 통한 시스템 최적화를 위해 강화학습 방법을 적용하여 다양한 실험을 진행하였다. 강화학습 기반의 다중 에이전트 시스템은 에이전트의 연속된 행동에 따른 누적 보상을 평가하고 이를 학습하여 정책을 개선하는 지능형 최적화 기계학습 방법이다. 본 연구에서 제안한 방법은 강화학습 기반 다중 에이전트 최적화 경로 탐색 성능을 높이기 위해 학습 초기 경로 탐색 방법을 개선한 최적화 방법을 제안하고 있다. 또한, 분산된 다중 목표를 구성하여 에이전트간 정보 공유를 이용한 학습 최적화를 시도하였으며, 비동기식 에이전트 경로 탐색 기능을 추가하여 실제 분산 환경 시스템에서 일어날 수 있는 다양한 문제점 및 한계점에 대한 솔루션을 제안하고자 한다.

• 한국군사과학기술학회지
• /
• 제11권5호
• /
• pp.49-57
• /
• 2008

In this paper, we suggested a methodology that can be used by an agent to learn models of other agents in a multi-agent system. To construct these model, we used influence diagram as a modeling tool. We present a method for learning models of the other agents at the decision nodes, value nodes, and chance nodes in influence diagram. We concentrated on learning of the other agents at the value node by using neural network learning technique. Furthermore, we treated anti-air units in anti-air defense domain as agents in multi. agent system.

• 한국인터넷방송통신학회논문지
• /
• 제13권6호
• /
• pp.187-193
• /
• 2013

다중 에이전트 시스템에서 학습을 통해 여러 에이전트들의 행동을 어떻게 조절할 것인가는 매우 중요한 문제이다. 가장 중요한 문제는 여러 에이전트가 서로 효율적인 협동을 통해 목표를 성취하는 것과 다른 에이전트들과 충돌을 방지하는 것이다. 본 논문에서는 혼성 학습 전략을 제안하였다. 제안된 방법은 다중에이전트를 효율적으로 제어하기 위해 에이전트들 사이의 공간적 관계를 이용하였다. 실험을 통해 제안된 방법은 에이전트들과 충돌을 피하면서 에이전트들의 목표에 빠르게 수렴함을 알 수 있었다.

• Journal of information and communication convergence engineering
• /
• 제20권3호
• /
• pp.181-188
• /
• 2022

An intelligent distributed multi-agent system (IDMS) using reinforcement learning (RL) is a challenging and intricate problem in which single or multiple agent(s) aim to achieve their specific goals (sub-goal and final goal), where they move their states in a complex and cluttered environment. The environment provided by the IDMS provides a cumulative optimal reward for each action based on the policy of the learning process. Most actions involve interacting with a given IDMS environment; therefore, it can provide the following elements: a starting agent state, multiple obstacles, agent goals, and a cluttered index. The reward in the environment is also reflected by RL-based agents, in which agents can move randomly or intelligently to reach their respective goals, to improve the agent learning performance. We extend different cases of intelligent multi-agent systems from our previous works: (a) a proposed environment-clutter-based-index for agent sub-goal selection and analysis of its effect, and (b) a newly proposed RL reward scheme based on the environmental clutter-index to identify and analyze the prerequisites and conditions for improving the overall system.

• 정보처리학회논문지B
• /
• 제8B권6호
• /
• pp.587-594
• /
• 2001

멀티 에이전트 시스템은 분산적이고 개방적인 인터넷 환경에 잘 부합된다. 멀티 에이전트 시스템에서는 각 에이전트들이 자신의 목적을 위해 행동하기 때문에 에이전트간 충돌이 발생하는 경우에 조정을 통해 협력할 수 있어야 한다. 그러나 기존의 멀티 에이전트 시스템에서의 에이전트 간 협력 방법에 관한 연구 방법들은 동적 환경에서 서로 다른 목적을 갖는 에이전트간의 협동 문제를 올바로 해결할 수 없다는 문제가 있었다. 본 논문에서는 신경망과 강화학습을 이용하여 목적 패턴을 정확히 결정할 수 없는 복잡하고 동적인 환경하에서 멀티 에이전트의 자동조정 모델을 제안한다. 이를 위해 복잡한 환경과 다양한 행동을 갖는 멀티 에이전트간의 경쟁 실험을 통해 멀티 에이전트들의 행동의 영향을 분석 평가하여 제안한 방법이 타당함을 보였다.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 1999년도 제14차 학술회의논문집
• /
• pp.292-297
• /
• 1999

Evolving in artificial agent is an extremely difficult problem, but on the other hand, a challenging task. At present the studies mainly centered on single agent learning problem. In our case, we use simulated soccer to investigate multi-agent cooperative learning. Consider the fundamental differences in learning mechanism, existing reinforcement learning algorithms can be roughly classified into two types-that based on evaluation functions and that of searching policy space directly. Genetic Programming developed from Genetic Algorithms is one of the most well known approaches belonging to the latter. In this paper, we give detailed algorithm description as well as data construction that are necessary for learning single agent strategies at first. In following step moreover, we will extend developed methods into multiple robot domains. game. We investigate and contrast two different methods-simple team learning and sub-group loaming and conclude the paper with some experimental results.