An Automatic Cooperative coordination Model for the Multiagent System using Reinforcement Learning

강화학습을 이용한 멀티 에이전트 시스템의 자동 협력 조정 모델

  • 정보윤 (서강대학교 컴퓨터학과 학·석사 졸업) ;
  • 윤소정 (서강대학교 컴퓨터학과 박사 과정) ;
  • 오경환 (서강대학교 컴퓨터학과)
  • Published : 1999.03.01

Abstract

Agent-based systems technology has generated lots of excitement in these years because of its promise as a new paradigm for conceptualizing. designing. and l implementing software systems Especially, there has been many researches for multi agent system because of the characteristics that it fits to the distributed and open Internet environments. In a multiagent system. agents must cooperate with each other through a Coordination procedure. when the conflicts between agents arise. where those are caused b by the point that each action acts for a purpose separately without coordination. But P previous researches for coordination methods in multi agent system have a deficiency that they can not solve correctly the cooperation problem between agents which have different goals in dynamic environment. In this paper. we solve the cooperation problem of multiagent that has multiple goals in a dynamic environment. with an automatic cooperative coordination model using I reinforcement learning. We will show the two pursuit problems that we extend a traditional problem in multi agent systems area for modeling the restriction in the multiple goals in a dynamic environment. and we have verified the validity of the proposed model with an experiment.

최근 에이전트 기반 시스템 기술은 소프트웨어 시스템의 개념화, 설계, 구현을 위한 새로운 패러다임을 제공하며 많은 기대를 받아왔다. 특히 멀티 에이전트 시스템은 분산적이고 개방적인 인터넷 환경에 잘 부합되는 특징을 가지고 있어서 많은 연구가 진행되고 있다. 멀티 에이전트 시스템에서는 각 에이전트들이 자신의 목적을 위해 행동하기 때문에 에이전트간 충돌이 발생하는 경우에 조정을 통해 협력할 수 있어야 한다. 그러나 기존의 멀티 에이전트 시스템에서의 에이전트 간 협력 방법에 관한 연구 방법들은 동적 환경에서 서로 다른 목적을 갖는 에이전트간의 협동 문제를 올바로 해결할 수 없다는 문제가 있었다. 본 논문에서는 강화학습을 이용한 자동 역할 조정 방법을 통하여 에이전트가 처한 동적 환경에서 서로 다른 목적을 갖는 에이전트간의 협력 문제를 해결한다. 이를 위하여 멀티 에이전트 시스템 분야의 전통적인 문제인 추적 문제에 동적 환경과 서로 다른 목표를 갖는 에이전트들을 모델 링 하여, 두 가지 수정된 추적 문제를 제안하고 이 문제의 해결을 통하여 제안한 방법이 타당함을 보였다.

Keywords

References

  1. AI MAGAZINE no.Summer Multiagent System Katia P. Sycara
  2. Software Agents: A review Padraig Cunningham;Richard Evans
  3. Software Agents and Soft Computing, Towards Enhancing Machine Intelligence, concepts and Applications Co-ordination in Multi-Agent Systems H. S. Nwana;L. Lee;N. R. Jennings
  4. IEEE Trans. on Knowledge and Data Engineering Multi-agent Systems: A Survey from a Machine Learning Perspective Peter Stone;Manuela Veloso
  5. IEEE Trans. Computers v.11 Coherent Cooperation among Communicating Problem Solvers Durfee E. H.;Lesser V. R.;Corkill D. D.
  6. Artificail Intelligence no.25 A Blackboard Architecture for Control Hayes-Roth B.
  7. IEEE Trans. on Computers v.29 no.12 The Contract Net Protocol: High-Level Communication and control in a Distributed Problem Solver Smith R. G.
  8. Proc. 1984 National Conf. Artificial Intelligence A Theory of Action for Multi-Agent Planning Georgeff M.
  9. AAAI workshop on Multiagent Learning, Providence Learning and Adaption in Multiagent Systems David C. Parkes;Lyle H. Ungar
  10. Decentrilazed AI2, Elsevier Science A negotiation framework for autonomous agents Kreifelt T;von Martial F.;Demazeau Y. (ed.);Muller J. P. (ed.)
  11. Proc. of the 10th International Workshop on DAI Knowledge-based model of negotiation using shareable perspectives Werkman K. J.
  12. International Journal on Intelligent & Cooperative Information Systems v.3 no.1 The role of commitment in cooperative negotiation Sandip Sen;Edmund H. Durfee
  13. IEEE Trans. on Systems. Man, and Cybernetics v.26 no.1 The Ant System: Optimization by a colony of cooperating agents Marco Dorigo;Vittorio Maniezzo;Alberto Colorni
  14. Journal of AI Research v.4 Reinforcement Learning: A Survey Leslie Pack Kaelbling
  15. Machine Learning Tom M. Mitchell
  16. IEEE Internet Computing v.1 no.5 A Hands-on Look At Java Mobile Agents Joseph Kiniry;Daniel Zimmerman