An improvement of the learning speed through Improved Reinforcement Learning on Jul-Gonu Game

개선된 강화학습을 이용한 줄고누게임의 학습속도개선

  • 신용우 (동아방송예술대학 게임애니메이션계열) ;
  • 정태충 (경희대학교 컴퓨터공학과)
  • Published : 2009.06.30

Abstract

It takes quite amount of time to study a board game because there are many game characters and different stages are exist for board games. Also, the opponent is not just a single character that means it is not one on one game, but group vs. group. That is why strategy is needed, and therefore applying optimum learning is a must. This paper used reinforcement learning algorithm for board characters to learn, and so they can move intelligently. If there were equal result that both are considered to be best ones during the course of learning stage, Heuristic which utilizes learning of problem area of Jul-Gonu was used to improve the speed of learning. To compare a normal character to an improved one, a board game was created, and then they fought against each other. As a result, improved character's ability was far more improved on learning speed.

보드게임은 많은 수의 말들과 상태공간을 갖고 있다. 그래서 학습이 많은 시간동안 학습을 하여야 한다. 또한 상대방과의 대결이 1 대 1 로 이루어지지 않고, 여러 말 대 여러 말로 이루어지므로 전략적인 사고가 필요하다. 그러므로 최적의 학습을 적용하여야 한다. 본 논문에서는 강화학습 알고리즘을 이용하였다. 보상 값을 받아 보드게임 말이 학습하게 하여 지능적으로 움직이게 하였다. 학습 도중에 동일한 최선 값이 있을 때, 줄고누 문제 영역 지식을 활용한 휴리스틱을 사용해 학습의 속도 향상을 시도하였다. 단순 구현된 말과 개선 구현된 말을 비교하기 위해 보드게임을 제작하였다. 그래서 일방공격형 말과 승부를 하게 하였다. 실험결과 개선 구현된 말의 성능이 학습속도 측면에서 월등히 향상됨을 알 수 있었다.

Keywords

References

  1. Richard Sutton, Andrew G. Barto, "Reinforcement Learning :An Introduction", MIT Press, Cambridge, MA, 1998.
  2. Imran Ghory, "Reinforcement learning in board games.", available at http://www.cs.bris.ac.uk/Publications/Papers/2000 100.pdf, 2004.
  3. Nee Jan van Eck, Michiel van Wezel., "Reinforcement Learning and its Application to Othello", available at http://www.few.eur.nl/few/people/mvanwezel/rl.ot hello.ejor.pdf, 2004
  4. Nee Jan van Eck, Michiel van Wezel., "Reinforcement Learning and its Application to Othello", available at http://www.few.eur.nl/few/people/mvanwezel/rl.ot hello.ejor.pdf, 2004
  5. Steve Woodcock, "Game AI : The State of the Industry", Game Developer Magazine, 2000.
  6. 심우성감수, “전통놀이 50선”, 농협, 1996
  7. 심우성, “우리나라 민속놀이”, 동문선, 1996
  8. 신용우, “지능형 고누게임에 관한 연구”, 석사학위논문, 경희대학교, 1998
  9. Steve Rabin, AI Game Programming Wisdom 2, Charles River Media, 2003
  10. Steve Rabin, AI Game Programming Wisdom, Charles River Media, 2002