• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2002.05a
• /
• pp.19-22
• /
• 2002

분류자 시스템은 유전자 알고리즘(Genetic Algorithm : GA)을 이용하여 새로운 규칙 집합을 발견하는 시스템이다 또 로봇 축구 시뮬레이션 게임(SimuroSot)은 시간에 따라 상태가 변화하는 동적인 시스템이다 본 논문에서는 GBML(Genetic Based Machine Learning)의 한 갈래이자 미시간 접근 방법을 기반으로 하는 Zeroth Level Classifier System(ZCS)을 SimuroSot에 적용하여 게임 전략을 구성하는 새로운 규칙의 발견과 학습에 의한 축구 로봇의 행동전략 알고리즘을 제안하고, 시뮬레이션을 통하여 본 전략의 유용성을 확인한다

• Journal of the Korean Institute of Intelligent Systems
• /
• v.12 no.4
• /
• pp.289-293
• /
• 2002

Learning Classifier System (LCS) finds a new rule set using genetic algorithm (GA). In this paper, The Zeroth Level Classifier System (ZCS) is applied to evolving the strategy of a robot soccer simulation game (SimuroSot), which is a state varying dynamical system changed over time, as GBML (Genetic Based Machine Learning) and we show the effectiveness of the proposed scheme through the simulation of robot soccer.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2005.11a
• /
• pp.436-439
• /
• 2005

로봇축구는 과거의 단순한 수비시스템 벗어나 지능적 공격시스템으로 점차 변하기 시작했다. 본 논문에서는 휴리스틱 탐색기법인 최고우선탐색기법을 사용하여 공격로봇의 경험을 통해 로봇 움직임의 최적해를 찾아내고, 각 로봇간의 동기화로 인한 전술변화에 대해 설명하고 있다. 로봇이 공격과정에서 수비하는 로봇을 피해 다른 로봇에게 공을 전달하고 그 로봇이 상황에 따라 공격과 수비의 변화를 주는 방식이다. 이 알고리즘을 적용하여 최적의 로봇축구에이전트 시스템의 행동상황을 추출하고, 시뮬레이션을 통해 그 전략의 유용성을 확인한다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.16 no.1
• /
• pp.79-85
• /
• 2006

This paper presents a strategy and tactic for robot soccer using furry logic mediator that determines robot action depending on the positions and the roles of adjacent two robots. Conventional Q-learning algorithm, where the number of states increases exponentially with the number of robots, is not suitable for a robot soccer system, because it needs so much calculation that processing cannot be accomplished in real time. A modular Q-teaming algorithm reduces a number of states by partitioning the concerned area, where mediator algorithm for cooperation of robots is used additionally. The proposed scheme implements the mediator algorithm among robots by fuzzy logic system, where simple fuzzy rules make the calculation easy and hence proper for robot soccer system. The simulation of MiroSot shows the feasibility of the proposed scheme.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2009.11a
• /
• pp.303-304
• /
• 2009

본 논문에서는 로봇축구에 관심을 가지고 있는 프로그래밍 초보자가 웹 환경에서 인터프리터 기반의 학습기능을 통해 쉽게 제어 언어에 대한 이해도를 높이고 프로그래밍을 학습할수 있는 시스템을 제안하고 설계한다. 개발시 사용한 실버라이트[1]는 웹에서의 닷넷 기반 미디어 경험과 리치 인터렉티브(Interactive) 어플리케이션을 실행하기 위한 차세대 크로스브라우저이다. 본 논문에서는 로봇축구와 관련된 기본기능, 시스템 구조, 구현 시 구축한 웹기반 시뮬레이션 및 사용자 학습 Interpreter 시스템에 대해 설명한다. 결론에서는 구현한 전체 시스템 평가 및 연구방향에 대해 논하였다.

• Journal of the Institute of Electronics Engineers of Korea CI
• /
• v.40 no.4
• /
• pp.193-205
• /
• 2003

There has been so many research activities about robot soccer system in the many research fields, for example, intelligent control, communication, computer technology, sensor technology, image processing, mechatronics. Especially researchers research strategy for attacking in the field of strategy, and develop intelligent strategy. Then, soccer robots cannot defense completely and efficiently by using simple defense strategy. Therefore, intention extraction of attacker is needed for efficient defense. In this thesis, intention extractor of soccer robots is designed and developed based on FMMNN(Fuzzy Min-Max Neural networks ). First, intention for soccer robot system is defined, and intention extraction for soccer robot system is explained.. Next, FMMNN based intention extractor for soccer robot system is determined. FMMNN is one of the pattern classification method and have several advantages: on-line adaptation, short training time, soft decision. Therefore, FMMNN is suitable for soccer robot system having dynamic environment. Observer extracts attack intention of opponents by using this intention exactor, and this intention extractor is also used for analyzing strategy of opponent team. The capability of developed intention extractor is verified by simulation of 3 vs. 3 robot succor simulator. It was confirmed that the rates of intention extraction each experiment increase.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10b
• /
• pp.55-57
• /
• 2001

강화학습은 한 에이전트가 자신이 놓여진 환경으로부터의 보상을 최대화할 수 있는 최적의 행동 전략을 학습하는 것이다. 따라서 강화학습은 입력(상태)과 출력(행동)의 쌍으로 명확한 훈련 예들이 제공되는 교사 학습과는 다르다. 특히 Q-학습과 같은 비 모델 기반(model-free)의 강화학습은 사전에 환경에 대한 별다른 모델을 설정하거나 학습할 필요가 없으며 다양한 상태와 행동들을 충분히 자주 경험할 수만 있으면 최적의 행동전략에 도달할 수 있어 다양한 응용분야에 적용되고 있다. 하지만 실제 응용분야에서 Q-학습과 같은 강화학습이 겪는 최대의 문제는 큰 상태 공간을 갖는 문제의 경우에는 적절한 시간 내에 각 상태와 행동들에 대한 최적의 Q값에 수렴할 수 없어 효과를 거두기 어렵다는 점이다. 이런 문제점을 고려하여 본 논문에서는 로봇 축구 시뮬레이션 환경에서 각 선수 에이전트의 동적 위치 결정을 위해 효과적인 새로운 Q-학습 방법을 제안한다. 이 방법은 원래 문제의 상태공간을 몇 개의 작은 모듈들로 나누고 이들의 개별적인 Q-학습 결과를 단순히 결합하는 종래의 모듈화 Q-학습(Modular Q-Learning)을 개선하여, 보상에 끼친 각 모듈의 기여도에 따라 모듈들의 학습결과를 적응적으로 결합하는 방법이다. 이와 같은 적응적 중재에 기초한 모듈화 Q-학습법(Adaptive Mediation based Modular Q-Learning, AMMQL)은 종래의 모듈화 Q-학습법의 장점과 마찬가지로 큰 상태공간의 문제를 해결할 수 있을 뿐 아니라 보다 동적인 환경변화에 유연하게 적응하여 새로운 행동 전략을 학습할 수 있다는 장점을 추가로 가질 수 있다. 이러한 특성을 지닌 AMMQL 학습법은 로봇축구와 같이 끊임없이 실시간적으로 변화가 일어나는 다중 에이전트 환경에서 특히 높은 효과를 볼 수 있다. 본 논문에서는 AMMQL 학습방법의 개념을 소개하고, 로봇축구 에이전트의 동적 위치 결정을 위한 학습에 어떻게 이 학습방법을 적용할 수 있는지 세부 설계를 제시한다.

• Proceedings of the KIEE Conference
• /
• 1999.11c
• /
• pp.661-663
• /
• 1999

본 논문에서는 새로운 경로 계획 방법으로 중심 이등에 의한 경로 알고리즘을 제안한다. 제안된 알고리즘을 사용하여 곡률 반경을 이용한 경로 계획의 문제점인 각도오차가 커질수록 우회하는 현상을 보다 효율적으로 해결함을 시뮬레이션을 통하여 보인다. 또한 제안된 경로 알고리즘에 칼만 필터를 이용한 예측기를 적용시켜 로봇이 공을 추정하는데 발생할 수 있는 잡음에 강인함을 보이며 신뢰성 있는 결과를 확인한다.

• The KIPS Transactions:PartB
• /
• v.9B no.2
• /
• pp.139-146
• /
• 2002

The robot soccer simulation game is a dynamic multi-agent environment. In this paper we suggest a new reinforcement learning approach to each agent's dynamic positioning in such dynamic environment. Reinforcement learning is the machine learning in which an agent learns from indirect, delayed reward an optimal policy to choose sequences of actions that produce the greatest cumulative reward. Therefore the reinforcement learning is different from supervised learning in the sense that there is no presentation of input-output pairs as training examples. Furthermore, model-free reinforcement learning algorithms like Q-learning do not require defining or learning any models of the surrounding environment. Nevertheless these algorithms can learn the optimal policy if the agent can visit every state-action pair infinitely. However, the biggest problem of monolithic reinforcement learning is that its straightforward applications do not successfully scale up to more complex environments due to the intractable large space of states. In order to address this problem, we suggest Adaptive Mediation-based Modular Q-Learning (AMMQL) as an improvement of the existing Modular Q-Learning (MQL). While simple modular Q-learning combines the results from each learning module in a fixed way, AMMQL combines them in a more flexible way by assigning different weight to each module according to its contribution to rewards. Therefore in addition to resolving the problem of large state space effectively, AMMQL can show higher adaptability to environmental changes than pure MQL. In this paper we use the AMMQL algorithn as a learning method for dynamic positioning of the robot soccer agent, and implement a robot soccer agent system called Cogitoniks.

• The Magazine of the IEIE
• /
• v.33 no.3 s.262
• /
• pp.28-35
• /
• 2006

소프트웨어 로봇들은 시뮬레이트된 센서와 실행기들을 가지고 가상 환경 안에서 자율적으로 동작하는 지능형 가상 에이전트로 볼 수 있다. 지능형 가상 에이전트 연구용 테스트베드들은 에이전트들의 성능 평가를 위해 표준화된 작업들을 구현할 수 있고, 환경이나 실험 에이전트들을 제어할 수 있는 도구들이다. 본 논문에서는 RoboCup 축구 시뮬레이션시스템, Gamebots 시스템, USARSim 시스템 등과 같은 지능형 가상 에이전트와 멀티 에이전트시스템 연구를 위한 대표적인 테스트베드들을 간략히 소개한다.