• ICROS
• /
• v.8 no.3
• /
• pp.14-21
• /
• 2002

• Proceedings of the Korea Information Processing Society Conference
• /
• 2009.11a
• /
• pp.303-304
• /
• 2009

본 논문에서는 로봇축구에 관심을 가지고 있는 프로그래밍 초보자가 웹 환경에서 인터프리터 기반의 학습기능을 통해 쉽게 제어 언어에 대한 이해도를 높이고 프로그래밍을 학습할수 있는 시스템을 제안하고 설계한다. 개발시 사용한 실버라이트[1]는 웹에서의 닷넷 기반 미디어 경험과 리치 인터렉티브(Interactive) 어플리케이션을 실행하기 위한 차세대 크로스브라우저이다. 본 논문에서는 로봇축구와 관련된 기본기능, 시스템 구조, 구현 시 구축한 웹기반 시뮬레이션 및 사용자 학습 Interpreter 시스템에 대해 설명한다. 결론에서는 구현한 전체 시스템 평가 및 연구방향에 대해 논하였다.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2005.11a
• /
• pp.317-320
• /
• 2005

본 논문에서는 퍼지 로직을 이용하여 로봇의 여러 환경변수에 따라 로봇들의 행동을 적절히 선택하는 알고리즘을 제시한다. 전략 및 전술 알고리즘으로 많이 알려진 Modular Q-학습 알고리즘은 개체의 수에 따른 상태수를 지수 함수적으로 증가시킬 뿐만 아니라, 로봇이 협력하기 위해 중재자모듈이라는 별도의 알고리즘을 필요로 한다. 그러나 앞으로 제시하는 로봇 행동의 퍼지 적정성을 고려한 로봇축구 전략 및 전술 알고리즘은 환경 변수에 따라 로봇 행동의 적절성을 퍼지 로직을 통하여 얻어내게 하였으며, 이를 이용함으로써 다수 로봇의 상호작용도 고려할 수 있게 하였다.

• Proceedings of the Korean Society of Precision Engineering Conference
• /
• 2002.05a
• /
• pp.309-313
• /
• 2002

This paper presents an artificial intelligent model for a soccer robot. We classified soccer robot as artificial intelligent model into three elemental groups including instinct intuition and reason. Instinct is responsible for keeping the ball, walking or rushing toward the ball. This is very simple fundamental action without regard to associates and enemies. Intuition contributes to the faster/slower moving and simple basic turning to get near to the ball and to make a goal noticing associates and enemies. Reason is the most intelligent part, the law of reason is not simple relatively with instinct and intuition. We shall expect to design the best law of reason for a soccer robot some time. We also compared nerve system and muscles of human being model with controller and motors of a physical soccer robot model individually. We had designed several algorithms and made programs to investigate effects and control soccer robot.

• Proceedings of the Korea Society for Industrial Systems Conference
• /
• 2002.06a
• /
• pp.161-165
• /
• 2002

This paper describe a trajectory generation method for a soccer robot using cubic Bezier curve. It is proposed that the method to determine the location of control points. The control points are determined by the distance and the velocity parameters of start and target positions. Simulation results show its traceability of the trajectory of mobile robot.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10b
• /
• pp.55-57
• /
• 2001

강화학습은 한 에이전트가 자신이 놓여진 환경으로부터의 보상을 최대화할 수 있는 최적의 행동 전략을 학습하는 것이다. 따라서 강화학습은 입력(상태)과 출력(행동)의 쌍으로 명확한 훈련 예들이 제공되는 교사 학습과는 다르다. 특히 Q-학습과 같은 비 모델 기반(model-free)의 강화학습은 사전에 환경에 대한 별다른 모델을 설정하거나 학습할 필요가 없으며 다양한 상태와 행동들을 충분히 자주 경험할 수만 있으면 최적의 행동전략에 도달할 수 있어 다양한 응용분야에 적용되고 있다. 하지만 실제 응용분야에서 Q-학습과 같은 강화학습이 겪는 최대의 문제는 큰 상태 공간을 갖는 문제의 경우에는 적절한 시간 내에 각 상태와 행동들에 대한 최적의 Q값에 수렴할 수 없어 효과를 거두기 어렵다는 점이다. 이런 문제점을 고려하여 본 논문에서는 로봇 축구 시뮬레이션 환경에서 각 선수 에이전트의 동적 위치 결정을 위해 효과적인 새로운 Q-학습 방법을 제안한다. 이 방법은 원래 문제의 상태공간을 몇 개의 작은 모듈들로 나누고 이들의 개별적인 Q-학습 결과를 단순히 결합하는 종래의 모듈화 Q-학습(Modular Q-Learning)을 개선하여, 보상에 끼친 각 모듈의 기여도에 따라 모듈들의 학습결과를 적응적으로 결합하는 방법이다. 이와 같은 적응적 중재에 기초한 모듈화 Q-학습법(Adaptive Mediation based Modular Q-Learning, AMMQL)은 종래의 모듈화 Q-학습법의 장점과 마찬가지로 큰 상태공간의 문제를 해결할 수 있을 뿐 아니라 보다 동적인 환경변화에 유연하게 적응하여 새로운 행동 전략을 학습할 수 있다는 장점을 추가로 가질 수 있다. 이러한 특성을 지닌 AMMQL 학습법은 로봇축구와 같이 끊임없이 실시간적으로 변화가 일어나는 다중 에이전트 환경에서 특히 높은 효과를 볼 수 있다. 본 논문에서는 AMMQL 학습방법의 개념을 소개하고, 로봇축구 에이전트의 동적 위치 결정을 위한 학습에 어떻게 이 학습방법을 적용할 수 있는지 세부 설계를 제시한다.

• Journal of Institute of Control, Robotics and Systems
• /
• v.6 no.9
• /
• pp.803-812
• /
• 2000

In this paper we introduce a model based centralized hierarchical controller for cooperative team of soccerplaying multiple mobile robots. The hierarchical controller is composed of high-level and low-level controllers. Using the coordinates information of objects from the vision are simple models of multiple mobile tobots on the playground. Subsequently, the high level controller selects and action model corresponding to the perceived state transition model and generates subgoal and goal-velocity, from which the low level controller generates trajectory of each wheel velocity of the robot. This two layered simplicity. The feasubility of the control strategy has been demonstrated in an implementation for real soccer games at a MiroSot league.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2009.10a
• /
• pp.264-267
• /
• 2009

기존의 자율형 휴머노이드 로봇 축구승부차기에서는 거리센서와 시각센서를 모두 이용한다. 본 논문에서는 시각센서만을 사용하는 사람과 유사한 승부차기 시스템을 제안한다. 이를 위하여 시각센서가 유연하게 움직일 수 있는 적합한 로봇의 조립 형태와 지능적 3차원 공간분석을 채용한다. 지식표현과 추론은 자체 개발한 지식처리 시스템인 NEO를 사용하였고, 그 NEO 시스템에 지능적 처리를 위한 영상처리 라이브러리인 OpenCV를 탑재한 시스템 VisionNEO를 사용하였다.

• The Magazine of the IEIE
• /
• v.31 no.10
• /
• pp.38-52
• /
• 2004

• The KIPS Transactions:PartB
• /
• v.9B no.2
• /
• pp.139-146
• /
• 2002

The robot soccer simulation game is a dynamic multi-agent environment. In this paper we suggest a new reinforcement learning approach to each agent's dynamic positioning in such dynamic environment. Reinforcement learning is the machine learning in which an agent learns from indirect, delayed reward an optimal policy to choose sequences of actions that produce the greatest cumulative reward. Therefore the reinforcement learning is different from supervised learning in the sense that there is no presentation of input-output pairs as training examples. Furthermore, model-free reinforcement learning algorithms like Q-learning do not require defining or learning any models of the surrounding environment. Nevertheless these algorithms can learn the optimal policy if the agent can visit every state-action pair infinitely. However, the biggest problem of monolithic reinforcement learning is that its straightforward applications do not successfully scale up to more complex environments due to the intractable large space of states. In order to address this problem, we suggest Adaptive Mediation-based Modular Q-Learning (AMMQL) as an improvement of the existing Modular Q-Learning (MQL). While simple modular Q-learning combines the results from each learning module in a fixed way, AMMQL combines them in a more flexible way by assigning different weight to each module according to its contribution to rewards. Therefore in addition to resolving the problem of large state space effectively, AMMQL can show higher adaptability to environmental changes than pure MQL. In this paper we use the AMMQL algorithn as a learning method for dynamic positioning of the robot soccer agent, and implement a robot soccer agent system called Cogitoniks.