• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2002년도 춘계학술대회 및 임시총회
• /
• pp.19-22
• /
• 2002

분류자 시스템은 유전자 알고리즘(Genetic Algorithm : GA)을 이용하여 새로운 규칙 집합을 발견하는 시스템이다 또 로봇 축구 시뮬레이션 게임(SimuroSot)은 시간에 따라 상태가 변화하는 동적인 시스템이다 본 논문에서는 GBML(Genetic Based Machine Learning)의 한 갈래이자 미시간 접근 방법을 기반으로 하는 Zeroth Level Classifier System(ZCS)을 SimuroSot에 적용하여 게임 전략을 구성하는 새로운 규칙의 발견과 학습에 의한 축구 로봇의 행동전략 알고리즘을 제안하고, 시뮬레이션을 통하여 본 전략의 유용성을 확인한다

• 한국지능시스템학회논문지
• /
• 제12권4호
• /
• pp.289-293
• /
• 2002

분류자 시스템(Classifier System)은 유전자 알고리즘(Genetic Algorithmsm : GA)을 이용하여 새로운 규칙 집합을 발견하는 시스템이다 또 로봇 축구 시뮬레이션 게 (SimuroSot)은 시간에 따라 상태가 변화하는 동적인 시스템이다. 본 논문에서는 GBML(Genetic Based Machine Learning)의 한 갈래이자 미시간 접근 방법을 기반으로 하는 Zeroth Level Classifier System(ZCS)을 SimuroSot에 적용하여 게임 전략을 구성하는 새로운 규칙을 발견하고 학습하도록 하고 시뮬레이션 결과를 분석함으로써 ZCS의 유용성을 확인한다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2005년도 추계학술대회 학술발표 논문집 제15권 제2호
• /
• pp.436-439
• /
• 2005

로봇축구는 과거의 단순한 수비시스템 벗어나 지능적 공격시스템으로 점차 변하기 시작했다. 본 논문에서는 휴리스틱 탐색기법인 최고우선탐색기법을 사용하여 공격로봇의 경험을 통해 로봇 움직임의 최적해를 찾아내고, 각 로봇간의 동기화로 인한 전술변화에 대해 설명하고 있다. 로봇이 공격과정에서 수비하는 로봇을 피해 다른 로봇에게 공을 전달하고 그 로봇이 상황에 따라 공격과 수비의 변화를 주는 방식이다. 이 알고리즘을 적용하여 최적의 로봇축구에이전트 시스템의 행동상황을 추출하고, 시뮬레이션을 통해 그 전략의 유용성을 확인한다.

• 한국지능시스템학회논문지
• /
• 제16권1호
• /
• pp.79-85
• /
• 2006

본 논문은 인접한 두 로봇의 위치와 역할에 따라 로봇의 행동을 결정하는 퍼지 로직 중계자를 사용한 로봇 축구의 전략 및 전술을 제안한다. 기존의 Q 학습 알고리즘은 로봇의 수에 따라 상태의 수가 기하급수적으로 증가하여, 많은 연산을 필요로 하기 때문에 실시간 연산을 필요로 하는 로봇 축구 시스템에 알맞지 않다. Modular Q 학습 알고리즘은 해당 지역을 분할하는 방법으로 상태수를 줄였는데, 여기에는 로봇들 간의 협력을 위하여 따로 중재자 알고리즘이 사용되었다. 제안된 방법은 퍼지 규칙을 사용하여 로봇들 간의 협력을 위한 중재자 알고리즘을 구현하였고, 사용된 퍼지 규칙이 간단하기 때문에 계산 량이 작아 실시간 로봇 축구에 적합하다. MiroSot 시뮬레이션을 통하여 제안된 방법의 가능성을 보인다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2009년도 추계학술발표대회
• /
• pp.303-304
• /
• 2009

본 논문에서는 로봇축구에 관심을 가지고 있는 프로그래밍 초보자가 웹 환경에서 인터프리터 기반의 학습기능을 통해 쉽게 제어 언어에 대한 이해도를 높이고 프로그래밍을 학습할수 있는 시스템을 제안하고 설계한다. 개발시 사용한 실버라이트[1]는 웹에서의 닷넷 기반 미디어 경험과 리치 인터렉티브(Interactive) 어플리케이션을 실행하기 위한 차세대 크로스브라우저이다. 본 논문에서는 로봇축구와 관련된 기본기능, 시스템 구조, 구현 시 구축한 웹기반 시뮬레이션 및 사용자 학습 Interpreter 시스템에 대해 설명한다. 결론에서는 구현한 전체 시스템 평가 및 연구방향에 대해 논하였다.

• 전자공학회논문지CI
• /
• 제40권4호
• /
• pp.193-205
• /
• 2003

지능 제어, 통신, 컴퓨터 및 센서 기술, 영상 처리, 메카트로닉스 등과 같은 다양한 분야에서 로봇 축구 시스템에 대한 연구가 진행되고 있다. 그중 전략 연구는 대부분 공격 전략 연구에 치중하고 있으며, 점차 지능적인 공격 전략을 구현하는 방향으로 흘러가고 있다. 이에 따라 과거의 단순한 수비 전략으로는 완전한 수비가 불가능하게 되었다. 따라서, 지능적인 공격을 효율적으로 수비할 수 있는 수비 전략이 필요하며, 효율적인 수비를 위하여 공격자 로봇의 의도 추출이 필요하다. 본 논문에서는, 퍼지 최대 최소 신경망을 이용한 축구 로봇의 공격 의도 추출기를 설계하였다. 첫째로 축구 로봇 시스템에서의 의도를 정의하고 의도 추출에 대하여 설명한다. 다음으로 설계한 퍼지 최대 최소 신경망을 이용하여 설계한 축구 로봇의 의도 추출기에 대하여 설명한다. 퍼지 최대 최소 신경망은 패턴분류 방법 중의 하나로 온라인 적용, 짧은 학습 시간, 소프트 결정(soft decision) 등의 많은 장점을 갖고 있다. 따라서, 다이나믹한 환경을 가진 축구 로봇 시스템의 의도 추출에 적합하다. 이 의도 추출기는 상대 팀 로봇이 공격시 어떠한 상황에서 어떠한 행동을 할 것인가를 미리 알아내어 수비 시 이용할 수 있도록 하며, 학습을 통하여 의도 추출을 함으로써 상대 팀 경기를 보고 팀의 전략을 파악하는 전략 분석기로도 사용이 가능하다. 자체 제작한 3대3 로봇 축구 시뮬레이터를 이용하여 시뮬레이션을 하였으며, 학습을 함에 따라서 의도 추출률이 증가함을 확인할 수 있었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (2)
• /
• pp.55-57
• /
• 2001

강화학습은 한 에이전트가 자신이 놓여진 환경으로부터의 보상을 최대화할 수 있는 최적의 행동 전략을 학습하는 것이다. 따라서 강화학습은 입력(상태)과 출력(행동)의 쌍으로 명확한 훈련 예들이 제공되는 교사 학습과는 다르다. 특히 Q-학습과 같은 비 모델 기반(model-free)의 강화학습은 사전에 환경에 대한 별다른 모델을 설정하거나 학습할 필요가 없으며 다양한 상태와 행동들을 충분히 자주 경험할 수만 있으면 최적의 행동전략에 도달할 수 있어 다양한 응용분야에 적용되고 있다. 하지만 실제 응용분야에서 Q-학습과 같은 강화학습이 겪는 최대의 문제는 큰 상태 공간을 갖는 문제의 경우에는 적절한 시간 내에 각 상태와 행동들에 대한 최적의 Q값에 수렴할 수 없어 효과를 거두기 어렵다는 점이다. 이런 문제점을 고려하여 본 논문에서는 로봇 축구 시뮬레이션 환경에서 각 선수 에이전트의 동적 위치 결정을 위해 효과적인 새로운 Q-학습 방법을 제안한다. 이 방법은 원래 문제의 상태공간을 몇 개의 작은 모듈들로 나누고 이들의 개별적인 Q-학습 결과를 단순히 결합하는 종래의 모듈화 Q-학습(Modular Q-Learning)을 개선하여, 보상에 끼친 각 모듈의 기여도에 따라 모듈들의 학습결과를 적응적으로 결합하는 방법이다. 이와 같은 적응적 중재에 기초한 모듈화 Q-학습법(Adaptive Mediation based Modular Q-Learning, AMMQL)은 종래의 모듈화 Q-학습법의 장점과 마찬가지로 큰 상태공간의 문제를 해결할 수 있을 뿐 아니라 보다 동적인 환경변화에 유연하게 적응하여 새로운 행동 전략을 학습할 수 있다는 장점을 추가로 가질 수 있다. 이러한 특성을 지닌 AMMQL 학습법은 로봇축구와 같이 끊임없이 실시간적으로 변화가 일어나는 다중 에이전트 환경에서 특히 높은 효과를 볼 수 있다. 본 논문에서는 AMMQL 학습방법의 개념을 소개하고, 로봇축구 에이전트의 동적 위치 결정을 위한 학습에 어떻게 이 학습방법을 적용할 수 있는지 세부 설계를 제시한다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 1999년도 추계학술대회 논문집 학회본부 B
• /
• pp.661-663
• /
• 1999

본 논문에서는 새로운 경로 계획 방법으로 중심 이등에 의한 경로 알고리즘을 제안한다. 제안된 알고리즘을 사용하여 곡률 반경을 이용한 경로 계획의 문제점인 각도오차가 커질수록 우회하는 현상을 보다 효율적으로 해결함을 시뮬레이션을 통하여 보인다. 또한 제안된 경로 알고리즘에 칼만 필터를 이용한 예측기를 적용시켜 로봇이 공을 추정하는데 발생할 수 있는 잡음에 강인함을 보이며 신뢰성 있는 결과를 확인한다.

• 정보처리학회논문지B
• /
• 제9B권2호
• /
• pp.139-146
• /
• 2002

로봇 축구 시뮬레이션 게임은 하나의 동적 다중 에이전트 환경이다. 본 논문에서는 그러한 환경 하에서 각 에이전트의 동적 위치 결정을 위한 새로운 강화학습 방법을 제안한다. 강화학습은 한 에이전트가 환경으로부터 받는 간접적 지연 보상을 기초로 누적 보상값을 최대화할 수 있는 최적의 행동 전략을 학습하는 기계학습 방법이다. 따라서 강화학습은 입력-출력 쌍들이 훈련 예로 직접 제공되지 않는 다는 점에서 교사학습과 크게 다르다. 더욱이 Q-학습과 같은 비-모델 기반의 강화학습 알고리즘들은 주변 환경에 대한 어떤 모델도 학습하거나 미리 정의하는 것을 요구하지 않는다. 그럼에도 불구하고 이 알고리즘들은 에이전트가 모든 상태-행동 쌍들을 충분히 반복 경험할 수 있다면 최적의 행동전략에 수렴할 수 있다. 하지만 단순한 강화학습 방법들의 가장 큰 문제점은 너무 큰 상태 공간 때문에 보다 복잡한 환경들에 그대로 적용하기 어렵다는 것이다. 이런 문제점을 해결하기 위해 본 연구에서는 기존의 모듈화 Q-학습방법(MQL)을 개선한 적응적 중재에 기초한 모듈화 Q-학습 방법(AMMQL)을 제안한다. 종래의 단순한 모듈화 Q-학습 방법에서는 각 학습 모듈들의 결과를 결합하는 방식이 매우 단순하고 고정적이었으나 AMMQL학습 방법에서는 보상에 끼친 각 모듈의 기여도에 따라 모듈들에 서로 다른 가중치를 부여함으로써 보다 유연한 방식으로 각 모듈의 학습결과를 결합한다. 따라서 AMMQL 학습 방법은 큰 상태공간의 문제를 해결할 수 있을 뿐 아니라 동적인 환경변화에 보다 높은 적응성을 제공할 수 있다. 본 논문에서는 로봇 축구 에이전트의 동적 위치 결정을 위한 학습 방법으로 AMMQL 학습 방법을 사용하였고 이를 기초로 Cogitoniks 축구 에이전트 시스템을 구현하였다.

• 전자공학회지
• /
• 제33권3호
• /
• pp.28-35
• /
• 2006

소프트웨어 로봇들은 시뮬레이트된 센서와 실행기들을 가지고 가상 환경 안에서 자율적으로 동작하는 지능형 가상 에이전트로 볼 수 있다. 지능형 가상 에이전트 연구용 테스트베드들은 에이전트들의 성능 평가를 위해 표준화된 작업들을 구현할 수 있고, 환경이나 실험 에이전트들을 제어할 수 있는 도구들이다. 본 논문에서는 RoboCup 축구 시뮬레이션시스템, Gamebots 시스템, USARSim 시스템 등과 같은 지능형 가상 에이전트와 멀티 에이전트시스템 연구를 위한 대표적인 테스트베드들을 간략히 소개한다.