• 한국인터넷방송통신학회논문지
• /
• 제24권2호
• /
• pp.205-211
• /
• 2024

본 연구는 유니티 게임 엔진과 유니티 ML-Agents를 이용하여 강화 학습을 통해 목표 추적 및 이동을 지능적으로 수행하는 에이전트를 구현하는 데 목적이 있다. 본 연구에서는 에이전트의 효과적인 강화 학습 훈련 방식을 모색하기 위해 단일 학습 시뮬레이션 환경에서 하나의 에이전트를 트레이닝하는 방식과 다중 학습 시뮬레이션 환경에서 여러 에이전트들을 동시에 병렬 트레이닝하는 방식 간의 학습 성능을 비교하기 위한 실험을 수행하였다. 실험 결과를 통해 병렬트레이닝 방식이 싱글 트레이닝 방식보다 학습 속도 측면에서 약 4.9배 빠르고, 학습 안정성 측면에서도 더 안정적으로 효과적인 학습이 일어남을 확인할 수 있었다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제9권3호
• /
• pp.322-331
• /
• 2003

3차원 게임은 게임 시나리오의 다양한 요소에 의한 복잡도가 증가함에 따라 게임 객체들의 상호 관계를 제어하기 위한 문제점을 가진다. 그러므로, 게임 시스템은 각 게임 객체들의 응답을 조정하는 방법의 필요성을 가진다. 또한, 게임 시나리오의 결과에 따라 게임 객체들의 행동 애니메이션을 제어하기 위한 개념들도 필요하다. 사실적 게임 시뮬레이션을 생성하기 위해 시스템은 게임 객체들의 상호작용을 디자인 할 수 있는 구조를 포함해야 한다. 본 논문에서 게임 시나리오상에 게임 객체들의 상호작용 설계를 위해 동적 제어를 디자인하는 기법을 소개한다. 이 방법을 위해 특정 규칙을 이용한 의사결정이 가능한 지능적 에이전트 기반 구조로써 게임 에이전트 시스템을 제안한다. 게임 에이전트 시스템은 환경 데이터 처리, 게임 객체 시뮬레이션, 게임 객체들간의 상호작용 제어, 게임 객체들의 다양한 상호 관계를 정의할수 있는 시각 저작 인터페이스를 제공하기 위해 이용되어진다. 이들 기술들은 게임 객체의 자율성과 연관된 충돌 회피 기법 등을 처리한다. 또한, 장면의 변경으로부터 게임 객체들의 일관된 의사 결정력을 가능하게 한다. 본 논문에서는 규칙기반 행동 제어가 게임 객체의 시뮬레이션을 안내하기 위해 디자인되어졌다. 시각적 요소들로 구성된 에이전트 상태 결정 네트워크는 정보전달과 게임 객체들 사이의 현상태를 추론할 수 있다. 이들 기법들은 실시간으로 게임 객체들간의 동작 상태 변이를 체크하고 모니터링 할 수 있다. 마지막으로 간단한 사례 연구 예와 함께 제어 기법의 타당성을 제시한다.

• 한국시뮬레이션학회논문지
• /
• 제16권3호
• /
• pp.39-48
• /
• 2007

군의 전투 상황을 모의하는 전투 시뮬레이션 모델을 개발함에 있어서 현대전, 미래전의 핵심인 지휘통제분야에 대한 모의가 필요하다. 본 논문에서는 교전위주의 현재 워게임 모델을 개선하기위해 군의 의사결정과정인 부대지휘절차를 지능형 에이전트를 이용하는 모의방법론을 제시하였다. 계층별 지휘본부를 대리할 수 있는 다중 에이전트의 아키텍처를 설계하고 각각 에이전트의 기본적인 구조와 모의논리를 연구하였다. 본 연구는 지능형 에이전트의 적용대상을 관으로 확대하는 방법론이 될 것이고, 기본구조를 더욱 심화 발전시키면 불확실한 전장상황을 보다 정확하게 모의할 수 있는 기초가 될 것이다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2005년도 추계학술대회 학술발표 논문집 제15권 제2호
• /
• pp.165-168
• /
• 2005

최근 온라인 게임 시장이 커지면서 게임을 위한 필수요소로 동시 접속자를 지속적으로 확보/유지해야 하는 문제가 이슈화 되고 있다. 온라인 게임을 즐기는 유저 수는 정해져 있는 반면, 게임 컨텐츠 수는 지속적으로 증가되고 있는 상황에서 온라인 게임 시장은 전형적인 레드오션[1]의 시장형태로 변모되어 가고 있다 이러한 문제를 보완하기 위한 대안으로서 본 논문에서는 에이전트 시스템을 이용한 동시 접속자를 생성, 유지할 수 있는 솔루션에 대해서 제시한다. 이를 통해 경쟁력 있는 게임 컨텐츠가 시장 진입을 보다 원활하게 할 수 있을 것으로 기대하며, 아울러 게임 초반의 스트레스 테스트를 위한 툴로써의 활용, 게임의 라이프 사이클의 증대, 경쟁력 강화로 이어질 수 있을 것으로 기대된다

• 한국지능정보시스템학회:학술대회논문집
• /
• 한국지능정보시스템학회 2001년도 The Pacific Aisan Confrence On Intelligent Systems 2001
• /
• pp.59-64
• /
• 2001

The robot soccer simulation game is a dynamic multi-agent environment. In this paper we suggest a new reinforcement learning approach to each agent's dynamic positioning in such dynamic environment. Reinforcement learning is the machine learning in which an agent learns from indirect, delayed reward an optimal policy to chose sequences of actions that produce the greatest cumulative reward. Therefore the reinforcement learning is different from supervised learning in the sense that there is no presentation of input pairs as training examples. Furthermore, model-free reinforcement learning algorithms like Q-learning do not require defining or learning any models of the surrounding environment. Nevertheless it can learn the optimal policy if the agent can visit every state- action pair infinitely. However, the biggest problem of monolithic reinforcement learning is that its straightforward applications do not successfully scale up to more complex environments due to the intractable large space of states. In order to address this problem. we suggest Adaptive Mediation-based Modular Q-Learning (AMMQL)as an improvement of the existing Modular Q-Learning (MQL). While simple modular Q-learning combines the results from each learning module in a fixed way, AMMQL combines them in a more flexible way by assigning different weight to each module according to its contribution to rewards. Therefore in addition to resolving the problem of large state effectively, AMMQL can show higher adaptability to environmental changes than pure MQL. This paper introduces the concept of AMMQL and presents details of its application into dynamic positioning of robot soccer agents.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2004년도 ICCAS
• /
• pp.879-884
• /
• 2004

This paper describes the development of a synthetic multi-agent called KMITL Cadence 2003. KMITL Cadence 2003 is a robotic soccer simulation team consisting of eleven autonomous software agents. Each agent operates in a physical soccer simulation model called Robocup Soccer Server which provides fully distributed and real-time multi-agent system environment. All teammates have to cooperate to achieve the common goal of winning the game. The simulation models many aspects of the football field such as noise in ball movements, noisy sensors, unreliable communication channel between teammates and actuators, limited physical abilities and restricted communication. This paper addresses the algorithm to develop the soccer agents to perform basic actions which are scoring, passing ball and blocking the opponents effectively. The result of this development is satisfactory because the successful scoring attempts is increased from 11.1% to 33.3%, successful passing ball attempts is increased from 22.08% to 63.64%, and also, successful intercepting attempts is increased from 88% to 97.73%.

• 한국지능정보시스템학회:학술대회논문집
• /
• 한국지능정보시스템학회 1999년도 춘계공동학술대회-지식경영과 지식공학
• /
• pp.217-225
• /
• 1999

협상은 상거래에 있어서 매우 중요한 요소 중 하나이다. 현재의 웹 기반 전자상거래 시스템은 이러한 중요한 협상 구조를 상거래에 잘 반영하지 못하는 문제점을 가지고 있다. 이러한 문제점중 기업과 소비자간의 미비한 협상 구조를 보안하기 위해 실세계 상거래에서 존재하는 점원을 전자상거래상의 가상점원으로 모델링하여 회사의 정책과 구매자의 특성을 반영하여 구매자와 전략적으로 자동 협상을 수행할 수 있는 에이전트의 구조를 설계하고 표현하고, 그 제안에 대한 평가 내용과 결정사항을 전달할 수 있는 언어적인 구조가 필요하며, 협상의 대상이 되는 사안들의 특성을 반영할 수 있는 표현 구조도 요구된다. 또한 이러한 협상에서 전략을 세우고 알맞은 제안을 제시하며 상대의 제안에 대하여 전략적으로 반응할 수 있는 의사결정 모델이 요구된다. 본 논문에서는 회사의 정책 모델과 구매자의 모델을 정의하고 이를 이용한 협상 모델을 설계 구현하였다. 협상 구조의 모델링을 위해 KQML(Knowledge Query Manipulation Language)을 기반으로 전자상거래 프로토콜로 설계하고, 논쟁 기반 협상 모델을 기초로 협상언어를 설계하였다. 또한 협상에서의 전략적인 의사결정을 위해 게임이론을 이용하고, 규칙 기반 시스템으로 이를 보충하였다. 마지막으로 가상점원 모델을 바탕으로 조립 컴퓨터 판매를 위한 가상점원으로 구현하였고, 이에 대한 실험을 통하여 가상점원의 유용성을 보였다.

• Journal of Information Processing Systems
• /
• 제1권1호
• /
• pp.107-111
• /
• 2005

When a pedagogical agent system aims to provide students with interactive help, it needs to know what knowledge the student has and what goals the student is currently trying to achieve. That is, it must do both assessment and plan recognition. These modeling tasks involve a high level of uncertainty when students are allowed to follow various lines of reasoning and are not required to show all their reasoning explicitly. In this paper, the student model for interactive edutainment applications is proposed. This model is based on Bayesian Networks to expose constructs and parameters of rules and propositions pertaining to game and problem solving activities. This student model could be utilized as the emotion generation model for student and agent as well.

• International Journal of Control, Automation, and Systems
• /
• 제1권2호
• /
• pp.229-235
• /
• 2003

We designed a family of completely autonomous mobile robots with local intelligence. Each robot has a number of on-board sensors, including vision, and does not rely on global positioning systems The on-board embedded controller is sufficient to analyze several low-resolution color images per second. This enables our robots to perform several complex tasks such as navigation, map generation, or providing intelligent group behavior. Not being limited to playing the game of soccer and being completely autonomous, we are also looking at a number of other interesting scenarios. The robots can communicate with each other, e.g. for exchanging positions, information about objects or just the local states they are currently in (e.g. sharing their current objectives with other robots in the group). We are particularly interested in the differences between a behavior-based approach versus a traditional control algorithm at this still very low level of action.

• 지능정보연구
• /
• 제11권1호
• /
• pp.153-167
• /
• 2005

본 논문에서는 이동 로봇이나 자율 캐릭터 에이전트로 미지의 환경을 탐사하는 문제를 다룬다 전통적으로 공간탐사 문제를 해결하기 위한 연구노력들은 주로 그래프기반의 공간 표현법들과 그래프 탐색법들에 초점을 맞추어 왔다. 최근 들어, 공간탐사를 위한 가장 효율적인 그래프 탐색법들 중 최대 $min(mn, d^2+m)$에지들만을 탐색하는 EXPLORE알고리즘이 발견되었다. 이때 d는 그래프의 부족도(deficiency)를 나타내고, m은 그래프 에지들의 수를, n은 그래프 노드들의 수를 나타낸다. 본 논문에서는 자율 에이전트에 의해 미지의 공간을 탐사하는 실시간 그래프 탐색 알고리즘 DFS-RTA*와 DFS-PHA*를 제안한다. 두 알고리즘들은 모두 EXPLORE 알고리즘과 같이 깊이-우선 탐색(DFS)을 기초로 하고 있으며, 직전 노드로의 빠른 후진을 위해 각각 실시간 최단 경로 탐색 방법인 RTA*와 PHA*를 적용하는 것이 특징이다. 본 논문에서는 대표적인 3차원 온라인 게임 환경인 Unreal Tournament게임과 지능형 캐릭터 에이전트인 KGBot를 이용한 실험을 통해 두 탐색 알고리즘의 완전성과 효율성을 분석해본다.