• 한국인터넷방송통신학회논문지
• /
• 제19권2호
• /
• pp.135-141
• /
• 2019

최근 강화 학습을 통해 게임을 학습하는 인공지능 에이전트를 만드는 연구가 활발히 진행되고 있다. 게임을 에이전트에게 학습 시킬 때 어떠한 딥러닝 활성화 함수를 사용하는지에 따라 그 학습 성능이 달라진다. 본 논문은 2D 슈팅 게임 환경에서 에이전트가 강화 학습을 통해 게임을 학습할 경우 어떤 활성화 함수가 최적의 결과를 얻는지를 비교 평가 한다. 이를 위해 비교 평가에서 사용할 메트릭을 정의하고 각 활성화 함수에 따른 메트릭 값을 학습 시간에 따라 그래프로 나타내었다. 그 결과 ELU (Exponential Linear Unit) 활성화 함수에 1.0으로 파라미터 값을 설정할 경우 게임의 보상 값이 다른 활성화 함수보다 평균적으로 높은 것을 알 수 있었고, 가장 낮은 보상 값을 가졌던 활성화 함수와의 차이는 23.6%였다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2003년도 ISIS 2003
• /
• pp.166-169
• /
• 2003

Reinforcement learning if a kind of machine learning. It aims to adapt an agent to a given environment with a clue to a reward and a penalty. Q-learning [8] that is a representative reinforcement learning system treats a reward and a penalty at the same time. There is a problem how to decide an appropriate reward and penalty values. We know the Penalty Avoiding Rational Policy Making algorithm (PARP) [4] and the Penalty Avoiding Profit Sharing (PAPS) [2] as reinforcement learning systems to treat a reward and a penalty independently. though PAPS is a descendant algorithm of PARP, both PARP and PAPS tend to learn a local optimal policy. To overcome it, ion this paper, we propose the Multi Best method (MB) that is PAPS with the multi-start method[5]. MB selects the best policy in several policies that are learned by PAPS agents. By applying PS, PAPS and MB to a soccer game environment based on the SoccerBots[9], we show that MB is the best solution for the soccer game environment.

• 한국전자거래학회지
• /
• 제14권4호
• /
• pp.133-148
• /
• 2009

다수의 구매자와 판매자가 존재하는 경매분야에서 효율적인 협상에 대한 새로운 에이전트 협상방법론을 제시하였다. 경매문제를 게임이론으로 재 정의하고 이를 에이전트 협상에 적용하여, 온라인 티켓 재판매 시장 문제에 적용하였다. 본 에이전트를 적용한 결과 모든 구매자가 만족할 수 있는 내쉬균형을 보이고, 구매자와 판매자의 조합이 파레토 최적임을 보여주고 있다. 특히 본 에이전트 협상을 적용할 수 있는 새로운 비즈니스 모델을 수립하고, 에이전트 협상 진행 시 필요한 도메인과 프로세스를 온톨로지로 구현하였다.

• Asia pacific journal of information systems
• /
• 제29권2호
• /
• pp.165-180
• /
• 2019

As game industry prospers, the negative side of games becomes highlighted as well as its contributions to economy growth. In spite of strong arguments for the necessity to regulations as a means to decrease addiction or overindulgence, research has produced future suggestions rather than quantifiable evidence. In this paper, we propose adopting a simulation approach in addition to quantitative approaches to better understand optimal regulatory levels since a simulation approach can visualize unexpected side effects of regulations. In this study, we suggest the application of an agent-based model (ABM) as a smart service to measure the effects of regulatory policies. We review cases applying ABM in various domains and consider the possibility of using an ABM to understand the effectiveness of web board-game regulations. We find that the ABM approach would be useful in several areas, such as the analysis of regulatory effects that reflect a variety of characteristics, the measurement of micro-regulatory effects, and the simulation of regulations.

• International Journal of Internet, Broadcasting and Communication
• /
• 제16권3호
• /
• pp.192-198
• /
• 2024

This paper investigates the application of multi-agent deep reinforcement learning in the fighting game Samurai Shodown using Proximal Policy Optimization (PPO) and Advantage Actor-Critic (A2C) algorithms. Initially, agents are trained separately for 200,000 timesteps using Convolutional Neural Network (CNN) and Multi-Layer Perceptron (MLP) with LSTM networks. PPO demonstrates superior performance early on with stable policy updates, while A2C shows better adaptation and higher rewards over extended training periods, culminating in A2C outperforming PPO after 1,000,000 timesteps. These findings highlight PPO's effectiveness for short-term training and A2C's advantages in long-term learning scenarios, emphasizing the importance of algorithm selection based on training duration and task complexity. The code can be found in this link https://github.com/Lexer04/Samurai-Shodown-with-Reinforcement-Learning-PPO.

• 융합정보논문지
• /
• 제11권3호
• /
• pp.1-6
• /
• 2021

매치 3 퍼즐 게임들은 주로 MCTS(Monte Carlo Tree Search) 알고리즘을 사용하여 자동 플레이를 구현하였지만 MCTS의 느린 탐색 속도로 인해 MCTS와 DNN(Deep Neural Network)을 함께 적용하거나 강화학습으로 인공지능을 구현하는 것이 일반적인 경향이다. 본 연구에서는 매치 3 게임 개발에 주로 사용되는 유니티3D 엔진과 유니티 개발사에서 제공해주는 머신러닝 SDK를 이용하여 PPO(Proximal Policy Optimization) 알고리즘을 적용한 강화학습 에이전트를 설계 및 구현하여, 그 성능을 확인해본 결과, 44% 정도 성능이 향상되었음을 확인하였다. 실험 결과 에이전트가 게임 규칙을 배우고 실험이 진행됨에 따라 더 나은 전략적 결정을 도출 해 낼 수 있는 것을 확인할 수 있었으며 보통 사람들보다 퍼즐 게임을 더 잘 수행하는 결과를 확인하였다. 본 연구에서 설계 및 구현한 에이전트가 일반 사람들보다 더 잘 플레이하는 만큼, 기계와 인간 플레이 수준 사이의 간극을 조절하여 게임의 레벨 디지인에 적용된다면 향후 빠른 스테이지 개발에 도움이 될 것으로 기대된다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2017년도 제55차 동계학술대회논문집 25권1호
• /
• pp.187-188
• /
• 2017

본 논문에서는 Inverse Kinematics(IK) 방법을 이용하여 사족보행 게임 캐릭터의 이동 IK를 구현하였다. 게임 캐릭터의 이동 IK는 Unity의 NavMeshAgent를 사용하여 이동하는 사족보행 생물체가 회전 시 척추를 자연스럽게 꺾이도록 구현되었다. 본 논문에서는 게임캐릭터에 이동 IK를 적용했을 때와 적용하지 않았을 때를 비교하였으며, 이동 IK를 적용한 경우에 경로를 따라 이동하는 사족보행 캐릭터의 애니메이션이 자연스럽게 이루어짐을 확인하였다.

• 한국게임학회 논문지
• /
• 제16권6호
• /
• pp.79-90
• /
• 2016

최근 게임분야에서 수준 높은 인공지능 에이전트의 구현은 많은 주목을 받고 있다. 그 중 Monte-Carlo Tree Search(MCTS)는 완전 정보를 가진 게임에서 무작위 탐색을 통해 최적의 해를 구할 수 있는 알고리즘으로, 수식으로 표현되지 않는 경우에 근사치를 계산하는 용도로 적합하다. 하스스톤과 같은 Trading Card Game(TCG) 장르의 게임은 상대방의 카드와 플레이를 예측할 수 없기 때문에 불완전 정보를 가지고 있다. 본 논문에서는 불완전 정보 카드 게임에서 인공지능 에이전트를 생성하기 위해 MCTS 알고리즘을 응용하는 방법을 제안하고, 현재 서비스되는 하스스톤 게임에 적용하여 봄으로써 MCTS 알고리즘의 실용성을 검증한다.

• 한국게임학회 논문지
• /
• 제2권2호
• /
• pp.37-45
• /
• 2002

컴퓨터 게임은 실세계에 대한 시뮬레이션으로 간주되어질 수 있다. 소프트웨어 에이젼트의 제어 문제는 인공지능 분야에서 오랫동안 연구되어져 왔으며, 이는 행동기반 접근법이라는 것을 내놓았다. 인공지능 분야에서는 지금까지 크게 세 가지의 접근법을 볼 수 있다. 인지주의는 기호의 형태로 지능이 표현되어질 수 있고 다루어질 수 있다는 것을 제안하였으며, 연결주의에서는 표현이 신체 구조에 내포되어있어서 신체로부터 분리되어질 수 없음이 강조되었다. 행동기반 접근법에서는 인공지능은 동적인 성질을 가져서 어디서든지 존재하지 않는 대신에 에이젼트가 환경에서 행동할 때 비로소 우러나오는 성질을 가진 것으로 제시된다. 본 논문에서는 이러한 세 가지의 접근법을 비교하고 행동기반 접근법의 타당성과 문제점 에 대하여 논한다. 본 논문은 또한 행동기반 접근법의 컴퓨터 게임의 에이젼트 제어에 대한 활용을 제안한다.

• 한국멀티미디어학회논문지
• /
• 제23권6호
• /
• pp.772-783
• /
• 2020

Tsunami is a frightful natural disaster that causes severe damages worldwide. To minimize the damage, South Korea has built a tsunami warning system and designated evacuation sites in the east and south coasts. However, such countermeasures have not been verified whether they are adequate to minimize casualties since tsunami rarely occurs in South Korea. Recently, due to increasing earthquakes in the west coast of Japan, the likelihood of South Korea entering the damage area of tsunami rises; thus, in this paper, we develops a simulator based on Unity game engine to simulate the evacuation from tsunami. In order to increase the fidelity of the simulation results, the simulator applies a tsunami simulation model that analyzes coastal inundation based on cellular automata. In addition, the objects included in tsunami evacuation, such as humans, are modeled as an agent model that determines the situation and acts itself, based on the discrete-event system specification (DEVS), a mathematical formalism for describing a discrete event system. The tsunami simulation model and agent models are integrated and visualized in the simulator using Unity game engine. As an example of the use of this simulator, we verify the existing tsunami evacuation site in Gwangalli Beach in Busan and suggest the optimal alternative site minimizing casualties.