Analysis of Reinforcement Learning Methods for BS Switching Operation

기지국 상태 조정을 위한 강화 학습 기법 분석

Reinforcement learning is a machine learning method which aims to determine a policy to get optimal actions in dynamic and stochastic environments. But reinforcement learning has high computational complexity and needs a lot of time to get solution, so it is not easily applicable to uncertain and continuous environments. To tackle the complexity problem, AC (actor-critic) method is used and it separates an action-value function into a value function and an action decision policy. Also, in transfer learning method, the knowledge constructed in one environment is adapted to another environment, so it reduces the time to learn in a reinforcement learning method. In this paper, we present AC method and transfer learning method to solve the problem of a reinforcement learning method. Finally, we analyze the case study which a transfer learning method is used to solve BS(base station) switching problem in wireless access networks.

강화 학습은 변화하는 환경에서의 최적의 보상을 얻을 수 있는 행동을 결정하기 위한 정책을 얻는 기계 학습 기법이다. 하지만 기존에 연구되어 온 강화 학습은 불확실하고 연속적인 실제 환경에서 최적의 행동을 얻기 위해 발생되는 높은 계산 복잡도 문제와 학습된 결과를 얻기 위해서는 많은 시간이 소요 된다는 문제점을 가지고 있다. 앞에서 언급한 문제를 해결하기 위해, 높은 계산 복잡도 문제를 해결을 위해서는 강화 학습을 구성하는 가치 함수와 정책을 독립적으로 구성하는 AC(actor-critic) 기법이 제안되었다. 그리고 빠른 학습 결과를 얻기 위해 기 학습된 지식을 새로운 환경에서 이용하여 기존 학습보다 빠르게 학습 결과를 얻을 수 있는 전이 학습(transfer learning) 기법이 제안되었다. 본 논문에서는 기존에 연구되어 왔던 기계 학습 기법의 향상 기법인 AC 기법과 전이 학습 기법에 대해 소개하고, 이를 무선 액세스 네트워크 환경에서 기지국 상태 조정을 위해 적용되고 있는 사례를 소개한다.