Efficient Resource Allocation for Energy Saving with Reinforcement Learning in Industrial IoT Network

Abstract

Industrial Wireless Sensor Network (IWSN) is a key feature of Industrial IoT that enables industrial automation through process monitoring and control by connecting industrial equipment such as sensors, robots, and machines wirelessly, and must support the strict requirements of modern industrial environments such as real-time, reliability, and energy efficiency. To achieve these goals, IWSN uses reliable communication methods such as multipath routing, fixed redundant resource allocation, and non-contention-based scheduling. However, the issue of wasting redundant resources that are not utilized for communication degrades not only the efficiency of limited radio resources but also the energy efficiency. In this paper, we propose a scheme that utilizes reinforcement learning in communication scheduling to periodically identify unused wireless resources and reallocate them to save energy consumption of the entire industrial network. The experimental performance evaluation shows that the proposed approach achieves about 30% improvement of resource efficiency in scheduling compared to the existing method while supporting high reliability. In addition, the energy efficiency and latency are improbed by more than 21% and 38%, respectively, by reducing unnecessary communication.

IWSN(Industrial Wireless Sensor Network)는 센서, 로봇, 기계 등의 산업 장비들을 무선으로 연결하여 공정 모니터링 및 제어를 통한 산업 자동화 실현을 가능하게 하는 산업 IoT의 핵심 기술로써 실시간, 신뢰성, 에너지 효율 등 현대 산업환경의 엄격한 요구사항을 지원해야 한다. 이를 위해 IWSN에서는 다중 라우팅 경로 설정, 고정적 중복자원 할당 및 비경쟁 기반 스케줄링 등 신뢰적 통신 방식이 사용된다. 그러나 활용되지 않는 무선 자원의 낭비는 한정된 무선 자원의 효율뿐만 아니라 에너지 효율을 저하한다. 본 논문에서는 통신 스케줄링 시 강화학습을 활용하여 사용되지 않는 할당된 무선 자원을 파악하고, 이를 반영한 자원 재할당을 통해 전체 산업 네트워크의 에너지 소모를 절약하는 방안을 제안한다. 실험을 통한 성능평가 결과, 제안 방안은 높은 전송 신뢰성을 유지하면서도 기존 방법에 비해 약 30% 향상된 스케줄링 자원 효율을 보였다. 또한, 불필요한 통신을 줄임으로써 에너지 효율 및 전송지연이 각각 21%, 38% 이상 개선됨을 확인하였다.

I. Introduction

사물인터넷(IoT, Internet of Things) 기술을 산업 분야에 적용하여 활용하는 산업용 사물인터넷(IIoT, Industrial IoT) 은 최근 ICT 기술과 산업의 융합으로 이뤄지는 현재 진행형인 4차 산업혁명 시대의 핵심으로써, 컴퓨팅 장비, 센서, 로봇 등 수많은 산업 장비들이 유기적으로 상호작용하여 실시간 공정 모니터링 및 제어, 운영유지 관리 등 광범위한 산업응용 분야의 자동화를 목표로 한다[1]. IIoT가 적용되는 현대 산업현장에서는 자동화 기술의 핵심인 원격 모니터링 및 제어가 성공적으로 이뤄져야 하며, 이를 구현하기 위해서는 높은 신뢰성(High-reliability,)과 적시성(Real-time)을 지원할 수 있는 산업용 네트워크 기술이 필요하다. 즉, IIoT는 센서, 로봇, 기계 등이 상호 연결되어 산업 데이터를 적시에 신뢰적으로 전송, 분석 및 처리를 가능하게 하는 산업용 통신 네트워크를 기반으로 한다[2].

산업용 네트워크는 기존 유-무선 통신 기술들을 다양한 산업 분야 특성에 적합하도록 발전하는 추세로, 초기 산업 환경에서는 신호 간섭 및 손실에 강한 유선 케이블을 통해 산업 장비들을 연결하여 높은 신뢰성을 제공해왔다[3]. 그러나 유선 환경은 공정 변화에 따른 재배선, 부식, 단락 등의 문제가 있었으며 현대 산업환경이 점차 다변화되고 복잡한 구조를 가지게 됨에 따라, 무선 기술에 대한 수요가 증가해왔으며 다양한 무선 네트워크 기술을 산업 네트워크에 적용하려는 연구들이 진행되었다[4-5]. 현재 산업현장에서는 높은 신뢰성과 실시간성, 유연성, 에너지 효율 등 엄격한 산업 요구사항을 지원하기 위해 WPAN(e.g., BLE, Zigbee, WirelessHART), WLAN(e.g., 802.11 계열), WWAN(e.g., LTE/5G, LPWAN), WSN(Wireless Sensor Network) 등 산업 가동 범위와 응용 목적에 따라 적합한 무선 네트워크 솔루션들이 적용되고 있다[6-9]. 특히 실제 공장 환경에 특화되어 WFAN(Wireless Factory Area Network)로도 분류되는 WirelessHART는 대표적인 산업 자동화 관련 표준으로써, 다양한 분야의 공정 모니터링 및 자동화 환경에 세계적으로 널리 적용되고 있는 산업용 무선 센서 네트워크(IWSN, Industiral WSN) 기술이다[10].

IWSN은 Fig. 1과 같이, 무선 통신 및 센싱 기능을 갖춘 산업용 장비들과 게이트웨이, 그리고 전체 네트워크를 형성하고 관리하는 네트워크 매니저(NM, Network Manager) 등으로 구성된다. NM은 산업 장비 간 저전력 기반 신뢰적인 무선 통신을 제공하기 위해 종단 간 이상적인 라우팅 경로를 구성 및 구성된 경로를 바탕으로 시간/주파수로 구분되는 자원을 고정적으로 할당하여 통신을 스케줄링하는 핵심 역할을 담당한다.

Fig. 1. Industrial Wireless Sensor Networks

산업 데이터의 전송 경로는 각 산업 장비가 관리하는 Neighbor table 및 Signal level 등의 정보를 바탕으로, 종단 간 기본 경로(Primary path)와 오류를 대비한 대체경로(Back-up path)들이 존재하도록 그래프 형태(i.e., Routing Graph)로 구성된다. NM은 생성 경로를 바탕으로 Time Slot과 Channel offset으로 구성되는 슈퍼프레임(Superframe) 형태의 스케줄 내 모든 장비 간 링크에 대해 고정적인 자원을 할당하여 어떤 장비가 어떤 시간에 어떤 채널에서 통신할지 스케줄링한다. 이때, 각 링크의 재전송 및 대체 경로에 대한 자원을 중복적(Redundant)으로 할당함으로써 무선 충돌, 경로 오류 등에 대비하여 실시간성 및 고신뢰적 통신을 지원한다[11]. 이처럼, 설정된 다중경로를 기반으로 스케줄링 시, 고정적인 자원을 할당하는 기존 방식은 다양한 산업응용의 요구사항에 적합하도록 공정을 계획할 수 있으나, 높은 중복성 정책(재전송, 대체 경로)으로 인해 실제 활용되지 않는 무선 자원의 낭비가 발생한다. 이는 한정되어있는 주파수 자원의 자원효율 문제뿐만 아니라 배터리 전력을 기반으로 동작하는 산업 장비들의 불필요한 에너지 소모를 야기하여 네트워크 전체수명을 단축시키는 문제를 낳는다.

이에 본 논문에서는 네트워크 매니저의 통신 스케줄링 시, 고정적으로 할당되는 무선 자원 중 실제 통신에 활용되지 않고 낭비되는 자원을 주기적으로 파악하기 위해 보상 최적화와 관련된 대표적 강화학습의 한 형태인 MAB(Multi-Armed Bandit) 알고리즘을 활용한다. MAB은 한정된 자원에 대해 여러 가지 불확실한 옵션 중 최적으로 분배하는 방법을 선택하는 상황에 효과적으로 사용될 수 있다[12]. 이를 통해 네트워크 매니저가 낭비되는 고정적 할당 자원들을 반영하여 재스케줄링함으로써 각 산업 장비의 통신이 불필요한 유휴 상태에서 에너지 소모 감소를 도모한다. 제안 방안을 통해 신뢰적인 네트워크 환경 제공을 위한 중복성 정책을 유지하면서도 효율적 자원할당을 통한 슈퍼프레임 스케줄링으로 전체 네트워크 에너지 효율을 개선할 수 있다.

본 논문의 구성은 다음과 같다. 2장에서 기존 IWSN 기술 및 MAB 알고리즘에 대한 배경과 관련 연구를 소개하고, 3장에서는 제안 방안에 대한 구체적인 설명과 함께 실험을 통한 성능평가 결과를 설명한다. 마지막으로 4장에서 본 연구 및 향후 연구 방향에 대한 고찰과 함께 논문을 결론짓는다.

II. Preliminaries

1. Related works - Backgrounds

1.1 Scheduling in Industrial WSN

산업용 무선 센서 네트워크에서는 주어진 주파수 면허대역(i.e., 2.4GHz-ISM Bands)의 한정된 무선 자원을 바탕으로 기기 간 무선 충돌 및 간섭을 최소화하여 안정적인 무선 통신을 제공할 수 있는 스케줄링 기술이 요구된다. IWSN의 스케줄링은 자원의 제약이 있어 최적해를 찾기 위한 명확한 알고리즘이 존재하지 않아 최대한 좋은 결과를 찾아야 하는 NP-Hard 문제로 분류되며 제한된 주파수 자원 내에서 신뢰성, 실시간성, 에너지 효율 등을 최대한 충족하는 MAC(Medium Access Control) 프로토콜이 적용되어야 한다[13]. 일반적으로 MAC 프로토콜 메커니즘은 경쟁 기반(Contention-based) 방식과 비경쟁 기반(Contention-free) 방식으로 구분된다. 경쟁 기반 스케줄링은 기기가 채널을 탐색하여 사용이 가능할 경우 전송할 데이터를 보내는 CSMA(Carrier-Sense Multiple Access) 방식이며, 비경쟁 기반 방식은 기기가 주어진 채널에서 각자 데이터 전송을 위해 고정된 시간 동안 필요 자원을 독점하여 사용하는 TDMA(Time Division Multiple Access)가 대표적이다[14]. TDMA와 같은 비경쟁 기반 스케줄링 방식은 기기 간 전송 충돌이 없으며 전송지연을 예측할 수 있어, 신뢰성과 실시간성을 요구하는 산업 네트워크에 주로 사용되고 있다. 대표적인 IWSN 표준인 WirelessHART(IEC 62591)에서는 TDMA 기반의 MAC 프로토콜인 TSCH(Time-Slotted Channel Hopping) 메커니즘의 통신 스케줄링을 사용한다. Fig. 2는 라우팅 그래프 경로를 바탕으로 하는 IWSN의 TSCH 스케줄링 예시를 보여준다. 네트워크 매니저는 생성된 라우팅 그래프의 기기간 모든 링크의 송/수신에 대해 Time slot 및 Channel offset으로 구분되는 Superframe 테이블에 고정적인 자원을 할당하여 통신을 스케줄링한다. 이때, 전송 실패 및 경로 오류를 대비한 재전송, 대체 경로를 위한 중복(Redundancy) 자원을 할당하여 신뢰성을 제공한다.

Fig. 2. Superframe scheduling example in IWSN

1.2 Reinforcement Learning - MAB

기계학습(ML, Machine Learning)은 컴퓨팅 시스템이 데이터를 분석하고 패턴을 학습하여 새로운 데이터에 대한 추론이나 결정을 수행할 수 있는 능력을 갖추는 것을 목적으로 한다. ML은 충분한 양의 데이터를 학습하여 새로운 데이터의 예측이나 분류를 목표로 하는 지도/비지도 학습, 시스템이 환경과의 상호작용을 통해 얻은 경험을 통해 최적의 전략을 학습하는 것에 중점을 두는 강화학습(RL, Reinforce Learning) 등으로 분류된다. 특히 RL은 초기 학습데이터 필요 없이, 시스템이 시행착오를 거치며 학습하는 과정을 통해 목표를 달성하기 위한 최적의 전략도출을 목적으로 한다[15]. 따라서 RL은 산업현장의 무선네트워크 환경과 같이 채널 가용성, 자원 효율 등이 동적으로 변화하는 환경에서 최적의 의사결정을 내리고 추론하기 위해 활용될 수 있는 해결책이라 볼 수 있다.

MAB(Multi-Armed Bandit)은 대표적인 강화학습의 한 형태로, 한정된 자원에 대해 여러가지 불확실한 옵션 중 최적으로 분배하는 방법을 선택하는 상황에 효과적으로 사용될 수 있다[16]. 각기 다른 슬롯 머신(Armed Bandit)이 서로 다른 확률로 보상을 제공한다고 할 때, 가장 많은 보상을 얻기 위해 어떤 머신을 선택해야 최대의 보상(Reward)을 얻을 수 있는지를 추론하는 전략이다. MAB 알고리즘의 핵심은 탐색(explore)-활용(exploit) 간 균형을 맞추는 것으로, 더 나은 결과를 얻을 가능성을 모색하는 탐색과 현재까지 수집한 정보를 바탕으로 최적의 결정을 내리는 활용 단계를 적절히 조절해야 한다. 이러한 과정에 사용되는 대표적 MAB 알고리즘인 ε-greedy 방식은 일정 확률(ε)로 알려지지 않은 랜덤한 머신(Arm)을 선택하고, 나머지 확률로 알려진 보상(Reward)이 가장 높은 Arm을 선택하는 방식으로 동작한다. 본 논문에서는 IWSN 환경에 MAB 알고리즘을 적용함으로써, 한정된 무선 자원을 효과적으로 활용할 수 있도록 할당하여 스케줄링하고 개선되는 네트워크 성능을 확인하고자 한다.

2. Related works – Literature Review

IWSN은 일반적으로 산업응용의 목적 달성을 위해 계획된 토폴로지를 기반으로 신뢰성, 저지연, 에너지 효율 등 다양한 요구사항을 지원할 수 있는 전송 스케줄링이 필요하다. 스케줄링은 라우팅 그래프 경로를 기반으로 하며 이와 관련된 다양한 연구가 진행되고 있다. [17]의 연구에서는 링크의 신뢰도를 계산하여 생성되는 라우팅 그래프를 바탕으로, 대체 경로에 해당되는 슈퍼프레임을 병렬로 관리하고 이 주기를 2배로 늦춰, 할당되는 자원의 수를 줄임으로써 Schedulability를 개선하였다. 그러나 더 긴 길이의 주기를 갖는 슈퍼프레임은 지연 증가를 초래할 수 있다. [18]에서는 모든 기기 간 링크에 대해 전송 및 재전송을 위한 자원을 할당하는 중복성 정책을 사용하지만, 서로 다른 데이터의 전송 경로가 중복되는 구간에서는 패킷을 병합함으로써, 할당되는 자원을 감소시키는 결과를 도출하였다. 그러나 이러한 방식은 한 slot에서 수용할 수 있는 packet size가 한정적이며 전송 Fail 시 유실되는 정보가 많아져 고신뢰 산업응용에서는 치명적일 수 있다. [19-21]의 연구들은 중앙의 NM이 스케줄링을 관리하는 것과 달리, 각 산업 장비들이 이웃 노드들과 통신하며 고유한 라우팅 정보를 구축하고 채널 및 슬롯 시간을 스케줄링하여 공유하는 분산형 네트워크 관리 방식을 제안하였다. 분산형 방식은 네트워크 변화에 동적으로 대응함으로써 유연성과 확장성을 제공할 수 있지만, 모든 장비가 실시간으로 통신을 스케줄링하기 어렵고 전송 충돌이 발생할 확률이 높으며 각 장비의 소모 전력이 많아지는 문제가 있다. [22]의 연구에서는 ML-선형회기학습을 통해 이동 노드의 실제 통신이 일어나는 패턴을 파악하고 필요한 통신자원을 할당함으로써 고정적으로 할당되는 스케줄링 자원을 줄였으나 재전송, 대체 경로 등 신뢰성 지원을 위한 Redundancy 정책을 고려하지 않고 있다.

정리하자면, 각기 다른 산업응용의 목적 달성을 위해 라우팅 및 스케줄링과 같은 네트워크 관리 측면의 연구들이 진행되고 있으나, 현대적으로 변화하는 산업환경을 효과적으로 지원하기 위해서는 기존 네트워크 기술과 호환을 제공하면서도 자원 효율적인 네트워크 관리 방안이 요구된다. 본 연구에서는 산업환경에서 네트워크 자원 최적화를 위해 RL-MAB을 적용한 자원 할당 및 스케줄링 방식을 제안하여 신뢰성과 실시간성을 지원하면서도 에너지 효율, 자원 효율 등의 네트워크 성능 개선을 도모하고자 한다.

III. The Proposed Scheme

1. MAB-based Resource Allocation

1.1 Scheduling Update

본 연구는 IWSN의 산업 데이터 전송에 사용되는 통신 스케줄링 시, 강화학습 기법인 MAB을 적용하여 활용되지 않고 낭비되는 무선 할당 자원을 파악하고 이를 자원 재할당 및 스케줄링 업데이트에 반영함으로써 자원 효율, 에너지 효율 등의 네트워크 성능 개선을 목표로 한다.

기존 IWSN에서 NM은 각 소스 노드로부터 목적지 노드까지의 데이터 전송을 위해 종단 간 그래프 경로를 계산하고, 이를 기반으로 Time slot, Channel offset으로 구분되는 자원을 Superframe에 고정적으로 할당한다. 이때, 각 데이터 흐름(Data flow) 간 전송 충돌을 피하기 위한 Superframe 스케줄링 시 고려되는 규칙은 다음과 같다.

• 기기 간 통신은 slot 0부터 충돌이 없도록 channel offsets에 할당 시작

• 가장 빠른 publish data 요구사항이 먼저 할당

• publish data의 목적지는 항상 중앙의 gateway

• 스케줄링 시, 슈퍼프레임의 길이는 장비의 scan rate에 의해 결정

• 빠른 scan rate부터 느린 scan rate 순으로 slot 할당

• Gateway에서 먼 장비부터 시작하여, Gateway로 향하는 경로마다 하나의 dedicated link가 할당되며, 해당 경로에 대해 재시도를 위한 dedicated slot 또한 할당

• 경로 오류를 대비하여, 각 전송마다 다른 경로에서도 재전송을 시도하도록 스케줄링

• 하나의 기기는 한 Slot에서 한 번만 송신 혹은 수신하도록 스케줄링

제안 방안에서는 이러한 스케줄링 규칙을 기반으로 RL-MAB 알고리즘을 적용하고, 네트워크 상황에 따라 사용되지 않는 할당된 중복자원들을 줄여나간다. Table 1은 각 data flow의 활용되지 않는 낭비 자원들을 파악하고 Superframe에 스케줄링 되어야 할 자원 할당량을 업데이트하여 스케줄링에 반영하는 과정을 보여준다.

Table 1. Proposed Scheduling Update Algorithm

각 기기로부터 일정 주기로 발생되는 산업 데이터(센싱 데이터)들은 네트워크 매니저가 초기 설정한 경로 그래프 G(V,E)를 따라 목적지 노드까지 전달되는 종단 간 데이터 흐름(Data Flow, F=f₁, f₂, ..., f_n)을 갖는다. 각 data flow들은 링크 상태, 홉 수 등의 네트워크 정보를 바탕으로 계산된 기본 경로(Primary Path)와 대체 경로(Back-up Path)를 가지며 이들을 구성하는 링크들이 고정적으로 슈퍼프레임 스케줄 내 할당된다. 이 과정에서, 각 Data flow 마다 중복자원으로 볼 수 있는 재전송 및 대체 경로에서의 재전송에 고정적으로 할당되는 자원의 사용 여부를 강화 학습을 통해 분석하고 스케줄링을 업데이트함으로써 자원의 낭비를 줄이는 것이 핵심이다. 네트워크 매니저는 중복자원들을 고정적으로 할당한 초기 스케줄링 대비, 주기적(Superframe 주기)으로 네트워크 신뢰성을 파악하여 안정적일 경우 각 data flow에 할당된 재전송, 대체 경로 자원 들을 줄여나간다. (단, 기본 경로에 할당된 자원은 줄이지 않는다). 만약 각 data flow의 전송 과정에서 전송오류가 있었다면 반드시 중복자원은 활용되어야 하므로 해당 주기에서는 자원을 줄이지 않는다.

1.2 MAB-based Resource Allocation

강화학습의 대표적 분야로 분류되는 MAB 알고리즘은 환경의 변동성이나 다양한 요구사항을 파악하여 특정 상황에서 적합한 탐색(Exploration)과 활용(Exploitation)의 균형을 찾는 것이 중요하다. 본 연구에서는 다양한 산업장비가 배치되고 한정된 무선자원, 구현의 복잡성 등이 요구되는 IWSN 환경에서 MAB의 대표적 알고리즘인 e-greedy 알고리즘을 적용하고 실험적 접근을 통해 자원할당 및 스케줄링 문제를 최적화하는 것을 목적으로 한다. MAB을 적용하기 위한 기본적인 용어는 다음과 같다.

• A_t : t 시점에서 선택된 행동(Action)

• R_t : t 시점에서 행동에 따른 보상(Reward)

• Q_t(a) : t 시점에 추정되는 행동 a의 가치(Value) 혹은 기대 보상

ε-greedy 알고리즘은 시스템의 변동성이 크지 않은 환경에 적합한 방식으로, 식(1)과 같이 ε의 확률로 탐색을 시도하고, 1-ε의 확률로 가장 보상이 높았던 행동을 활용한다.

\(\begin{align}A_{t}=\left\{\begin{array}{l}\arg \max Q_{t}(a) \text { withprobability } 1-\epsilon \\ \text { arandomaction withprobability } \epsilon\end{array}\right.\end{align}\)       (1)

이를 스케줄링 업데이트에 적용한 절차는 Table 2와 같다. 네트워크 매니저는 초기 설정된 Superframe 스케줄 기반으로 네트워크를 운영하면서 각 data flow의 전송 상태와 할당된 자원 사용 유무를 파악한다. 이때, 네트워크 매니저는 MAB을 활용하여 Superframe 주기마다 자원 할당량을 파악하여 전송의 신뢰성을 유지하면서도 최소의 자원 할당량으로 스케줄링된 Superframe을 보상값으로 선택하여 적용한다. ε-greedy 알고리즘에서는 ε의 확률로 탐색하지 못한 경우의 수 결과를 고려하여 스케줄링 선택에 반영한다.

Table 2. Proposed Scheduling Update Algorithm

Fig. 3은 제안 방안을 적용했을 때 이상적으로 스케줄링이 업데이트된 결과의 예시를 보여준다. 기존 스케줄링 시에는 기본 경로, 대체 경로 및 재전송을 위한 중복자원이 모두 할당되어 있으나, 강화학습을 통해 활용되지 않는 할당 자원을 파악하고 스케줄링 업데이트 시 이를 반영한 자원 재할당으로 자원 효율적인 스케줄링 결과를 낳는다. 이러한 스케줄링 결과는 산업 장비의 통신이 불필요한 유휴 상태에서 에너지 소모를 절감할 수 있도록 하여 전체적인 산업 네트워크의 에너지 효율을 향상시킨다.

Fig. 3. Updated schedule with proposed scheme

2. Performance Evaluation

2.1 Experimental Environments

본 연구의 목표는 산업용 무선 네트워크에 사용되는 통신 스케줄링 시, 산업응용의 요구사항을 지원하면서도 불필요하게 낭비되는 중복 할당 자원을 줄여나가 전체 네트워크의 에너지 효율을 개선하는 것에 있다. 이에, 산업용 무선 네트워크에서 핵심적으로 요구되는 신뢰성, 실시간성, 자원 효율, 에너지 효율 등을 성능평가 항목으로 분류하고 기존 IWSN과 제안 방안의 스케줄링 방식을 비교 분석하였다.

성능평가는 산업용 IoT의 IEEE 802.15.4e 기반 MAC 계층 프로토콜 시뮬레이터로 널리 사용되고 있는 TSCH-sim[23]을 사용하여 IWSN을 가정한 무선 메시 네트워크 토폴로지를 구축하고 Table 3과 같은 네트워크 환경을 설정하였다.

Table 3. Experimental Environments

2.2 Experimental Results

먼저 본 연구에서 주로 해결하고자 하는 산업 네트워크의 자원 효율 측면에서 제안 방안의 성능을 평가하였다.

Fig. 4는 매 슈퍼프레임 스케줄의 주기가 반복될 때마다 할당되는 자원량을 보여준다. 기존 IWSN의 자원 할당량은 고정적인 자원 할당 메커니즘으로 인해 일정하지만, 제안 방안의 경우 강화학습을 통해 활용되지 않는 고정적 자원을 제거함에 따라 주기가 반복될수록 고정적으로 할당되는 자원량이 30% 내외로 감소하며 수렴하는 것을 확인할 수 있다. 즉, 기존 IWSN에 비해 더 낮은 자원 점유율의 통신 스케줄링이 가능함을 보인다.

Fig. 4. Result of Resource Efficiency (Allocated Resource per Superframe)

제안 방안의 자원 효율적 스케줄링을 통해 실제 활용되지 않는 낭비 자원을 줄임으로써 산업 장비 간 통신이 불필요한 유휴 상태의 에너지 소모를 절약할 수 있다. Fig. 5 및 Fig. 6은 네트워크 링크 품질(Link Quality) 및 data flow의 변화에 따른 네트워크 에너지 소모량을 비교한 결과를 보여준다. 링크 품질이 좋지 않을 경우, 재전송 및 대체 경로에서의 재전송이 일어날 확률이 높아 에너지 소모량은 링크 품질이 안 좋을수록 제안 방안과 기존 방법 모두 에너지 소모량이 많음을 확인할 수 있다. 그러나 제안 방안에서는 할당되는 자원의 수를 감소시킴으로써 유휴상태 time-slot이 확보되어, 기존 기법에 비해 각 노드는 약 20% 이상 에너지 소모가 줄어든 것을 확인할 수 있다. 또한 네트워크 내 data flow가 많아질수록 소모되는 에너지는 많아지지만, 제안 방안은 슈퍼프레임 내 할당되는 자원의 수를 줄임으로써 해당 슬랏에서 소모되는 전력을 줄일 수 있어 기존 IWSN의 스케줄링에 비해 소모되는 전력이 21% 이상 감소함을 확인할 수 있다.

Fig. 5. Result of Energy Efficiency (Energy Consumption with Link Quality)

Fig. 6. Result of Energy Saving (Energy Consumption with varying Data flows)

제안 방안에서는 낭비되는 자원을 줄이면서도 산업 요구사항인 신뢰성과 실시간성을 지원해야 한다. Fig. 7 및 Fig. 8은 네트워크 링크 품질에 따라 네트워크 내 생성된 데이터들이 End-to-End 경로를 통해 목적지까지 성공적으로 도착하는 평균 전달 성공률(PDR, Packet Delivery Rate) 및 평균 전달 지연 성능을 보여준다. 제안 방안은 더 적은 자원을 사용하면서도 기존 IWSN의 전송 신뢰성을 제공함을 확인할 수 있다. 특히 전달 지연 측면에서, 제안 방안은 낭비되지 않는 무선 자원을 줄임으로써 각 data flow에 대한 스케줄링을 기존 더욱 조밀하게 하여 평균 전달 지연시간이 38% 이상 단축됨을 확인할 수 있다.

Fig. 7. Result of Reliability Evaluation (End-to-End Packet Data Ratio)

Fig. 8. Result of Real-time Evaluation (End-to-End Delivery Latency)

Table 4는 각 평가 항목별(자원 효율, 에너지 효율, 신뢰성, 실시간성) 제안 방안의 성능을 기존 기법과 비교하여 요약한 결과를 보여준다. 제안 방안은 IWSN에서의 스케줄링을 위한 자원 할당 시, 강화학습-MAB 알고리즘을 적용하여 기존 중복 자원 할당 정책으로 낭비되는 자원을 줄인다. 성능평가 결과 제안 방안은 슈퍼프레임 스케줄 주기 내 할당되는 자원 점유율을 기존 기법에 비해 약 30% 이상 감소시켜 자원효율을 개선하면서도 높은 전송 성공률을 유지하는 결과를 보여주었다. 또한 통신 스케줄 내 자원 점유율의 감소는 산업장비의 불필요한 수신 대기 시간을 줄임으로써 평균 21.2%의 에너지 소모량이 절약되었으며, 실시간 전송 측면에서도 평균 38.7% 이상의 전달 지연 시간이 개선되었다.

Table 4. Summary of performance evaluation

IV. Conclusions

본 논문에서는 현대 산업현장에 적용되고 있는 산업용 IoT의 기반 기술인 산업용 무선 네트워크에 대해 다루었다. 실제 공장 자동화 환경에서 사용되고 있는 산업용 무선 센서 네트워크는 신뢰성, 실시간성, 에너지 효율, 자원효율 등 다양한 산업응용의 요구사항을 지원해야 하며 이와 관련된 많은 연구가 진행되고 있다. 본 연구에서는 이러한 요구사항들을 지원하기 위한 핵심인 통신 스케줄링 시, 강화학습의 한 형태인 MAB 알고리즘을 활용하여 통신에 활용되지 않는 할당된 무선 자원들을 파악하고 이를 반영한 자원 재할당 및 스케줄링 업데이트를 통해 불필요한 통신을 줄여 전체 네트워크의 에너지 효율 개선을 도모하였다. 실험을 통한 성능평가 결과, 제안 방안은 데이터 전송의 높은 신뢰성을 지원하면서도, 자원 효율 측면에서 기존 기술에 비해 30% 이상 개선된 자원 점유율을 갖는 스케줄링 결과를 보임을 확인하였다. 또한, 네트워크 에너지 소모량 및 실시간 전송 지원 측면에서는 산업 장비의 불필요한 통신을 줄임으로써 기존 기법에 비해 각각 21%, 38% 이상의 성능개선을 확인하였다. 현대 산업환경은 인공지능, 로봇 기술 등의 발전으로, 이를 활용할 수 있는 적합한 무선 네트워크 기술을 산업에 적용하려는 연구가 진행되고 있다. 특히 산업 IoT는 이동통신망 활용에 적합한 분야로, 향후 본 연구를 확장하여 기존 산업망과 개방형 이동통신망 연동 시나리오를 연구하고 이를 활용한 산업 자동화 환경의 이동성 지원, 자원 및 에너지 효율 등의 네트워크 성능개선 방안에 대해 연구하고자 한다.