Journal of the Korea Society of Computer and Information (한국컴퓨터정보학회논문지)

Korean Society of Computer Information (한국컴퓨터정보학회)
권호 표지
DOI QR코드

DOI QR Code

Path Loss Prediction Using an Ensemble Learning Approach

  • Beom Kwon (Div. of Interdisciplinary Studies in Cultural Intelligence (Data Science Major), Dongduk Women's University) ;
  • Eonsu Noh (Agency for Defense Development)
  • Received : 2024.01.25
  • Accepted : 2024.02.16
  • Published : 2024.02.29
Download PDF
⟨ Previous Next ⟩

Abstract

Predicting path loss is one of the important factors for wireless network design, such as selecting the installation location of base stations in cellular networks. In the past, path loss values were measured through numerous field tests to determine the optimal installation location of the base station, which has the disadvantage of taking a lot of time to measure. To solve this problem, in this study, we propose a path loss prediction method based on machine learning (ML). In particular, an ensemble learning approach is applied to improve the path loss prediction performance. Bootstrap dataset was utilized to obtain models with different hyperparameter configurations, and the final model was built by ensembling these models. We evaluated and compared the performance of the proposed ensemble-based path loss prediction method with various ML-based methods using publicly available path loss datasets. The experimental results show that the proposed method outperforms the existing methods and can predict the path loss values accurately.

경로 손실(Path Loss)을 예측하는 것은 셀룰러 네트워크(Cellular Network)에서 기지국(Base Station) 의 설치 위치 선정 등 무선망 설계에 중요한 요인 중 하나다. 기존에는 기지국의 최적 설치 위치를 결정하기 위해 수많은 현장 테스트(Field Tests)를 통해 경로 손실 값을 측정했다. 따라서 측정에 많은 시간이 소요된다는 단점이 있었다. 이러한 문제를 해결하기 위해 본 연구에서는 머신러닝(Machine Learning, ML) 기반의 경로 손실 예측 방법을 제안한다. 특히, 경로 손실 예측 성능을 향상시키기 위해서 앙상블 학습(Ensemble Learning) 접근법을 적용하였다. 부트스트랩 데이터 세트(Bootstrap Dataset)을 활용하여 서로 다른 하이퍼파라미터(Hyperparameter) 구성을 갖는 모델들을 얻고, 이 모델들을 앙상블하여 최종 모델을 구축했다. 인터넷상에 공개된 경로 손실 데이터 세트를 활용하여 제안하는 앙상블 기반 경로 손실 예측 방법과 다양한 ML 기반 방법들의 성능을 평가 및 비교했다. 실험 결과, 제안하는 방법이 기존 방법들보다 우수한 성능을 달성하였으며, 경로 손실 값을 가장 정확하게 예측할 수 있다는 것을 입증하였다.

Keywords

I. Introduction

셀룰러 네트워크(Cellular Network)에서 셀(Cell)이란 기지국(Base Station)이 통제할 수 있는 개별 서비스 영역을 의미하며, 이 영역은 전계 강도계(Field Strength Meter)로 실측하여 얻어진 전계 강도 값을 토대로 결정된다[1]. 일반적으로 전계 강도는 주변 환경의 영향을 받는다. 예를 들어, 고층 건물의 내부, 산 또는 언덕의 뒤편, 터널이나 지하철 등과 같이 전파가 지나는 경로상에 여러 가지 장애물이 있는 지역에서는, 이동통신사의 기지국이 송신하는 전파를 수신할 수 없는 지역 즉, 음영 지역이 발생하게 된다. 음영 지역에 위치하는 이동국(Mobile Station)은 기지국과의 통신이 끊어져, 원하는 이동통신 서비스를 제공받을 수 없게 된다. 따라서 음영 지역을 최소화하고 이동국에게 이동통신 서비스를 안정적으로 제공하기 위해서는, 전파 환경 분석을 통해 기지국의 설치 위치, 설치 수량 등을 결정하는 무선망 설계가 필수적이다[2-4].

무선망 설계 시, 전파가 유효하게 도달할 수 있는 범위를 추정하고 기지국의 송신 전력(Transmission Power), 안테나의 위치 및 이득 등을 결정하기 위해서는 먼저 경로 손실(Path Loss)을 예측해야 한다. 여기서 경로 손실이란 송신기와 수신기가 사이에 신호가 전파되는 동안 주변 환경에 의해 신호 세기가 감소하는 현상을 의미한다. 만약 기지국과 이동국 사이에 장애물이 많아 경로 손실이 크게 발생하여 이동국이 수신한 신호의 세기가 일정 크기보다 작아질 경우, 이동국은 해당 신호를 디코딩(Decoding)할 수 없다. 따라서 경로 손실을 예측하는 것은 기지국 설치 위치 선정에서 있어 중요한 요인 중 하나다[5].

지난 수십 년간, 여러 가지 경로 손실 모델들이 제안되었고, 이 모델들은 경험적 모델(Empirical Model)과 결정론적 모델(Deterministic Model)의 두 가지 그룹으로 분류할 수 있다. 경험적 모델은 특정 전파 환경에서 주어진 주파수 범위 내에서 얻은 측정값을 기반으로 한다. 경험적 모델의 대표적인 예로, Hata[6], Okumura[7] 모델 등이 있으며, 모두 측정값을 기반으로 개발되었다. 경험적 모델은 간단하고, 조정해야 할 매개변수(Parameter)가 많지 않다는 장점이 있다. 그러나 경험적 모델은 특정 전파 환경에서 얻은 측정값에 의존하여 매개변수를 조정 및 설정하기 때문에, 측정값을 얻었던 환경과 다른 환경에 해당 모델을 적용하게 될 경우, 예측 정확도가 보장되지 않는다는 단점이 있다.

결정론적 모델은 전자기학 이론을 기반으로 한다. 결정론적 모델은 레이 트레이싱(Ray-Tracing) 및 유한 차이 시간 영역(Finite-Difference Time-Domain) 방법을 사용하여 특정 위치에서 정확한 경로 손실 값을 제공한다[8,9]. 그러나 결정론적 모델은 경로 손실을 예측하기 위해 특정 지역의 2차원 또는 3차원 지도와 장애물의 유전체(Dielectric) 특성과 같은 상세한 기하학적(Geometric) 데이터가 필요하다. 일반적으로 이러한 기하학적 데이터는 용량이 크기 때문에, 계산량이 많고 경로 손실 예측값을 얻기까지 계산 시간이 상대적으로 길다는 단점이 있다.

최근 머신러닝(Machine Learning, ML)은 컴퓨터 비전(Computer Vision), 자연어 처리, 무선 통신 등 다양한 분야에서 큰 관심을 받고 있다[10-16]. 경로 손실 값은 실숫값으로 표현되기 때문에, ML 관점에서 경로 손실 예측 문제는 회귀 문제다. 이에 선행 연구들에서는 서포트 벡터머신(Support Vector Machine, SVM), k-최근접 이웃(k-Nearest Neighbors, k-NN), 랜덤 포레스트(Random Forest, RF), 다층 퍼셉트론(Multilayer Perceptron, MLP) 등의 회귀 알고리즘을 적용하여 경로 손실 값을 예측하는 방법을 제안했다. 예를 들어, [17]에서 Ostlin et al.은 ML 기반 경로 손실 예측 모델이 경험적 모델보다 경로 손실 값을 더 정확하게 예측할 수 있고, 결정론적 모델보다 계산 효율이 더 높다는 것을 실험적으로 보였다. 이 결과로부터 많은 연구자들은 기존의 경험적 모델과 결정론적 모델을 대체할 수 있는 잠재적 대안으로 ML 기반 경로 손실 예측 모델에 주목했다.

본 연구에서는 선행 연구들에서 ML 기반 모델이 보여준 연구 결과에 착안하여, 경로 손실 예측 성능 향상 방법을 연구했다. 본 연구의 주요 기여 포인트는 다음과 같다.

⦁ 경로 손실 값을 정확하게 예측할 수 있는 앙상블(Ensemble) 모델을 제안한다. 제안하는 앙상블 모델은 여러 개의 k-NN으로 구성되며, 앙상블 모델의 다양성을 확보하기 위해서 부트스트랩 데이터 세트(Bootstrap Dataset)를 활용하여 각 k-NN에 대해 하이퍼파라미터(Hyperparameter) 최적화를 수행한다.

⦁ 제안하는 앙상블 모델의 우수성을 입증하기 위하여, 공개 데이터 세트를 이용하여 제안 모델을 평가한다. 또한 SVM, k-NN, RF, 결정 트리(Decision Tree, DT), 다중 선형 회귀(Multiple Linear Regression, MLR), 라쏘(Lasso), 릿지(Ridge), Elastic Net, MLP 등 9가지 ML 기반 경로 손실 예측 모델을 구현하여 제안하는 모델과 성능을 비교한다.

본 논문의 구성은 다음과 같다. Ⅱ장에는 ML 기반 경로 손실 예측 방법과 관련된 기존 연구들에 대한 검토 내용이 기술되어 있다. Ⅲ장에는 본 연구에서 제안하는 경로 손실 예측 방법이 기술되어 있다. Ⅳ장에는 제안하는 방법과 벤치마크(Benchmark) 방법의 성능 평가를 위해 사용된 평가 지표, 실험 환경 및 성능 평가 결과가 기술되어 있다. Ⅴ장에서는 본 논문의 결론 및 향후 과제에 대해 기술되어 있다.

II. Related Work

지난 수십 년간, 회귀 알고리즘을 통해 경로 손실 값을 예측하는 연구가 꾸준히 이루어져 왔다. 예를 들어, [18]에서 Piacentini et al.은 방사형 기저 함수(Radial Basis Function)를 커널(Kernel)로 사용하는 SVM을 이용하여, 경로 손실 값을 예측하는 방법을 제안했다. 일반적으로 SVM 알고리즘에서는 다양한 종류의 커널이 사용될 수 있으며, SVM의 성능은 사용된 커널에 따라 달라진다. 이에 [19]에서 Timoteo et al.은 다항식(Polynomial), 가우시안(Gaussian), 라플라시안(Laplacian) 커널을 각각 사용하는 세 가지 SVM의 경로 손실 예측 성능을 비교했다. 실험 결과에 따르면, 라플라시안 커널을 사용하는 SVM이 다른 두 커널을 사용하는 SVM들보다 성능이 뛰어났다. 또한 Timoteo et al.은 세 가지 SVM을 두 가지 경험적 모델(Hata 및 Ericsson 9999 모델)과도 성능 비교를 했는데, 세 가지 SVM 모두 경험적 모델보다 우수한 성능을 보였다. 이후에도 SVM은 ML 기반 경로 손실 예측 연구에서 꾸준히 사용됐다[20-23]. SVM 이외에도, 회귀 알고리즘으로 널리 알려진 k-NN과 RF 또한 경로 손실 예측에 사용됐다[21-23].

경로 손실 예측을 위해 MLP를 활용하는 방법들도 연구됐는데, 대부분의 연구에서 MLP의 성능을 극대화하기 위해서 하이퍼파라미터 최적화를 수행했다. 하이퍼파라미터는 모델이 데이터로부터 스스로 학습할 수 없는 파라미터를 의미하며, MLP의 하이퍼파라미터로는 은닉층(Hidden Layer)의 개수, 각 은닉층에서 뉴런(Neuron)의 개수, 활성화 함수의 종류 등이 있다. [17]에서 저자들은 MLP의 경로 손실 예측 성능과 은닉층의 개수 사이의 관계를 조사했다. 조사 결과에 따르면, 은닉층의 개수를 늘릴수록 MLP의 경로 손실 예측 성능이 향상됐다. [25]에서 Chang et al.는 은닉층의 개수를 1개로 유지한 상태에서 은닉층의 뉴런의 개수를 변경해 가며 MLP의 성능을 실험했다. 실험 결과에 따르면, 뉴런의 개수를 늘릴수록 MLP의 경로 손실 예측 성능이 향상됐다. 일반적으로 활성화 함수는 MLP에 비선형성을 부여하는 데 사용되며, MLP의 성능과 일반화 능력에 영향을 준다. 현재까지 다양한 활성화 함수가 개발되어 MLP에 사용되고 있으며, MLP 기반 경로 손실 예측 모델에서도 하이퍼볼릭 탄젠트(Hyperbolic Tangent, tanh)[26-29] 및 시그모이드(Sigmoid) 함수[30-34]가 사용됐다.

일부 연구그룹은 합성곱 신경망(Convolutional Neural Network, CNN)을 사용하여 경로 손실 값을 예측하는 연구를 수행했다. CNN은 합성곱 층(Convolutional Layer)과 풀링 층(Pooling Layer)을 통해 입력 이미지(Image)에서 기하학적 패턴을 감지하고 추출할 수 있는 것으로 알려져 있다. 따라서 전통적으로 CNN은 이미지 분류 및 이미지 인식과 같은 컴퓨터 비전 문제를 해결하는 데 사용됐다. 컴퓨터 비전 문제에서 CNN이 보여준 우수한 성능 때문에, 경로 손실 예측에 관한 연구에서도 CNN을 활용하는 방법들이 연구됐다. 예를 들어, [24]에서 Lee et al.은 3차원 건물 지도로부터 경로 손실 지수(Path Loss Exponent)를 예측하기 위해 CNN을 활용하는 방법을 제안했다. Lee et al.은 3차원 건물 지도로부터 두 개의 2차원 이미지를 계산하여 얻었는데, 첫 번째 이미지는 각 건물의 높이를 0~255 범위의 정숫값으로 매핑(Mapping)하여 생성했고, 두 번째 이미지는 해수면으로부터의 송신기 높이와 해수면으로부터의 지면 높이의 차이를 0~255 범위의 정숫값으로 매핑하여 생성했다. 그리고 두 이미지를 쌓아 만든 3차원 텐서(Tensor)를 CNN의 입력으로 사용했다. 또한 레이 트레이싱 툴(Tool)을 사용하여 합성 데이터(Synthetic Data)를 생성하였고, 이 합성 데이터를 사용하여 경로 손실 지수를 예측할 수 있도록 CNN을 학습시켰다.

최근에는 컴퓨터 비전 분야에서 우수성과 안전성을 입증받은 CNN 아키텍처(Architecture)를 경로 손실 예측 문제에 활용하는 연구가 수행됐다. 예를 들어, [35]에서 Kuno et al.은 AlexNet을 기본 모델로 하는 경로 손실 예측 모델을 제안했다. 모델의 입력은 3개의 2차원 행렬을 쌓아 만든 3차원 텐서였으며, 이 텐서에는 구조물 및 건물의 높이, 송신기와의 거리, 수신기와의 거리에 대한 정보가 포함되어 있다. Kuno et al.은 후속 연구[36]에서 송신기와 수신기 사이의 직선이 형성하는 각도에 대한 정보를 3차원 텐서에 추가시켰으며, AlexNet을 기본 모델로 활용했다. AlexNet과 더불어 잘 알려진 CNN 아키텍처로 VGGNet가 있다. VGGNet은 합성곱 층의 개수에 따라 여러 하위 아키텍처로 분류된다. 여러 VGGNet 아키텍처 중에서 VGG-16과 VGG-19 아키텍처가 특히 성능이 우수하여 널리 사용되고 있다. [37]에서 Ahmadien et al.은 2차원 위성 이미지에서 경로 손실 분포를 예측하기 위해서, VGG-16 아키텍처를 활용했다. [37]에서 소개된 아이디어에서 영감을 받은 Bal et al.은 [38]에서 2차원 위성 이미지에서 경로 손실 지수와 섀도잉 팩터(Shadowing Factor)를 예측하기 위해 VGG-16 아키텍처를 기본 모델로 활용했다. ResNet도 널리 사용되는 CNN 아키텍처로, ResNet 아키텍처는 [39]에서 2차원 위성 이미지의 경로 손실 지수와 섀도잉 팩터를 예측하는 데 사용됐고, [40]에서는 2차원 위성 이미지로부터 경로 손실을 예측하는 데 사용됐다.

기존 연구는 크게 비(非)-인공신경망(Artificial Neural Network) 기반 접근법과 인공신경망 기반 접근법으로 나뉜다[42]. 비-인공신경망 기반 접근법에는 SVM, k-NN, RF 등의 모델들이 활용되고 있으며, 인공신경망 기반 접근법에서는 MLP, CNN(AlexNet, VGGNet, ResNet) 등의 모델이 활용되고 있다. 본 연구에서는 경로 손실 예측을 위해서 ML 기반 경로 손실 예측 모델을 연구하였으며, 비-인공신경망 기반 접근법의 범주에 포함된다. 본 연구에서는, 기존 연구들에서 단일 모델들을 활용하여 경로 손실 예측을 수행하는 것과 비교했을 때, 여러 개의 k-NN으로 구성된 앙상블 모델을 활용하면 경로 손실 값을 더욱 정확하게 예측할 수 있다는 것을 실험적으로 입증한다.

III. Proposed Method

그림 1은 제안하는 앙상블 기반 경로 손실 예측 방법의 전체 과정에 대한 개략적인 개요를 보여준다. 전체 과정은 크게 (1) 데이터 세트 분할 및 특징 스케일링(Feature Scaling), (2) 모델 구축 및 하이퍼파라미터 최적화, (3) 앙상블 모델 구축 및 경로 손실 예측의 세 단계로 나뉜다. 첫 번째 단계에서는 준비된 데이터 세트에 대해 데이터 세트 분할을 수행하여 훈련, 검증, 시험 데이터 세트를 생성한다. 그 후 각 특징을 스케일링하여, 모델 훈련 과정에서 모델이 안정적으로 훈련될 수 있도록 한다. 두 번째 단계에서는 부트스트랩 데이터 세트를 활용하여 각 k-NN을 학습시키고, 학습이 완료된 k-NN을 평가한다. 그리고 하이퍼파라미터를 조율해 가며 학습과 평가 과정을 반복 수행함으로써, 각 k-NN에 대해서 최적의 하이퍼파라미터를 찾는다. 마지막 세 번째 단계에서는, 평가 결과를 바탕으로 최적의 하이퍼파라미터로 구성된 k-NN을 앙상블하여 최종 모델을 구축한다. 그리고 최종 앙상블 모델을 사용하여 시험 데이터 세트에 대해 경로 손실 예측을 수행한다.

CPTSCQ_2024_v29n2_1_f0001.png 이미지

Fig. 1. Overall Working of the Proposed Method for Path Loss Prediction

1. Dataset Preparation

본 연구에서는 [42]에서 Popoola et al.가 제안한 데이터 세트를 사용했다. Popoola et al.은 나이지리아(Nigeria) 오군 주(Ogun State) 오타(Ota)에 있는 커버넌트(Covenant) 대학교에서 경로 손실 데이터를 측정 및 수집했다. 측정 및 수집 장치를 탑재한 차량을 이용하여 세가지 경로를 따라 차량을 이동시켜 가며, 경도(f1), 위도(f2), 고도(Elevation, f3), 고도(Altitude, f4), 클러터(Clutter) 높이(f5), 송신기와 수신기 사이의 거리(f6) 의 데이터와 경로 손실 값을 기록했다. 세 가지 경로에서 각각 937개, 1,229개, 1,450개의 샘플(Sample)을 수집했으며, 데이터 세트에는 f1부터 f6까지 6개의 특징과 경로 손실 값을 레이블(Label)로 하는, 총 3,616개의 샘플이 포함되어 있다.

2. Dataset Splitting and Feature Scaling

본 연구에서는 데이터 세트 내 3,616개의 샘플을 무작위로 섞은 다음 훈련(Training), 검증(Validation), 시험(Test) 데이터 세트로 나눈다. 훈련 데이터 세트는 모델을 훈련하는 데 사용된다. 모델 훈련에 사용된 데이터와 동일한 데이터로 모델을 평가하면 특정 데이터에 대해서는 올바르게 예측을 수행하지만, 새로운 데이터에 대해서는 올바르게 예측을 수행하지 못하는, 즉 과적합(Overfitting) 문제가 발생할 수 있다. 검증 데이터 세트는 이러한 과적합 문제가 발생하는 것을 방지하는 데 도움을 주며, 또한 시험 데이터 세트에 대해 편향 없이 하이퍼파라미터를 조정할 수 있게 한다. 시험 데이터 세트는 모델이 새로운 데이터에 대해서 얼마나 잘 동작하는지 평가할 때 사용된다. 일반적으로 데이터를 훈련, 검증, 시험 데이터 세트로 분리하면, 실제 상황에서 ML 모델이 새로운 데이터에 안정적으로 동작할 수 있도록 일반화된 성능을 얻는 데 도움을 얻을 수 있다[43-50]. 본 연구에서는 전체 3,616개의 샘플 중 60%를 훈련 데이터 세트로 사용하였고, 20%를 검증 데이터 세트, 그리고 나머지 20%를 시험 데이트 세트로 사용하였다.

표 1은 훈련 데이터 세트의 기술 통계 결과를 보여준다. 표 1에서 Cnt, Avg, Std는 각각 샘플의 개수, 샘플의 평균, 샘플의 표준편차를 의미한다. 또한 Min, Max는 각각 샘플 중에서 최솟값과 최댓값을 의미한다. 그리고 25%, 50%, 75%는 전체 샘플을 해당 특징의 값을 기준으로 정렬하였을 때, 각각 1/4, 1/2, 3/4 자리에서의 값을 의미한다. 표 1에서 볼 수 있듯이 6가지 특징은 서로 스케일(Scale)이 다르다. 일반적으로 특징의 스케일이 서로 다른 경우, ML 알고리즘은 크기가 큰 특징에 상대적으로 더 큰 중요성을 부여하게 된다. 그리고 그 결과 해당 특징에만 민감하게 반응하게 되어 성능이 저하될 수 있다. 따라서, 본 연구에서는 각 특징을 표준화(Standardization)하여 표준 점수(Standard Score)로 변환하였다. 표준화 과정의 설명을 위해서 xj = [f1,j,f2,j,f3,j,f4,j,f5,j,f6,j]를 데이터 세트의 j번째 샘플이라고 하자. 여기서 f1,j, f2,j, f3,j, f4,j, f5,j, f6,j는 각각 j번째 샘플의 6가지 특징값이다. 그러면 xj의 각 특징의 표준 점수는 다음과 같이 구할 수 있다.

Table 1. Descriptive Statistics of the Training Dataset

CPTSCQ_2024_v29n2_1_t0001.png 이미지

\(\begin{align}\tilde{f}_{i, j}=\frac{\left(f_{i, j}-\bar{f}_{i}\right)}{\sigma_{i}}, \forall i \in\{1,2,3,4,5,6\}\end{align}\).       (1)

수식 (1)에서 \(\begin{align}\bar{f}_{i}\end{align}\)와 σi는 각각 훈련 데이터 세트에서 fi의 평균값, 표준편차이다.

3. Hyperparameter Optimization

본 연구에서 제안하는 앙상블 모델은 여러 개의 k-NN으로 구성되며, 최적의 앙상블 모델을 구축하기 위해 각 k-NN에 대해서 하이퍼파라미터 최적화를 수행한다. 이 하이퍼파라미터 최적화 과정은, 모델이 너무 단순해서 훈련 데이터 세트의 구조/패턴을 제대로 학습하지 못하는 과소적합(Underfitting) 문제가 발생하는 것을 방지하는 데 도움을 준다. 그리고 하이퍼파라미터 최적화 과정에서 앙상블 모델의 다양성을 확보하기 위해서, 본 연구에서는 각 k-NN을 훈련하는 데 부트스트랩 데이터 세트를 사용한다.

표 2는 k-NN 알고리즘의 하이퍼파라미터 종류와 본 연구에서 최적의 앙상블 모델을 구축하기 위해서 최적화 과정에서 설정한 탐색 범위(Search Range)를 보여준다. k-NN은 입력 데이터로부터 거리가 가장 가까운 k개의 훈련 데이터가 갖는 레이블들을 이용하여 예측을 수행한다. 표 2에서 n_neighbor는 k 즉, k-NN이 입력 데이터로부터 거리를 기준으로 찾아야 할 훈련 데이터의 개수를 의미한다. weights는 k-NN이 찾은 k개의 훈련 데이터의 레이블들을 이용하여 예측을 수행하는 방법을 의미한다. 두 가지 방식이 있으며, 첫 번째 “uniform”은 k개의 훈련 데이터의 레이블들에 대해 동일한 가중치를 적용하여 즉, 평균 값을 계산하여 예측하는 방법이다. 두 번째 “distance”는 k개의 훈련 데이터들이 각각 입력 데이터로부터 떨어져 있는 거리를 가중치로 고려하여 예측을 수행하는 방법이다. 거리가 멀리 떨어져 있을수록 작은 가중치를 해당 훈련 데이터의 레이블에 적용하고, 반대로 거리가 가까울수록 상대적으로 큰 가중치를 레이블에 적용한다. 표 2에서 metric은 데이터와 데이터 사이에 거리를 계산하는 방법을 의미한다. “minkowski”는 민코스키 거리(Minkowski Distance)를 의미한다. 임의의 두 점 A = (a1,a2, ⋯, an)와 B = (b1, b2, ⋯ bn)가 주어졌을 때, 두 점 사이의 민코스키 거리 D(A, B)는 다음과 같이 정의된다.

Table 2. Hyperparameter of k-NN

CPTSCQ_2024_v29n2_1_t0002.png 이미지

\(\begin{align}D(A, B)=\left(\sum_{n=1}^{N}\left|a_{n}-b_{n}\right|^{p}\right)^{\frac{1}{p}}\end{align}\).      (2)

수식 (2)에서 p는 오더(Order)를 의미한다.

“euclidean”은 유클리드 거리(Euclidean Distance)를 의미하며, 수식 (2)의 민코스키 거리에서 p = 2인 경우로 다음과 같이 정의된다.

\(\begin{align}D(A, B)=\sqrt{\sum_{n=1}^{N}\left|a_{n}-b_{n}\right|^{2}}\end{align}\).       (3)

“cityblock”은 맨해턴 거리(Manhattan Distance)를 의미하며, 수식 (2)의 민코스키 거리에서 p = 1인 경우로 다음과 같이 정의된다.

\(\begin{align}D(A, B)=\sum_{n=1}^{N}\left|a_{n}-b_{n}\right|\end{align}\).       (4)

4. Ensemble of k-Nearest Neighbors

제안하는 앙상블 기반 경로 손실 예측 방법은 그림 1에서 볼 수 있듯이, 주어진 데이터 세트를 훈련, 검증, 시험 데이터 세트로 나눈다. 그리고 수식 1을 사용하여 각 데이터 세트에 특징 스케일링을 적용한다. 그 후, 부트스트랩 데이터 세트를 활용하여 최적화된 하이퍼파라미터로 구성된 T개의 k-NN을 구축한다. 그리고 T개의 k-NN을 앙상블하여 최종 모델을 구축한다.

제안하는 앙상블 모델의 핵심은 서로 다른 하이퍼파라미터를 갖는 여러 개의 최적화된 k-NN을 훈련을 통하여 얻고, k-NN의 예측 결과들을 통합하는 것이다. 이 과정을 통해 제안하는 앙상블 모델은 과적합 문제로부터 견고해지며, 과적합 문제가 발생하는 것을 줄일 수 있다. 그리고 그 결과 T개의 k-NN을 앙상블하는 것은 일반화 및 예측 성능을 개선하는 데 도움이 된다. 예측 단계에서 앙상블 모델의 각 k-NN은 입력 데이터에 대해 독립적으로 예측을 수행한다. 그런 다음 모든 k-NN의 예측을 취합하여 최종 예측 값을 생성한다. 본 연구에서 제안하는 앙상블 모델의 최종 출력은 각 k-NN이 예측한 값의 평균이다. 설명을 위해서, \(\begin{align}\hat {y}_{r}\end{align}\)을 r번째 k-NN이 예측한 경로 손실 값이라고 하자. 그러면 T개의 k-NN으로부터 예측된 경로 손실값은 다음과 같이 벡터 \(\begin{align}\hat {Y}\end{align}\)로 표현할 수 있다.

\(\begin{align}\widehat{Y}=\left[\hat{y}_{1}, \hat{y}_{2}, \cdots, \hat{y}_{T-1}, \hat{y}_{T}\right]\end{align}\).       (5)

수식 (5)의 \(\begin{align}\hat {Y}\end{align}\)로부터 앙상블 모델의 최종 예측 결과 \(\begin{align}\check{y}\end{align}\)를 도출하기 위해서, T개의 k-NN의 예측 값에 대해 평균 값을 다음과 같이 계산한다.

\(\begin{align}\check{y}=\frac{1}{T} \sum_{t=1}^{T} \hat{y}_{t}\end{align}\).       (6)

IV. Experimental Results

1. Benchmark Methods and Evaluation Metrics

본 연구에서는 (1) SVM 기반, (2) k-NN 기반, (3) RF 기반, (4) DT 기반, (5) MLR 기반, (6) Lasso 기반, (7) Ridge 기반, (8) Elastic Net 기반, (9) MLP 기반 경로 손실 예측 모델을 구현하여, 제안하는 앙상블 기반 경로 손실 예측 모델과의 성능 비교를 수행하였다. 파이썬 프로그래밍(Python Programming) 언어용 ML 라이브러리 사이킷런(scikit-learn)을 활용하여 각 모델 생성하였으며, 사이킷런에서 제공하는 HalvingGridSearchCV 클래스를 활용하여 각 모델에 대해서 하이퍼파라미터 최적화를 수행하였다. MLP 기반 경로 손실 예측 모델의 경우, 인공신경망 및 딥러닝 라이브러리 텐서플로(TensorFlow)를 활용하여 [17,25-33]에서 제안된 아키텍처를 구현하였으며, 구체적인 세부 내용은 표 3에서와 같다.

Table 3. Hyperparameter Configuration for MLPs

CPTSCQ_2024_v29n2_1_t0003.png 이미지

일반적으로 단일 평가 지표에만 의존하여 모델의 성능을 평가할 경우, 불완전하거나 편향된 평가가 이루어질 수 있다. 따라서 본 연구에서는 모델의 성능을 포괄적으로 평가하기 위해 (1) 평균 제곱 오차(Mean Squared Error, MSE), (2) 평균 제곱근 오차(Root Mean Square Error, RMSE), (3) 평균 절대 오차(Mean Absolute Error, MAE), (4) 결정계수(Coefficient of Determination, R2)의 4가지 평가 지표를 사용했다.

2. Results

제안하는 앙상블 모델을 활용하여 경로 손실 값을 예측하는 데 있어서, 어떤 ML 모델로 몇 개를 앙상블해야 가장 좋은 성능을 달성할 수 있는지 알아내기 위해서, 앙상블되는 ML 모델의 종류와 개수를 달리하여 성능 비교를 수행했다.

표 4는 앙상블 모델 내 SVM의 개수에 따른 4가지 성능 평가 지표의 결괏값을 보여준다. 실험 결과에 따르면, 6개의 SVM을 앙상블했을 때, 최고 성능을 달성했다.

Table 4. Performance Comparisons among Ensemble Models with Different Numbers of SVMs

CPTSCQ_2024_v29n2_1_t0004.png 이미지

표 5는 앙상블 모델 내 k-NN의 개수에 따른 4가지 성능 평가 지표의 결괏값을 보여준다. 실험 결과에 따르면, 앙상블 모델의 성능은 k-NN의 수가 증가함에 따라 향상됐다. 8개의 k-NN을 앙상블했을 때, 최고 성능을 달성했으며, k-NN의 수가 8개를 초과하면 앙상블 모델의 성능은 더 이상 향상되지 않고 감소했다.

Table 5. Performance Comparisons among Ensemble Models with Different Numbers of k-NNs

CPTSCQ_2024_v29n2_1_t0005.png 이미지

표 6은 앙상블 모델 내 DT의 개수에 따른 4가지 성능 평가 지표의 결괏값을 보여준다. 실험 결과에 따르면, 9개의 DT를 앙상블했을 때 최고 성능을 달성했다.

Table 6. Performance Comparisons among Ensemble Models with Different Numbers of DTs

CPTSCQ_2024_v29n2_1_t0014.png 이미지

표 7은 앙상블 모델 내 MLR의 개수에 따른 4가지 성능 평가 지표의 결괏값을 보여준다. 실험 결과에 따르면, 7개의 MLR을 앙상블했을 때, 최고 성능을 달성했다.

Table 7. Performance Comparisons among Ensemble Models with Different Numbers of MLRs

CPTSCQ_2024_v29n2_1_t0006.png 이미지

표 8은 앙상블 모델 내 Lasso의 개수에 따른 4가지 성능 평가 지표의 결괏값을 보여준다. 실험 결과에 따르면, 2개의 Lasso를 앙상블했을 때, 최고 성능을 달성했다.

Table 8. Performance Comparisons among Ensemble Models with Different Numbers of Lassos

CPTSCQ_2024_v29n2_1_t0007.png 이미지

표 9는 앙상블 모델 내 Ridge의 개수에 따른 4가지 성능 평가 지표의 결괏값을 보여준다. 실험 결과에 따르면, 8개의 Ridge를 앙상블했을 때, 최고 성능을 달성했다.

Table 9. Performance Comparisons among Ensemble Models with Different Numbers of Ridges

CPTSCQ_2024_v29n2_1_t0008.png 이미지

표 10은 앙상블 모델 내 Elastic Net(E-Net)의 개수에 따른 4가지 성능 평가 지표의 결괏값을 보여준다. 실험 결과에 따르면, 8개의 Elastic Net을 앙상블했을 때, 최고 성능을 달성했다.

Table 10. Performance Comparisons among Ensemble Models with Different Numbers of Elastic Nets

CPTSCQ_2024_v29n2_1_t0009.png 이미지

표 11은 표 4부터 표 10까지 최고 성능을 달성한 각 앙상블 모델의 4가지 성능 평가 지표의 결괏값을 보여준다. 실험 결과에 따르면, 다양한 ML 기반의 앙상블 모델 중에서 가장 우수한 성능을 달성한 것은 8개의 k-NN으로 구성된 앙상블 모델이었다. 본 연구에서는 표 11의 결과를 바탕으로 8개의 k-NN으로 구성된 앙상블 모델을 최종 모델로 선정했다.

Table 11. Performance Comparisons among Ensemble Models

CPTSCQ_2024_v29n2_1_t0010.png 이미지

표 12는 제안하는 앙상블 모델(=Proposed)과 ML 기반 경로 손실 예측 모델들의 MSE, RMSE, MAE, R2 성능 결과를 보여준다. 표 12에서 볼 수 있듯이, 제안하는 앙상블 모델은 모든 평가 지표에서 가장 우수한 성능을 달성하였다. 그 이유는 제안하는 앙상블 모델이 서로 다른 하이퍼파라미터를 갖춘 여러 개의 k-NN으로 구성되어 다양성을 확보함으로써, 정확한 경로 손실 예측이 가능했기 때문이다. 표 12의 벤치마크 모델 중에서 탑(Top) 3의 우수한 성능을 달성한 모델은 각각 순서대로 k-NN, RF, DT였다. 그리고 가장 낮은 성능을 보인 모델은 [17]에서 제안된 MLP이었다. 제안하는 앙상블 모델의 MAE는 약 2.4550이었고, 벤치마크 모델 중 가장 우수했던 k-NN의 MAE는 2.6075이었다. 제안하는 앙상블 모델의 MAE는 k-NN보다 약 0.1525 낮았다. 표 5의 결과로부터 제안하는 앙상블 모델이 가장 경로 손실 값을 정확하게 예측할 수 있음을 알 수 있다.

Table 12. Performance Comparisons between the Proposed and Benchmark Models

CPTSCQ_2024_v29n2_1_t0011.png 이미지

표 13은 제안하는 앙상블 모델(=Proposed)과 ML 기반 경로 손실 예측 모델들의 시간 복잡도(Time Complexity) 계산 결과를 보여준다. 표 14에는 하드웨어(Hardware) 실험 설정이 제시돼 있다. 본 연구에서는 시간 복잡도 계산을 위해서, (1) 모델 훈련을 위해 소요된 시간(Training Time)과 (2) 훈련이 완료된 모델이 시험 데이트 세트 내 전체 샘플에 대해 예측을 수행하는데 소요된 시간(Testing Time)을 측정했다(단위: 초). 시간 측정을 위해서 타임(Time) 라이브러리를 활용했다. 표 13의 실험 결과에 따르면, 모델 훈련에 걸리는 시간이 가장 컸던 모델은 RF였고, 제안하는 앙상블 모델은 약 15.8초였다. 시험 데이터 세트 내 총 724개의 샘플에 대해 예측에 소요하는 데 걸리는 시간의 경우, 가장 긴 시간이 걸린 모델은 [17]에서 제안된 MLP였고, 그다음으로 오래 걸린 모델은 SVM이었다. 반면 제안하는 앙상블 모델은 0.0171초였다.

Table 13. Time Complexity Comparisons between the Proposed and Benchmark Models

CPTSCQ_2024_v29n2_1_t0012.png 이미지

Table 14. Experimental Setup of Hardware

CPTSCQ_2024_v29n2_1_t0013.png 이미지

V. Conclusions

본 연구에서는 앙상블 학습 접근법을 기반으로 한 경로 손실 예측 방법을 제안했다. 이 접근 방식은 앙상블 학습의 장점을 활용하여, 정확한 경로 손실 예측이 가능한 모델을 구축할 수 있도록 했다. 부트스트랩 데이터 세트를 활용하여 하이퍼파라미터 최적화를 수행함으로써 서로 다른 하이퍼파라미터를 갖는 최상의 k-NN으로 앙상블 모델을 구성했다. 그리고 인터넷상에 공개된 경로 손실 데이터 세트를 활용하여 제안하는 방법의 우수성을 평가했다. 실험 결과, 경로 손실 예측에 있어서 제안하는 앙상블 모델은 다른 벤치마크 모델들보다 우수한 성능을 달성했다. 향후 연구 방향은 제안하는 앙상블 모델의 하이퍼파라미터를 미세 조정하여 경로 손실 예측 성능을 개선하고, 예측에 도움이 되는 특징을 추가 및 데이터 세트를 확장하여 다양한 시나리오에서 제안하는 방법의 일반화 성능을 평가할 계획이다.

ACKNOWLEDGEMENT

This research was financially supported by the Institute of Civil Military Technology Cooperation funded by the Defense Acquisition Program Administration (DAPA) and Ministry of National Defense (MND) of Korean Government under Grant 22-CM-TN-39.

References

  1. B. Kwon, S. Kim, H. Lee, and S. Lee, "A downlink power control algorithm for long-term energy efficiency of small cell network," Wireless Networks, Vol. 21, pp. 2223-2236, October 2015. DOI:10.1007/s11276-015-0907-2
  2. B. Kwon, S. Kim, D. Jeon, and S. Lee, "Iterative interference cancellation and channel estimation in evolved multimedia broadcast multicast system using filter-bank multicarrier-quadrature amplitude modulation," IEEE Transactions on Broadcasting, Vol. 62, No. 4, pp. 864-875, December 2016. DOI: 10.1109/TBC.2016.2617294
  3. B. Kwon, S. Kim, and S. Lee, "Scattered reference symbol-based channel estimation and equalization for FBMC-QAM systems," IEEE Transactions on Communications, Vol. 65, No. 8, pp. 3522-3537, August 2017. DOI: 10.1109/TCOMM.2017.2710310
  4. B. Kwon, and S. Lee, "Cross-antenna interference cancellation and channel estimation for MISO-FBMC/QAM-based eMBMS," Wireless Networks, Vol. 24, pp. 3281-3293, November 2018. DOI:10.1007/s11276-017-1531-0
  5. W. R. Loh, S. Y. Lim, I. F. M. Rafie, J. S. Ho, and K. S. Tze, "Intelligent base station placement in urban areas with machine learning," IEEE Antennas and Wireless Propagation Letters, Vol. 22, No. 9, pp. 2220-2224, September 2023. DOI: 10.1109/LAWP.2023.3281611
  6. M. Hata, "Empirical formula for propagation loss in land mobile radio services," IEEE Transactions on Vehicular Technology, Vol. 29, No. 3, pp. 317-325, August 1980. DOI: 10.1109/T-VT.1980.23859
  7. Y. Okumura, "Field strength and its variability in VHF and UHF land-mobile radio service," Review of the Electrical communication Laboratory, Vol. 16, pp. 825-873, January 1968.
  8. D. Green, Z. Yun, and M. F. Iskander, "Path loss characteristics in urban environments using ray-tracing methods," IEEE Antennas and Wireless Propagation Letters, Vol. 16, pp. 3063-3066, October 2017. DOI: 10.1109/LAWP.2017.2761299
  9. I. J. Timmins, and S. O'Young, "Marine communications channel modeling using the finite-difference time domain method," IEEE Transactions on Vehicular Technology, Vol. 58, No. 6, pp. 2626-2637, July 2009. DOI: 10.1109/TVT.2008.2010326
  10. B. Kwon, J. Kim, K. Lee, Y. K. Lee, S. Park, and S. Lee, "Implementation of a virtual training simulator based on 360° multi-view human action recognition," IEEE Access, Vol. 5, pp. 12496-12511, July 2017. DOI: 10.1109/ACCESS.2017.2723039
  11. B. Kwon, H. Song, and S. Lee, "Accurate blind Lempel-Ziv-77 parameter estimation via 1-D to 2-D data conversion over convolutional neural network," IEEE Access, Vol. 8, pp. 43965-43979, March 2020. DOI: 10.1109/ACCESS.2020.2977827
  12. B. Kwon, and S. Lee, "Human skeleton data augmentation for person identification over deep neural network," Applied Sciences, Vol. 10, No. 14, pp. 1-22, July 2020. DOI: 10.3390/app10144849
  13. B. Kwon, and S. Lee, "Ensemble learning for skeleton-based body mass index classification," Applied Sciences, Vol. 10, No. 21, pp. 1-23, November 2020. DOI: 10.3390/app10217812
  14. B. Kwon, and S. Lee, "Joint swing energy for skeleton-based gender classification," IEEE Access, Vol. 9, pp. 28334-28348, February 2021. DOI: 10.1109/ACCESS.2021.3058745
  15. B. Kwon, J. Huh, K. Lee, and S. Lee, "Optimal camera point selection toward the most preferable view of 3-D human pose," IEEE Transactions on Systems, Man, and Cybernetics: Systems, Vol. 52, No. 1, pp. 533-553, January 2022. DOI: 10.1109/TSMC.2020.3004338
  16. B. Kwon, and T. Kim, "Toward an online continual learning architecture for intrusion detection of video surveillance," IEEE Access, Vol. 10, pp. 89732-89744, August 2022. DOI: 10.1109/ACCESS.2022.3201139
  17. E. Ostlin, H. J. Zepernick, and H. Suzuki, "Macrocell path-loss prediction using artificial neural networks," IEEE Transactions on Vehicular Technology, Vol. 59, No. 6, pp. 2735-2747, May 2010. DOI: 10.1109/TVT.2010.2050502
  18. M. Piacentini, and F. Rinaldi, "Path loss prediction in urban environment using learning machines and dimensionality reduction techniques," Computational Management Science, Vol. 8, pp. 371-385, November 2011. DOI: 10.1007/s10287-010-0121-8
  19. R. D. Timoteo, D. C. Cunha, G. D. Cavalcanti, "A proposal for path loss prediction in urban environments using support vector regression," in Proc. 10th Advanced International Conference on Telecommunications (AICT), pp. 1-5, Paris, France, July 2014.
  20. O. J. Famoriji, and T. Shongwe, "Path Loss Prediction in Tropical Regions using Machine Learning Techniques: A Case Study," Electronics, Vol. 11, No. 17, pp. 1-13, August 2022. DOI: 10.3390/electronics11172711
  21. J. Wen, Y. Zhang, G. Yang, Z. He, and W. Zhang, "Path loss prediction based on machine learning methods for aircraft cabin environments," IEEE Access, Vol. 7, pp. 159251-159261, October 2019. DOI: 10.1109/ACCESS.2019.2950634
  22. C. E. G. Moreta, M. R. C. Acosta, and I. Koo, "Prediction of digital terrestrial television coverage using machine learning regression," IEEE Transactions on Broadcasting, Vol. 65, No. 4, pp. 702-712, March 2019. DOI: 10.1109/TBC.2019.2901409
  23. M. K. Elmezughi, O. Salih, T. J. Afullo, and K. J. Duffy, "Comparative analysis of major machine-learning-based path loss models for enclosed indoor channels," Sensors, Vol. 22, No. 13, pp. 1-25, June 2022. DOI: 10.3390/s22134967
  24. P. R. Chang, and W. H. Yang, "Environment-adaptation mobile radio propagation prediction using radial basis function neural networks," IEEE Transactions on Vehicular Technology, Vol. 46, No. 1, pp. 155-160, February 1997. DOI: 10.1109/25.554747
  25. T. Balandier, A. Caminada, V. Lemoine, and F. Alexandre, "170 MHz field strength prediction in urban environment using neural nets," in Proc. 6th IEEE International Symposium on Personal, Indoor and Mobile Radio Communications, pp. 120-124, Toronto, ON, Canada, September 1995. DOI: 10.1109/PIMRC.1995.476416
  26. M. Kalakh, N. Kandil, and N. Hakem, "Neural networks model of an UWB channel path loss in a mine environment," in Proc. 75th IEEE Vehicular Technology Conference (VTC Spring), pp. 1-5, Yokohama, Japan, May 2012. DOI: 10.1109/VETECS.2012.6240318
  27. S. I. Popoola, A. Jefia, A. A. Atayero, O. Kingsley, N. Faruk, O. F. Oseni, and R. O. Abolade, "Determination of neural network parameters for path loss prediction in very high frequency wireless channel," IEEE Access, Vol. 7, pp. 150462-150483, October 2019. DOI: 10.1109/ACCESS.2019.2947009 
  28. Y. Zhang, J. Wen, G. Yang, Z. He, and J. Wang, "Path loss prediction based on machine learning: Principle, method, and data expansion," Applied Sciences, Vol. 9, No. 9, pp. 1-18, May 2019. DOI: 10.3390/app9091908
  29. D. Wu, G. Zhu, and B. Ai, "Application of artificial neural networks for path loss prediction in railway environments," in Proc. 5th IEEE International ICST Conference on Communications and Networking in China, pp. 1-5, Beijing, China, August 2010.
  30. A. B. Zineb, and M. Ayadi, "A multi-wall and multi-frequency indoor path loss prediction model using artificial neural networks," Arabian Journal for Science and Engineering, Vol. 41, pp. 987-996, March 2016. DOI: 10.1007/s13369-015-1949-6
  31. J. Liu, X. Jin, F. Dong, L. He, and H. Liu, "Fading channel modelling using single-hidden layer feedforward neural networks," Multidimensional Systems and Signal Processing, Vol. 28, pp. 885-903, July 2017. DOI: 10.1007/s11045-015-0380-1
  32. P. Gomez-Perez, M. Crego-Garcia, I. Cuinas, and R. F. Caldeirinha, "Modeling and inferring the attenuation induced by vegetation barriers at 2G/3G/4G cellular bands using artificial neural networks," Measurement, Vol. 98, pp. 262-275, February 2017. DOI: 10.1016/j.measurement.2016.12.014
  33. R. Adeogun, "Calibration of stochastic radio propagation models using machine learning," IEEE Antennas and Wireless Propagation Letters, Vol. 18, No. 12, pp. 2538-2542, December 2019. DOI: 10.1109/LAWP.2019.2942819
  34. J. Y. Lee, M. Y. Kang, and S. C. Kim, "Path loss exponent prediction for outdoor millimeter wave channels through deep learning," in Proc. IEEE Wireless Communications and Networking Conference (WCNC), pp. 1-5, Marrakesh, Morocco, April 2019. DOI: 10.1109/WCNC.2019.8885668
  35. N. Kuno, and Y. Takatori, "Prediction method by deep-learning for path loss characteristics in an open-square environment," in Proc. IEEE International Symposium on Antennas and Propagation (ISAP), pp. 1-2, Busan, South Korea, October 2018.
  36. N. Kuno, W. Yamada, M. Sasaki, and Y. Takatori, "Convolutional neural network for prediction method of path loss characteristics considering diffraction and reflection in an open-square environment," in Proc. IEEE URSI Asia-Pacific Radio Science Conference (AP-RASC), pp. 1-3, New Delhi, India, March 2019. DOI: 10.23919/URSIAP-RASC.2019.8738299
  37. O. Ahmadien, H. F. Ates, T. Baykas, and B. K. Gunturk, "Predicting path loss distribution of an area from satellite images using deep learning," IEEE Access, Vol. 8, pp. 64982-64991, April 2020. DOI: 10.1109/ACCESS.2020.2985929
  38. M. Bal, A. Marey, H. F. Ates, T. Baykas, and B. K. Gunturk, "Regression of large-scale path loss parameters using deep neural networks," IEEE Antennas and Wireless Propagation Letters, Vol. 21, No. 8, pp. 1562-1566, August 2022. DOI: 10.1109/LAWP.2022.3174357
  39. H. F. Ates, S. M. Hashir, T. Baykas, and B. K. Gunturk, "Path loss exponent and shadowing factor prediction from satellite images using deep learning," IEEE Access, Vol. 7, pp. 101366-101375, July 2019. DOI: 10.1109/ACCESS.2019.2931072
  40. U. S. Sani, O. A. Malik, and D. T. C. Lai, "Improving path loss prediction using environmental feature extraction from satellite images: Hand-crafted vs. convolutional neural network," Applied Sciences, Vol. 12, No. 15, pp. 1-24, July 2022. DOI:10.3390/app12157685
  41. B. Kwon, and H. Son, "Accurate Path Loss Prediction Using a Neural Network Ensemble Method," Sensors, Vol. 24, No. 1, pp. 1-20, January 2024. DOI: 10.3390/s24010304
  42. S. I. Popoola, A. A. Atayero, O. D. Arausi, and V. O. Matthews, "Path loss dataset for modeling radio wave propagation in smart campus environment," Data in Brief, Vol. 17, pp. 1062-1073, April 2018. DOI: 10.1016/j.dib.2018.02.026
  43. B. Kwon, J. Park, and S. Lee, "Virtual MIMO broadcasting transceiver design for multi-hop relay networks," Digital Signal Processing, Vol. 46, pp. 97-107, November 2015. DOI:10.1016/j.dsp.2015.08.003
  44. B. Kwon, J. Park, and S. Lee, "A target position decision algorithm based on analysis of path departure for an autonomous path keeping system," Wireless Personal Communications, Vol. 83, pp. 1843-1865, August 2015. DOI: 10.1007/s11277-015-2485-0
  45. B. Kwon, D. Kim, J. Kim, I. Lee, J. Kim, H. Oh, H. Kim, and S. Lee, "Implementation of human action recognition system using multiple Kinect sensors," in Proc. Pacific-Rim Conference on Multimedia (PCM), pp. 334-343, Gwangju, Republic of Korea, September 2015. DOI: 10.1007/978-3-319-24075-6_32
  46. B. Kwon, J. Kim, and S. Lee, "An enhanced multi-view human action recognition system for virtual training simulator," in Proc. Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC), pp. 1-4, Jeju, Republic of Korea, December 2016. DOI: 10.1109/APSIPA.2016.7820895
  47. B. Kwon, M. Gong, and S. Lee, "Novel error detection algorithm for LZSS compressed data," IEEE Access, Vol. 5, pp. 8940-8947, May 2017. DOI: 10.1109/ACCESS.2017.2704900
  48. B. Kwon, and S. Lee, "Effective interference nulling virtual MIMO broadcasting transceiver for multiple relaying," IEEE Access, Vol. 5, pp. 20695-20706, October 2017. DOI: 10.1109/ACCESS.2017.2752198
  49. B. Kwon, M. Gong, J. Huh, and S. Lee, "Identification and restoration of LZ77 compressed data using a machine learning approach," in Proc. Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC), pp. 1787-1790, Honolulu, HI, USA, November 2018. DOI: 10.23919/APSIPA.2018.8659755
  50. B. Kwon, M. Gong, and S. Lee, "EDA-78: A novel error detection algorithm for Lempel-Ziv-78 compressed data," Wireless Personal Communications, Vol. 111, pp. 2177-2189, April 2020. DOI:10.1007/s11277-019-06979-7