1. 서론
실외 공간의 위치 추정은 Global Navigation Satellite System (GNSS) 와 같은 범지구적 위성 항법 시스템을 사용하지만, 실내 환경에선 위성의 신호가 도달하지 못하여 실내 환경에 적합한 위치추정 기술의 개발이 필요하다. 전통적으로 무선 신호를 이용한 실내 위치 추정에는 time of arrival (ToA), angle of arrival (AoA) 및 와이파이 received signal strength indicator (RSSI) 지문 방법이 사용된다 (Lim et al. 2021, Yoo 2021). ToA와 AoA 방법은 사전에 설치한 비콘에서 송신한 신호와 전파모델을 이용하여 송수신 거리, 각도를 구해 위치를 추정한다. 이 방법은 비콘 설치 비용과 배터리 교체 등과 같은 유지 보수가 필요하다.
반면 대부분의 건물에 설치된 와이파이 공유기의 RSSI 신호세기를 사용하는 방법은 초기 장비 구축에 비용이 들지 않는다는 장점이 있다. 와이파이 지문 방법은 일정한 간격마다 주변 공유기들로부터 수집한 신호 세기와 위치 값으로 이루어진 지문 데이터베이스를 구축하여 패턴을 분석한 후, 현재 신호 세기와 데이터베이스를 비교하여 위치를 추정한다. 지문 데이터의 패턴 분석을 위해 K-nearest neighbor (Oh 2017), random forest (Jedari et al. 2015), neural networks (Chong & Zhan 2014, Chen et al. 2014)와 같은 기법들이 사용되어 왔다. 하지만 와이파이 지문 방법은 지문 데이터베이스를 구축하는 데 많은 시간을 소요한다. 또한, 움직이는 대상체의 위치를 추적하고자 하는 동적인 환경에 비해 지문 데이터는 정적으로 수집되기 때문에 측위 성능에 제한이 있다 (Thai et al. 2017, Yoo 2020).
기존 데이터베이스 구축 비용을 줄이기 위한 다양한 연구가 진행되었다. 초기 radio map 구축 비용 감소 및 정확도 향상을 위한 Voronoi tessellation 기반 interpolation 방법 (Lee & Han 2012), pedestrian dead reckoning (PDR) 기반 병합 방법 (Brida et al. 2021), crowdsourcing 방법 (Huang et al. 2019, Du et al. 2022) 또는 generative adversarial networks (GAN) 기반 방법 (Seong & Seo 2020, Zou et al. 2020) 등이 있다. 그러나, 이러한 방법들은 실내 환경에 대한 사정정보를 필요로 하거나, 신호 세기와 위치 값으로 이루어진 전통적인 초기 radio map을 필요로 하거나, LiDAR와 같은 별도의 장비를 필요로 한다.
본 논문에서 제안하는 학습 기법은 inertial measurement unit (IMU)로부터 추정된 가상의 위치좌표를 이용한 학습 알고리즘을 적용한다. 따라서, 사전에 정의한 위치좌표에서 Wi-Fi 데이터를 수집하는 기존의 방법과 비교하여 빠른 데이터 수집이 가능하다. 상대 위치 변위를 나타내는 IMU 추정치와 Wi-Fi RSSI 데이터의 기하학 모델을 딥러닝으로 학습하여 결과적으로 unsupervised positioning 모델을 얻는다.
본 논문의 기여는 다음과 같다. 첫째, 실내 환경에 대한 사전정보 없이 학습할 수 있다. 둘째, 수집 기기의 최소 주기로 데이터를 수집하므로 수집 시간이 짧다. 셋째, 스마트폰의 내장되어 있는 센서의 데이터만으로 학습할 수 있다.
본 논문의 구성은 다음과 같다. 2장에서는 데이터 전처리 및 AI 기반 IMU 위치추정에 대한 배경을 설명하고, 3장에서는 제안한 알고리즘의 학습 데이터 구성과 목적함수를 정의한다. 4장은 실험 환경과 실험 결과를 기술하고, 5장에서는 결론을 맺는다.
2. 배경
2.1 Wi-Fi RSSI를 위한 오토엔코더 전처리
오토엔코더는 심층 신경망의 대표적인 비지도 학습 기법으로, 고차원 데이터의 특징을 추출하여 차원을 축소한다. 실내위치추정을 위한 와이파이 RSSI 데이터는 공간에 따라 sparse한 특성이 있어 전처리를 통해 특징데이터로 변환해야 한다. 와이파이 공유기 \(m\)개로부터 수집된 Wi-Fi RSSI measurement를 Eq. (1)과 같이 정의한다.
\((RSSI_i^1,RSSI_i^2,⋯,RSSI_i^m)∈R^m\) (1)
이때, \(RSSI_i^k (k=1,…,m)\)는 \(i\)번째 위치에서 \(m\)개의 와이파이 공유기 중에 \(k\)번째 공유기로부터 얻은 RSSI 스칼라 값이다. 데이터 수집시 \(u\)번째 공유기가 너무 멀어 scan이 되지 않으면 \(RSSI_i^u\)는 임의로 -100 dB 값으로 저장한다. 오토엔코더로 변환하기 전 RSSI는 0과 1 사이의 값으로 정규화한다.
오토엔코더 \(f(\cdot)\)는 Eq. (1)의 \(m\) 차원의 Wi-Fi RSSI 벡터를 특징값 \(r_i\)를 갖는 \(d\) 차원의 벡터로 Eq. (2)와 같이 변환한다.
\(f:(RSSI_i^1,RSSI_i^2,⋯,RSSI_i^m)↦X_i=(r_i^1,r_i^2,⋯,r_i^d), d≪m\) (2)
오토엔코더를 통해 변환된 \(X_i\)는 Wi-Fi RSSI의 특징을 나타내는 차원축소된 벡터가 되고, 이는 여러 문헌에서 기술되어 있으므로 (Liu et al. 2018, Abbas et al. 2019), 본 논문에선 관련 설명을 생략한다.
2.2 AI-IMU
IMU 센서를 이용한 위치 추적은 센서의 편향과 노이즈에 취약하다. 전통적인 이중 적분을 통한 방법은 적분 과정에서 지수적인 오차가 전파되는 단점이 있다. 누적 오차 문제를 해결하기 위해 걸음 기반 PDR이 제안되었다. 그러나, 걸음 습관이나 스마트폰 소지 방법에 따라 정확성의 편차가 크고 노이즈의 영향이 크다. 또한, 쇼핑 카트나 유모차와 같은 걸음을 검출할 수 없는 환경에서는 동작하지 못한다. 이러한 한계를 극복하기 위해 최근엔 IMU 데이터를 딥러닝 모델을 거쳐 위치를 추정하는 기술로써 IONet (Chen et al. 2018), RoNIN (Herath et al. 2020)과 같은 AI-IMU가 제안되었다. 본 논문에서는 RoNIN을 IMU 위치추적 모델로 사용한다.
AI-IMU 기법을 포함한 IMU 센서를 이용한 위치 추적 방법은 초기 위치를 추정할 수 없고, 절대 방향을 알 수 없다. 본 논문에서는 IMU 추정치의 상대적인 거리와 각도만을 이용한 기하학 모델링을 정의하여 초기 위치와 절대 방향 정보 없이 딥러닝 학습을 구현한다.
3. 본론
3.1 학습 데이터 구성
Fig. 1은 단말기를 손에 쥔 두명의 학습자가 걸어 다니며 IMU와 Wi-Fi 센서 데이터를 수집하는 과정과 학습 데이터 구성을 나타낸다. 어느 한 학습자가 하나의 스마트기기를 통하여 일정한 시간 동안 보행한 궤적으로부터 시계열 Wi-Fi RSSI 데이터 집합과 시계열 AI-IMU 위치추정 결과 데이터 집합을 수집한다. 일반적으로Wi-Fi RSSI 센싱 주기는 IMU 센싱 주기보다 느리므로 데이터 집합의 크기가 다르다. Wi-Fi 특징 데이터 집합 \(W\)와 AI-IMU 위치추정 결과 데이터 집합 \(A\)를 Eqs. (3, 4)와 같이 정의한다.
Fig. 1. Visualization of time-series sets of Wi-Fi.
\(W=\{(r_i^1,r_i^2,⋯,r_i^d)\}_{i=1}^N\) (3)
\(A=\{ (x_j,y_j) \}_{j=1}^M,~~N≪M.\) (4)
이때, \(N≪M\)인데 주로 IMU의 센싱 주기는 100 Hz인데 반해 Wi-Fi RSSI 센싱 주기는 몇 초에서 수십 초이기 때문이다. Eq. (3)의 (\(r_i^1,r_i^2,⋯,r_i^d\))는 Eq. (2)와 같이 오토엔코더를 통해 얻어진 특징 데이터이며, Eq. (4)의 (\(x_j,y_j\))는 AI-IMU로부터 추정된 2차원 위치이다.
Eq. (3)의 Wi-Fi RSSI 특징 데이터는 위치 정보가 없는 unlabeled data이다. 따라서 본 논문에서는 위치 기반 학습데이터를 생성하기 위해 AI-IMU로부터 추정된 위치값을 데이터의 가상 fingerprint로 정의한다. 먼저, Eqs. (3)과 (4)의 집합 \(W, A\)의 데이터를 수집한 시간을 각각 \(T^{WiFi}=\{t_i^{WiFi} \}_{i=1}^N\)과 \(T^{AI-IMU}=\{t_j^{AI-IMU} \}_{j=1}^M\)로 정의한다. 이때, \(N≪M\)이므로 T^WiFi와 가장 가까운 시간 \(T^{AI-IMU}\)에서 추정된 위치를 사용하였다. 시간 \(T^{WiFi}\)에서 AI-IMU에 의해 추정된 위치값들의 집합을 \(Y∈A\)라 할 때 Wi-Fi RSSI와 IMU 기반 추정위치로 이루어진 fingerprint 데이터 집합은 Eq. (5)와 같이 정의할 수 있다.
\(P=\{(X_i,Y_i)\}_{i=1}^N\) (5)
이 때, \(Y_i=(x_i,y_i)∈R^2\)는 AI-IMU에 의해 추정된 2차원상의 위치 집합이다.
Eq. (5)는 하나의 단말기에서 수집한 (혹은 한 명의 학습자가 보행하며 수집한) 시계열 데이터이다. 여러 학습자가 여러 기기를 이용하여 독립적으로 \(k\)개의 데이터 집합을 수집한 경우 Eq. (6)과 같이 하나의 batch 집합으로 정의할 수 있다.
\(D=\{P_1,P_2,…,P_k\}\) (6)
3.2 딥러닝 목적 함수
최종적으로 학습하고자 하는 위치 추정 모델 \(g(\cdot)\)은 Eq. (7)과 같이 Eq. (2)에 기술된 Wi-Fi RSSI 특징 test 데이터가 입력으로 들어왔을 때 2차원 위치 추정을 목표로 한다.
\(g:X_i∈R^d↦(x_i,y_i )∈R^2\) (7)
본 논문에서 위치 추정 모델 \(g(\cdot)\)는 딥러닝을 통해 얻어지고 학습을 위한 목적함수를 정의하는 방법이 본 논문의 독창성을 대표한다.
먼저, 목적함수를 정의하기 위해 Eq. (6)의 데이터 집합 D에서 시간 순서적으로 3개의 위치 데이터를 선택하여 Eq. (8)과 같이 표현한다.
\(\{(Y_t,Y_{t+1},Y_{t+2} ) \}_{t=1}^T\) (8)
단, 순서쌍 (\(Y_t,Y_{t+1},Y_{t+2}\) )은 같은 궤적 P에서 선택한다. 연속된 세 샘플 \(Y_t,Y_{t+1},Y_{t+2}\) 사이의 텀은 임의의 시간 이하의 모든 경우를 포함하며, 본 논문에서는 최대 30초의 텀으로 구성하였다. Eq. (8)에 대응하는 학습 추정 모델은 Eq. (9)와 같다.
\(\{(g(X_t),g(X_{t+1}),g(X_{t+2} ) \}_{t=1}^T\) (9)
본 논문에서는 Eq. (8)의 ground-truth와 Eq. (9) 사이의 오차를 표현하기 위한 목적함수 \(L(\cdot)\)은 연속된 세 샘플의 관계를 이용한다. 먼저, Eq. (8)의 세 샘플을 궤적 \(P\)와 분리하기 위해 \(Y_{t+1}\)에서 \(Y_t,Y_{t+2}\)를 향하는 두개의 벡터를 구한다.
\(v_t=Y_t-Y_{t+1},~~v_{t+2}=Y_{t+2}-Y_{t+1}\) (10)
두개의 벡터가 이루는 각도를 구한다.
\(\theta=\arctan(v_{t+2} )-\arctan(v_t )\) (11)
Eqs. (10, 11)을 이용하여 세 샘플의 관계를 정의한다.
\(l_t=(‖v_t ‖ \cos(\theta),‖v_t ‖ \sin(\theta),‖v_{t+2} ‖ \cos(\theta),‖v_{t+2} ‖ \sin(\theta) )\) (12)
실제 세 샘플의 관계 \(l\)과 추정된 세 샘플의 관계 \(\tilde{l}\)의 평균 제곱 오차를 목적함수로 정의한다.
\(L=\sum\limits_t‖l_t-\tilde{l}_t ‖_2^2\) (13)
Table 1은 2.3절에서 정의한 목적함수로 위치추정모델을 학습하는 알고리즘을 정리한 의사코드이다. Fig. 2는 데이터 수집부터 위치 추정 모델의 학습까지의 과정을 플로우 차트로 나타낸 그림이다. 수집된 RSSI는 오토엔코더에 의해 전처리되며, AI-IMU에 의해 추정된 위치들의 관계를 이용하여 위치 추정 모델을 학습한다.
Table 1. Positioning model learning algorithm.
Algorithm 1 | Positioning model |
1: 2: 3: 4: 5: |
Repeat Sample random minibatch of time-series sets of Wi-Fi \(\{(X_t,X_{t+1},X_{t+2} ) \}_{t=1}^T\) from \(D\) Perform feedforward for each Wi-Fi data \(\{(g(X_t),g(X_{t+1}),g(X_{t+2} ) \}_{t=1}^T\) Learn with the loss function of Eq. (13) Until end of learning |
Fig. 2. Flowchart of training algorithm.
4. 실험 결과
4.1 실험 환경
실험은 80×45 m 크기의 성신여자대학교 수정관 4층에서 이루어졌으며, 단말기를 손에 쥔 두 명의 학습자가 약 1시간 보행하며 IMU 센서 데이터와 2514개의 Wi-Fi 데이터를 수집하였다. 학습 데이터와 테스트 데이터는 S20으로 수집되었다. 평가를 위해 일정한 속도로 보행하며 데이터를 수집하고, 데이터를 수집한 시점의 위치와 신경망 모델을 통해 얻은 위치를 비교한다.
Table 2는 오토엔코더의 구조를 나타낸다. 오토엔코더의 입력 차원은 건물에서 검색된 공유기 수 701와 같으며, 40차원 벡터 크기의 특징데이터로 변환한다. 활성화 함수는 출력층은 ReLU로, 그 외는 Leaky ReLU로 정의하였고, 손실함수는 평균 제곱 오차로 정의하였다. Table 3은 위치 추정 모델의 구조를 나타낸다. 위치 추정 모델은 오토엔코더에 의해 변환된 특징벡터를 입력으로 학습한다. 각각의 레이어에는 L2 정규화를 적용하였고, 정규화 parameter는 0.0001로 하였고, 활성화함수는 ReLU 함수로 정의되었다.
Table 2. Autoencoder architecture.
Input layer 1st hidden layer 2nd hidden layer (Feature data) 3rd hidden layer Output layer Learning rate Optimizer Activation function Dropout epochs |
701 300 40 300 701 0.0001 Adam LeakyReLU, ReLU 0.5 15000 |
Table 3. Positioning model architecture.
Input layer hidden layer Output layer Learning rate Optimizer Activation function Regularization parameter epochs |
40 300×3 2 0.0001 Adam ReLU 0.0001 3200 |
4.2 실험 결과
Fig. 3은 학습 데이터 집합 \(D\)의 모든Wi-Fi 특징데이터를 학습된 위치 추정 모델의 입력으로 사용해 얻은 좌표와 해당 좌표들을 지도상에 표시한 그림이다. 랜드마크 두 점을 지정하여 절대좌표로 스케일링 하였다. 건물에 대한 사전 정보 없이 다수의 학습자가 임의의 궤적으로 이동하며 얻은 학습 데이터가 본 논문에서 제시한 목적함수를 통해 위치 추정 모델을 학습시킬 수 있음을 보인다. Fig. 4는 학습 데이터를 수집할 때와 같은 방법으로 걸어 다니며 얻은 테스트 데이터셋의 결과로, 파란 점은 수집된 Wi-Fi RSSI를 오토엔코더와 위치 추정 모델을 통해 추정한 위치이고, 빨간 선은 추정된 위치를 시간 순서대로 이은 궤적이고, 검정색 선은 실제 이동한 궤적이다. Table 4는 테스트 데이터의 위치 추정 오차의 최소, 최대, 평균 등을 나타낸다. Fig. 5는 테스트 정확성을 누적 분포 함수로 표현하였다. 약 2.6 m 거리 오차의 80 %의 정확도가 (즉, CDF가 0.8) 산출되었고, 최소 0.1263 m, 최대 9.1177 m, 평균 1.7727 m의 오차가 산출되었다.
Fig. 3. Training datasets predicted by positioning model. The size of the horizontal axis of the map is 85 m and the vertical axis is 45 m.
Fig. 4. Evaluation of the test datasets (blue point) test datasets predicted by positioning model (red line) trajectory shown by connecting blue points in chronological order (black line) ground-truth. The size of the horizontal axis of the map is 85 m and the vertical axis is 45 m.
Fig. 5. CDF of the test datasets.
Table 4. Localization error of the positioning model.
Localization error [m] | ||||
Minimum | Median | Maximum | Mean | 80% |
0.1263 | 1.4805 | 9.1177 | 1.7727 | 2.6009 |
5. 결론
기존의 핑거프린트 데이터베이스는 수집하기 위한 비용과 노력이 많이 들고 실제 움직이는 사람에 대한 측위 성능도 낮다. 본 논문에선 실제 위치 정보를 수집하는 대신 AI-IMU를 통해 얻은 가상의 위치좌표를 이용한 비지도식 학습기법을 제안했다. 실험을 통해 제안한 알고리즘의 비지도식 Wi-Fi RSSI 위치 추정 모델의 성공적인 학습을 입증하였다. 향후 맵 정보를 이용하고 후처리 필터링을 적용하면 더 정확한 위치 추적이 가능할 것으로 보이며, 학습 모델을 CNN과 RNN 같은 보다 고도화된 딥러닝 모델을 적용하여 성능 개선을 이룰 예정이다.
ACKNOWLEDGMENTS
This work was supported by a National Research Foundation of Korea (NRF) grant funded by the Korean government (MSIT) (No. 2022R1F1A1070968).
AUTHOR CONTRIBUTIONS
Conceptualization, J.Y.; methodology, C.J.; software, C.J.; validation, C.J.; formal analysis, J.Y.; investigation, J.Y.; experiment, C.J.; writing—original draft preparation, C.J.; writing—review and editing, J.Y.; funding acquisition, J.Y.
CONFLICTS OF INTEREST
The authors declare no conflict of interest.
References
- Abbas, M., Elhamshary, M., Rizk, H., Torki, M., & Youssef, M. 2019, WiDeep: WiFi-based accurate and robust indoor localization system using deep learning, IEEE International Conference on Pervasive Computing and Communications, Kyoto, Japan, 11-15 March 2019, pp.1-10. https://doi.org/10.1109/PERCOM.2019.8767421
- Brida, P., Machaj, J., Racko, J., & Krejcar, O. 2021, Algorithm for Dynamic Fingerprinting Radio Map Creation Using IMU Measurements, Sensors, 21, 2283. https://doi.org/10.3390/s21072283
- Chen, C., Lu, X., Markham, A., & Trigoni, N. 2018, IONet: Learning to Cure the Curse of Drift in Inertial Odometry, Proceedings of the AAAI Conference on Artificial Intelligence, 32. https://doi.org/10.1609/aaai.v32i1.12102
- Chen, G., Zhang, Y., Xiao, L., Li, J., Zhou, L., et al. 2014, Measurement-based RSS-multipath neural network indoor positioning technique, IEEE Canadian Conference on Electrical and Computer Engineering (CCECE), Toronto, ON, Canada, 04-07 May 2014, pp.1-7, https://doi.org/10.1109/CCECE.2014.6900931
- Chong, D. & Zhan, X. 2014, Indoor location algorithm research based on neural network, International Conference on Signal Processing (ICSP), Hangzhou, China, 19-23 October 2014, pp.1499-1502. https://doi.org/10.1109/ICOSP.2014.7015249
- Du, X., Liao, X., Liu, M., & Gao, Z. 2022, CRCLoc: A Crowdsourcing-Based Radio Map Construction Method for WiFi Fingerprinting Localization, IEEE Internet of Things Journal, 9, 12364-12377. https://doi.org/10.1109/JIOT.2021.3135700
- Herath, S., Yan, H., & Furukawa, Y. 2020, RoNIN: Robust Neural Inertial Navigation in the Wild: Benchmark, Evaluations, and New Methods, IEEE International Conference on Robotics and Automation (ICRA), Paris, France, 31 May 2020 - 31 August 2020, pp.3146-3152. https://doi.org/10.1109/ICRA40945.2020.9196860
- Huang, B., Xu, Z., Jia, B., & Mao, G. 2019, An Online Radio Map Update Scheme for WiFi Fingerprint-Based Localization, IEEE Internet of Things Journal, 6, 6909-6918. https://doi.org/10.1109/JIOT.2019.2912808
- Jedari, E., Wu, Z., Rashidzadeh, R., & Saif, M. 2015, Wi-Fi based indoor location positioning employing random forest classifier, International Conference on Indoor Positioning and Indoor Navigation (IPIN), Banff, AB, Canada, 13-16 October 2015, pp.1-5. https://doi.org/10.1109/IPIN.2015.7346754
- Lee, M.-K. & Han, D.-S. 2012, Voronoi Tessellation Based Interpolation Method for Wi-Fi Radio Map Construction, IEEE Communications Letters, 16, 404-407. https://doi.org/10.1109/LCOMM.2012.020212.111992
- Lim, J.-W., Lee, C.-S., Seol, D.-M., Jung, S.-H., & Lee, S.-B. 2021, TOA Based Indoor Positioning Algorithm in NLOS Environments, Journal of Positioning, Navigation, and Timing (JPNT), 10, 121-130. https://doi.org/10.11003/JPNT.2021.10.2.121
- Liu, J., Liu, N., Pan, Z., & You, X. 2018, AutLoc: Deep Autoencoder for Indoor Localization with RSS Fingerprinting, International Conference on Wireless Communications and Signal Processing (WCSP), Hangzhou, China, 18-20 October 2018, pp.1-6. https://doi.org/10.1109/WCSP.2018.8555665
- Oh, J.-T. 2027, A Study on the Weight of W-KNN for WiFi Fingerprint Positioning, The Journal of the Institute of Internet, Broadcasting and Communication, 17, 105-111. https://doi.org/10.7236/JIIBC.2017.17.6.105
- Seong, J.-H. & Seo, D.-H. 2020, Selective Unsupervised Learning-Based Wi-Fi Fingerprint System Using Autoencoder and GAN, IEEE Internet of Things Journal, 7, 1898-1909. https://doi.org/10.1109/JIOT.2019.2956986
- Thai, Q. T., Chung, K .-S., & Keum, C.-S. 2017, Wifi Fingerprint Calibration Using Semi-Supervised Self Organizing Map, The Journal of Korean Institute of Communications and Information Sciences, 42, 536-544. https://doi.org/10.7840/kics.2017.42.2.536
- Yoo, J.-H. 2020, Semi-supervised Generative Adversarial Network for Wi-Fi Fingerprint Based Indoor Location Awareness, Journal of Institute of Control, Robotics and Systems, 26, 1116-1121. https://doi.org/10.5302/J.ICROS.2020.20.0151
- Yoo, J.-H. 2021, A Study of Multi-Target Localization Based on Deep Neural Network for Wi-Fi Indoor Positioning, Journal of Positioning, Navigation, and Timing (JPNT), 10, 49-54. https://doi.org/10.11003/JPNT.2021.10.1.49
- Zou, H., Chen, C.-L., Li, M., Yang, J., Zhou, Y., et al. 2020, Adversarial Learning-Enabled Automatic WiFi Indoor Radio Map Construction and Adaptation with Mobile Robot, IEEE Internet of Things Journal, 7, 6946-6954. https://doi.org//10.1109/JIOT.2020.2979413