DOI QR코드

DOI QR Code

AQ-NAV: 수중통신에서 거리 추정을 이용한 강화 학습 기반 채널 접속 기법

AQ-NAV: Reinforced Learning Based Channel Access Method Using Distance Estimation in Underwater Communication

  • 박석현 (충북대학교 소프트웨어학과) ;
  • 신경섭 (상명대학교 컴퓨터과학과) ;
  • 조오현 (충북대학교 소프트웨어학과)
  • Park, Seok-Hyeon (Department of Computer Science, Chungbuk National University) ;
  • Shin, Kyungseop (Department of Computer Science, Sangmyung University) ;
  • Jo, Ohyun (Department of Computer Science, Chungbuk National University)
  • 투고 : 2020.06.26
  • 심사 : 2020.07.20
  • 발행 : 2020.07.28

초록

본 논문은 기존 강화학습 기반 수중통신 예약방식에서 성능 저하 요인 중 하나인 긴 학습 시간을 단축시킴으로써 에너지 소모를 감소시킬 수 있는 향상된 채널 접속 기법을 제안한다. 수중 무선 네트워크에서 노드 간 거리를 추정하여 이를 바탕으로 기존 강화 학습 기반 채널 접속 방법의 학습 범위의 최대, 최소치를 결정한다. 이는 기존 강화학습의 학습 범위를 줄일 수 있다. 수중 무선 네트워크 환경의 특성에 따른 거리 추정값의 오차를 고려하여 NAV 학습 범위를 고려하며, 이를 적용하기 위해 인위적으로 간섭의 크기를 변경시켜가며 학습 진행률에 대한 성능 테스트를 진행하였다. 실험 결과 기존 방법 대비 제안된 AQ-NAV 방안의 경우, 20-40회 학습에서도 360개의 학습 배열 중 평균 340-350개 이상의 학습 배열이 학습이 진행되었고 50회 이상 학습에서는 모든 학습 배열에 대하여 학습이 진행되었다. 반면, 기존 연구의 경우 학습이 120회 이상 진행되어도 360개의 배열 중 300-320개의 배열에 대한 학습이 진행되었다. 실험에서는 기존 대비 적은 횟수의 시도로 학습이 가능함을 보여준다. AQ-NAV가 수중 무선 네트워크에 적용될 경우 에너지 소비 절감을 통해 기존의 방안의 문제점을 완화하고 네트워크 성능 향상을 이룰 것으로 예상된다.

This work tackles the problem of conventional reinforcement learning scheme which has a relatively long training time to reduce energy consumption in underwater network. The enhanced scheme adjusts the learning range of reinforcement learning based on distance estimation. It can be reduce the scope of learning. To take account the fact that the distance estimation may not be accurate due to the underwater wireless network characteristics. this research added noise in consideration of the underwater environment. In simulation result, the proposed AQ-NAV scheme has completed learning much faster than existing method. AQ-NAV can finish the training process within less than 40 episodes. But the existing method requires more than 120 episodes. The result show that learning is possible with fewer attempts than the previous one. If AQ-NAV will be applied in Underwater Networks, It will affect energy efficiency. and It will be expected to relieved existing problem and increase network efficiency.

키워드

참고문헌

  1. https://water.usgs.gov/edu/earthhowmuch.html
  2. M. Mangel. (1983). Optimal search for and mining of underwater mineral resources. SIAM Journal on Applied Mathematics, 43(1), 99-106. DOI : 10.1137/0143008
  3. N. Wakita, K. Hirokawa, T. Ichikawa & Y. Yamauchi. (2010). Development of autonomous underwater vehicle (AUV) for exploring deep sea marine mineral resources. Mitsubishi Heavy Industries Technical Review, 47(3), 73-80.
  4. E. M. Sozer, M. Stojanovic & J. G. Proakis. (2000). Underwater acoustic networks. IEEE journal of oceanic engineering, 25(1), 72-83. DOI : 10.1109/48.820738
  5. I. F. Akyildiz, D. Pompili & T. Melodia. (2004). Challenges for efficient communication in underwater acoustic sensor networks. ACM Sigbed Review, 1(2), 3-8. DOI : 10.1145/1121776.1121779
  6. F. Yunus, S. H. Ariffin & Y. Zahedi. (2010). A survey of existing medium access control (MAC) for underwater wireless sensor network (UWSN). In 2010 Fourth Asia International Conference on Mathematical/Analytical Modelling and Computer Simulation (pp. 544-549). Bornea:IEEE.
  7. X. Guo, M. R. Frater & M. J. Ryan. (2009). Design of a propagation-delay-tolerant MAC protocol for underwater acoustic sensor networks. IEEE Journal of Oceanic Engineering, 34(2), 170-180. DOI : 10.1109/JOE.2009.2015164
  8. D. Shin & D. Kim. (2008). A dynamic NAV determination protocol in 802.11 based underwater networks. In 2008 IEEE International Symposium on Wireless Communication Systems (pp. 401-405). Reykjavik:IEEE.
  9. S. Y. Shin & S. H. Park. (2007, December). UWA-NAV-Energy Efficient Error Control Scheme for Underwater Acoustic Sensor Network. In International Conference on Embedded and Ubiquitous Computing (pp. 505-514). Berlin, Heidelberg:Springer
  10. Y. D. Chen, C. C. Li, R. T. Dai & K. P. Shih. (2011). On enhancing four-way handshake with stair-like NAV setting for underwater acoustic networks. In OCEANS'11 MTS/IEEE KONA (pp. 1-6). Waikoloa:IEEE.
  11. J. Cho, E. Shitiri & H. S. Cho. (2017). Network allocation vector (NAV) optimization for underwater handshaking-based protocols. Sensors, 17(1), 32. DOI : 10.3390/s17010032
  12. Wireless LAN Medium Access Control (MAC) and Physical Layer (PHY) Specification, IEEE Std. 802.11, 1999.
  13. Seok-Hyeon Park, Ohyun Jo (2020). Q-NAV: NAV Setting Method based on Reinforcement Learning in Underwater Wireless Networks, arXiv preprint arXiv:2005.13521.
  14. P. Karn & C. Partridge. (1987). Improving round-trip time estimates in reliable transport protocols. ACM SIGCOMM Computer Communication Review, 17(5), 2-7. DOI:10.1145/55483.55484
  15. M. Hosseini, H. Chizari, C. K. Soon & R. Budiarto. (2010). RSS-based distance measurement in underwater acoustic sensor networks: An application of the Lambert W function. In 2010 4th International Conference on Signal Processing and Communication Systems (pp. 1-4). Gold Coast:IEEE.