• IEMEK Journal of Embedded Systems and Applications
• /
• v.19 no.2
• /
• pp.107-114
• /
• 2024

Mobile ad hoc networks represent self-configuring networks of mobile devices that communicate without relying on a fixed infrastructure. However, traditional routing protocols in such networks encounter challenges in selecting efficient and reliable routes due to dynamic nature of these networks caused by unpredictable mobility of nodes. This often results in a failure to meet the low-delay and low-energy consumption requirements crucial for such networks. In order to overcome such challenges, our paper introduces a novel multi-objective and adaptive routing scheme based on the Q-learning reinforcement learning algorithm. The proposed routing scheme dynamically adjusts itself based on measured network states, such as traffic congestion and mobility. The proposed approach utilizes Q-learning to select routes in a decentralized manner, considering factors like energy consumption, load balancing, and the selection of stable links. We present a formulation of the multi-objective optimization problem and discuss adaptive adjustments of the Q-learning parameters to handle the dynamic nature of the network. To speed up the learning process, our scheme incorporates informative shaped rewards, providing additional guidance to the learning agents for better solutions. Implemented on the widely-used AODV routing protocol, our proposed approaches demonstrate better performance in terms of energy efficiency and improved message delivery delay, even in highly dynamic network environments, when compared to the traditional AODV. These findings show the potential of leveraging reinforcement learning for efficient routing in ad hoc networks, making the way for future advancements in the field of mobile ad hoc networking.

• Annual Conference of KIPS
• /
• 2007.05a
• /
• pp.1205-1208
• /
• 2007

모바일 애드혹 네트워크는 기존의 셀룰러 네트워크와는 달리 고정된 기지국이 존재하지 않고 모바일 노드들만으로 구성된 네트워크이다. 모바일 애드혹 네트워크의 각각의 노드들은 제한된 자원과 한정된 용량을 가진 배터리로 동작한다. 만일 이 배터리를 모두 소모하게 된다면 중간 노드들이 다운이 되고, 결과적으로 전체 네트워크가 단절되는 문제가 발생할 수 있다. 기존의 전송 전력을 고려하여 경로를 설정하는 기법인 CLUSTERPOW는 노드 간에 연결되는 전송 전력을 최소화함으로써 데이터 전송 시 소비되는 전력을 줄이고자 하였다. 그러나 이 기법은 proactive 방식의 라우팅 프로토콜에는 적합하나 reactive 방식의 라우팅 프로토콜에는 적합하지 않다. 따라서 본 논문에서는 reactive 방식의 특성에 맞는 전송 전력 설정 기법인 FSRS(Fast Search Reverse Setting) 기법을 제안하였다. FSRS 기법은 reactive 방식에서 사용하는 컨트롤 패킷 플라딩을 사용한 경로 설정에서의 오버헤드를 줄이고자 클러스터 간 플라딩을 통해 목적지 노드를 빠르게 찾고 한정된 클러스터 간 경로를 통해 전송 전력을 고려한 세부적인 경로를 설정한다. FSRS 기법은 기존의 CLUSTERPOW 기법과 마찬가지로 효율적인 전송 전력으로 경로를 설정하였으며 또한 네트워크 생존 시간을 CLUSTERPOW보다 평균 43% 연장시켰다.

• Journal of the Institute of Electronics Engineers of Korea TC
• /
• v.45 no.1
• /
• pp.42-50
• /
• 2008

Unlike a cellular network, a mobile ad hoc network(MANET) is constructed only by mobile nodes without access point. Mobile nodes in MANET operate with scarce resources and restricted battery. If battery of intermediate node is exhausted, overall network might be diverged. Therefore, power-aware is really important. An on-demand multipath routing protocol which is proposed to compensate for shortcoming of on-demand single path routing protocol can reduce mute discovery overhead because route discovery starts only when all routes are disconnected. AOMDV(Ad hoc On-demand Multipath Distance Vector) which is on-demand multipath routing protocol based on AODV, reduces 40% of route discovery frequency. However, AOMDV have none of power-aware. So AOMDV have problem that route discovery for power exhaustion is not reduced at all. This paper proposes new power-aware path selection algorithm for AOMDV and scheme that broadcast REER packets when mobile node's battery can be gone. Performance comparison of proposed algorithm with AOMDV using ns-2 simulator shows that route discovery of proposed algorithm is reduced maximally 36.57% than AOMDV's.

• The KIPS Transactions:PartC
• /
• v.14C no.5
• /
• pp.417-424
• /
• 2007

Mesh networks using WLAN technology have been paid attention as a key wireless access technology. However, many technical issues still exist for its successful deployment. One of those issues is the routing problem that addresses the path setup through a WLAN mesh network for the data exchanges between a station and a wired network. Since the characteristics of a WLAN mesh network can be very dynamic, the use of single routing protocol would not fit for all environments whether it is reactive or proactive. Therefore, it is required to develop an adaptive routing protocol that modifies itself according to the changes in the network parameters. As a logical first step for the development, an analytical model considering all the dynamic features of a WLAN mesh network is required to evaluate the performance of a reactive and a proactive routing scheme. In this paper, we propose an analytical model that makes us scrutinize the impact of the network and station parameters on the performance of each routing protocol. Our model includes the size of a mesh network, the density of stations, mobility of stations. and the duration of network topology change. We applied our model to the AODV that is a representative reactive routing protocol and DSDV that is a representative proactive routing protocol to analyze the tradeoff between AODV and DSDV in dynamic network environments. Our model is expected to help developing an adaptive routing protocol for a WLAN mesh network.

• The Journal of Korea Institute of Information, Electronics, and Communication Technology
• /
• v.3 no.2
• /
• pp.46-49
• /
• 2010

This paper has proposedfor wireless Ad-hoc networks with robust route maintenance schemes. The device feature Bluetooth and/or IEEE 802.11 network interfaces and communicate in a decentralized manner. The nodes have the responsibility of self-organizing so that the network is robust to the variations in network topology due to node mobility as well as the fluctuations of the signal quality in the wireless environment.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.04a
• /
• pp.868-870
• /
• 2004

ad-hoc 망에서 라우팅 프로토콜의 부하균등(load balancing)은 이동성과 전송 지연사이의 trade-off로 인하여 성능 관점에서 중요한 이슈가 되어왔다. 부하균등을 고려한 SLAP(Simple Load-balancing Ad-hoc routing Protocol)이 제안되었으나 혼잡이 발생하거나 망의 토폴로지가 변화하였을 때 유연하게 대처하지 못한다. 본 논문에서는 ad-hoc 망에서 트래픽 혼잡 제어와 망의 이동성에 적응하기 위하여 동적인 임계치를 사용하는 부하균등 라우팅 프로토콜을 제안하였다. 제안된 프로토콜은 성능은 GloMoSim으로 시뮬레이션을 수행하여 AODV, DSR, SLAP과 지연, 패킷 전송률 등을 비교하여 평가하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10c
• /
• pp.616-618
• /
• 2001

현재 ad hoc 라우팅 프로토콜들은 두 노드사이의 동일한 전파 전송 영역을 가정한 대칭 링크만을 지원하는데 반해 이동 ad hoc 망에서는 각각의 노드들의 전파 전송 영역의 차이로 인해 잦은 비대칭 링크가 발생한다. 본 논문에서는 라우팅 프로토콜의 성능을 향상 시키고 비대칭 라우팅 프로토콜을 구현하기 위한 링3설정 알고리즘을 제시한다. 이를 기존 AODV 라우팅 프로토콜에 적용한 경우를 GlomoSim을 이용한 시뮬레이션을 통해 성능 평가하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.04a
• /
• pp.568-570
• /
• 2004

MANET에서 라우팅 경로가 설정되었다고 하더라도 노드의 이동성으로 인하여 네트워크의 끊김 현상이 발생하여 재라우팅을 해야 하는 오버헤드와 전송 지연이 발생한다. 이러한 문제를 해결하기 위하여 각 노드의 에너지를 기반으로 에너지 그룹을 형성하고, 반응적 라우팅 프로토콜인 AODV를 수정하여 EAODV(Energy aware ADODV)를 제안하고 이를 정형 기법을 통해 명세하고 항상 라우팅 패스를 찾는다는 속성을 검증한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.04a
• /
• pp.748-750
• /
• 2004

AODV나 DSR과 같은 Reactive 라우팅 방식은 트래픽이 발생되는 시점에서 경로를 탐색하는 방법으로서 최적 메시지 전송 경로가 유효하다면 트래픽의 증가와 과도한 에너지 소비를 고려하지 않고 계속적인 동일 전송 경로의 사용으로 인해 특정 노드에 대하여 에너지 소모가 심화될 뿐만 아니라 전송지연이 발생된다. 본 논문에서는 과중한 트래픽 상태를 분산 시켜 전체 네트워크의 균형적인 에너지 소비를 위하여 Reactive 라우팅 방법에서 특정 노드의 트래픽 상태, 에너지 상태, 라우팅 시간을 고려한 노드 상태 기반 부하 분산 방법(NSLB： Node Status-based Load Balancing Method)을 제안한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.04a
• /
• pp.364-366
• /
• 2004

보안은 유ㆍ무선 환경에서 가장 이슈가 되는 분야이다. 현재 이동 애드혹 망은 보안에 대한 고려 없이 진행이 되어있다. 고정된 기반구조를 가지고 있지 않기 때문에 보안은 이동 애드 혹 망에서 가장 취약한 점이며 많은 논문에서 ADOV 혹은 DSR 같은 프로토콜의 위협적인 요소들에 대해 문제점을 제시 하여왔다. 본 논문에서는 가장 가볍고 처리 속도가 빠른 메시지 인증 코드를 사용함으로써 AODV 라우팅(routing) 프로토골(protocol)에 보안기능을 제안하였다.