基于增強學習的無線傳感器網(wǎng)絡自組織方法研究.pdf

1、在無線傳感器網(wǎng)絡中，傳感器節(jié)點在電源能量、計算能力、通信能力等方面具有局限性，節(jié)點間如何相互協(xié)作并發(fā)揮其整體綜合作用，是設計無線傳感器網(wǎng)絡自組織的重點和難點。同時，針對無線傳感器網(wǎng)絡能量有限的特點，如何延長網(wǎng)絡生存期也是設計無線傳感器網(wǎng)絡的另一個重點。本文以無線傳感器網(wǎng)絡自組織方法作為主要研究對象，分析了幾種國內(nèi)外比較典型的無線傳感器網(wǎng)絡自組織的方法，以及在此基礎上提出了兩種基于增強學習的自組織方法。
　　 從現(xiàn)有的自組織方法可

2、以看出，無線傳感器網(wǎng)絡的自組織是通過路由協(xié)議和拓撲控制實現(xiàn)的。針對這個兩個解決途徑，本文將增強學習算法運用到自組織系統(tǒng)中，分別提出了基于Q 學習的自組織策略（QLSOP，Q-Learning Self-Organization Policy）和基于TD 能量預測的最小生成樹的自組織方法（TD-MST，Temporal Differences Minimum Spanning Tree）。QLSOP充分利用了Q-Learning 算法的動

3、態(tài)適應性，綜合考慮了距離、跳數(shù)、通訊能耗、剩余能耗的因素，使得節(jié)點可以利用值函數(shù)來尋找最優(yōu)路徑，找到傳感器節(jié)點的能量消耗和剩余能量之間的平衡點。TD-MST 利用TD 算法進行節(jié)點能量預測，計算出能量消耗和剩余能量之比，以此作為權值，以sink 節(jié)點為根構(gòu)建最小生成樹。值得指出的是，利用TD 算法預測鄰居節(jié)點的能量消耗，避免了節(jié)點間發(fā)送大量的告知信息，減少控制信令的能耗。
　　 通過仿真實驗結(jié)果可以看出，上述的兩種自組織方法可以