基于多Agent強(qiáng)化學(xué)習(xí)的無(wú)線(xiàn)傳感器網(wǎng)絡(luò)多路徑路由協(xié)議研究.pdf

1、無(wú)線(xiàn)傳感器網(wǎng)絡(luò)是面向具體應(yīng)用的網(wǎng)絡(luò)，在一些應(yīng)用場(chǎng)合下，重要性不同的數(shù)據(jù)在傳輸時(shí)所要保證的服務(wù)質(zhì)量（Quality of Service，QoS）不同，這就對(duì)網(wǎng)絡(luò)的路由協(xié)議設(shè)計(jì)提出了更高的要求。在一些多路徑路由協(xié)議中，優(yōu)先級(jí)較高的重要數(shù)據(jù)可以通過(guò)最短路徑發(fā)送以減少數(shù)據(jù)在傳輸過(guò)程中的延時(shí)，然而，由于所處環(huán)境以及拓?fù)浣Y(jié)構(gòu)的動(dòng)態(tài)特性，網(wǎng)絡(luò)中可能同時(shí)存在多條路徑質(zhì)量各不相同的最短路徑。因此，如何從這多條最短路徑中選擇當(dāng)前網(wǎng)絡(luò)狀況下性能最優(yōu)的一條進(jìn)

2、行數(shù)據(jù)傳輸以滿(mǎn)足數(shù)據(jù)的QoS需求是一個(gè)重要的研究課題。
　　本文首先將無(wú)線(xiàn)傳感器網(wǎng)絡(luò)看作一個(gè)多Agent系統(tǒng)，將節(jié)點(diǎn)看作具有獨(dú)立學(xué)習(xí)能力的Agent，提出一種基于多Agent強(qiáng)化學(xué)習(xí)的多路徑路由協(xié)議。在該協(xié)議中，節(jié)點(diǎn)根據(jù)所傳輸數(shù)據(jù)的優(yōu)先級(jí)進(jìn)行路徑選擇，若為低優(yōu)先級(jí)數(shù)據(jù)，則隨機(jī)從路由表中選擇一條路徑;若為高優(yōu)先級(jí)數(shù)據(jù)，則將鄰居節(jié)點(diǎn)的緩沖隊(duì)列長(zhǎng)度以及節(jié)點(diǎn)間的鏈路質(zhì)量作為路徑選擇的依據(jù)。論文采用多Agent強(qiáng)化學(xué)習(xí)理論，將高優(yōu)先級(jí)數(shù)據(jù)的

3、路由選擇過(guò)程建模為一個(gè)Markov決策過(guò)程，通過(guò)鄰居節(jié)點(diǎn)之間的局部信息交互，建立了一種基于分布式值函數(shù)的Q-學(xué)習(xí)機(jī)制。然后，在OMNeT++環(huán)境下進(jìn)行了仿真實(shí)驗(yàn)，對(duì)所提出的協(xié)議進(jìn)行驗(yàn)證。結(jié)果表明，該協(xié)議能夠有效減少高優(yōu)先級(jí)數(shù)據(jù)的傳輸延時(shí)，提高其傳輸成功率，并且能夠在一定程度上平衡網(wǎng)絡(luò)負(fù)載。
　　在所提出的協(xié)議基礎(chǔ)上，本文進(jìn)一步考慮節(jié)點(diǎn)學(xué)習(xí)時(shí)狀態(tài)空間過(guò)大的問(wèn)題，借鑒狀態(tài)聚類(lèi)思想，對(duì)鄰居節(jié)點(diǎn)的隊(duì)列長(zhǎng)度進(jìn)行大小排序，以其排序作為系統(tǒng)決策