基于強(qiáng)化學(xué)習(xí)的動(dòng)態(tài)頻譜分配算法的研究.pdf

1、認(rèn)知無線電的智能核心在認(rèn)知引擎中，認(rèn)知引擎執(zhí)行在通信系統(tǒng)重構(gòu)中必須的模擬、學(xué)習(xí)、最優(yōu)化過程。認(rèn)知引擎必須具備學(xué)習(xí)能力，是認(rèn)知無線電區(qū)別于傳統(tǒng)無線電的關(guān)鍵部件。本文主要研究的便是將強(qiáng)化學(xué)習(xí)引入到認(rèn)知用戶動(dòng)態(tài)接入授權(quán)用戶網(wǎng)絡(luò)的動(dòng)態(tài)頻譜接入問題中，使認(rèn)知用戶具備一定的智能，使認(rèn)知引擎具備學(xué)習(xí)推理能力。
　　 本文介紹了強(qiáng)化學(xué)習(xí)的基本原理，描述了幾種比較常用的強(qiáng)化學(xué)習(xí)算法，并且對多智能體強(qiáng)化學(xué)習(xí)理論進(jìn)行了比較詳細(xì)的介紹，為接下來的研究打

2、好了理論基礎(chǔ)。
　　 本文將頻點(diǎn)的信噪比考慮到認(rèn)知用戶的獎(jiǎng)賞函數(shù)中，提出了一種改進(jìn)的DAQL算法，并且將該算法引入到有授權(quán)用戶存在環(huán)境下的動(dòng)態(tài)頻譜接入的問題中，使認(rèn)知用戶具備一定的智能，實(shí)現(xiàn)了降低系統(tǒng)沖突概率，同時(shí)提高系統(tǒng)的平均容量的目標(biāo)。仿真證明了該方案的有效性。
　　 本文重點(diǎn)研究了多用戶動(dòng)態(tài)頻譜接入的問題，在認(rèn)知用戶獨(dú)立學(xué)習(xí)的基礎(chǔ)上提出一種基于分布式獨(dú)立學(xué)習(xí)的多用戶動(dòng)態(tài)頻譜接入算法。該算法中每個(gè)認(rèn)知用戶都是一個(gè)基于

3、獨(dú)立學(xué)習(xí)的智能體，它不知道在聯(lián)合行動(dòng)中其他認(rèn)知用戶的行動(dòng)策略，僅維護(hù)自己的一個(gè)關(guān)于狀態(tài)-行動(dòng)對的Q值表，并且每個(gè)認(rèn)知用戶各自采取獨(dú)立的迭代過程。同時(shí)將各個(gè)用戶頻點(diǎn)的信噪比引入到獎(jiǎng)賞函數(shù)r中，在降低系統(tǒng)沖突概率的同時(shí)，提高了系統(tǒng)的平均容量。仿真結(jié)果表明該算法可以降低沖突概率，在考慮頻點(diǎn)信噪比的情況下，系統(tǒng)的平均容量可以得到提高。
　　 為了加快學(xué)習(xí)速率，使系統(tǒng)能夠擁有更好的收斂速度，本文將黑板模型、融合算法以及強(qiáng)化學(xué)習(xí)技術(shù)相結(jié)合，