基于改進(jìn)Q學(xué)習(xí)的異構(gòu)網(wǎng)絡(luò)接納控制算法研究.pdf

1、下一代移動(dòng)通信系統(tǒng)是高度集成多種異構(gòu)無(wú)線(xiàn)網(wǎng)絡(luò)技術(shù)的。不同無(wú)線(xiàn)網(wǎng)絡(luò)之間互相融合，通過(guò)提供額外的資源可以達(dá)到技術(shù)互補(bǔ)的效果。例如，3GPP在制定第四代通信標(biāo)準(zhǔn)過(guò)程中，為了保持蜂窩通信技術(shù)的優(yōu)勢(shì)地位而提出的長(zhǎng)期演進(jìn)（Long Term Evolution，LTE）具有廣覆蓋但高速率接入的代價(jià)高特性，而無(wú)線(xiàn)局域網(wǎng)（WLAN）雖然覆蓋范圍有限，但可以提供低代價(jià)的高速率傳輸。這兩種無(wú)線(xiàn)網(wǎng)絡(luò)的集成近幾年已經(jīng)成為研究的熱點(diǎn)。尤其是視頻交付業(yè)務(wù)，已經(jīng)成為

2、當(dāng)前流行的用戶(hù)業(yè)務(wù)類(lèi)型。作為無(wú)線(xiàn)資源管理（Radio Resource Management，RRM）的一個(gè)重要組成部分，呼叫接納控制用來(lái)判斷是否允許一個(gè)新的呼叫或切換請(qǐng)求接入到資源受限的網(wǎng)絡(luò)中去?，F(xiàn)有的異構(gòu)網(wǎng)絡(luò)在用戶(hù)體驗(yàn)、網(wǎng)絡(luò)特性、覆蓋范圍等方面存在很大差異，運(yùn)營(yíng)商通常采取提高QoS保證服務(wù)質(zhì)量來(lái)提升用戶(hù)體驗(yàn)（Quality of Experience，QoE），進(jìn)而吸引更多用戶(hù)，最大化其收益。單純的提升某一QoS客觀指標(biāo)，并不能完整

3、體現(xiàn)用戶(hù)對(duì)業(yè)務(wù)的主觀感受。Q學(xué)習(xí)既不需要對(duì)環(huán)境進(jìn)行數(shù)學(xué)建模，也不需要專(zhuān)家的訓(xùn)練指導(dǎo)，具有很強(qiáng)的環(huán)境適應(yīng)性，但常見(jiàn)的Q學(xué)習(xí)算法的收斂性不穩(wěn)定，且解空間容易陷入局部最優(yōu)解，很難收斂到全局最優(yōu)解。
　　鑒于以上問(wèn)題，本文從用戶(hù)體驗(yàn)出發(fā)，綜合考慮多種QoS因素對(duì)視頻交付業(yè)務(wù)的影響，提出一種基于模擬退火策略下Q學(xué)習(xí)的LTE/WLAN異構(gòu)網(wǎng)絡(luò)接納控制算法。本文的研究思路為：首先，詳細(xì)地分析了異構(gòu)網(wǎng)絡(luò)接納控制理論與模型，并給出標(biāo)準(zhǔn)Q學(xué)習(xí)理論及方

4、法。然后將Q學(xué)習(xí)方法映射到異構(gòu)網(wǎng)絡(luò)接納控制算法中，在異構(gòu)網(wǎng)絡(luò)接納控制實(shí)現(xiàn)Q學(xué)習(xí)自主學(xué)習(xí)過(guò)程。其次，為了平衡學(xué)習(xí)過(guò)程中探索和利用的關(guān)系，本文利用模擬退火中的Metropolis準(zhǔn)則用來(lái)改進(jìn)Q學(xué)習(xí)算法中動(dòng)作選擇問(wèn)題并將其應(yīng)用于異構(gòu)網(wǎng)絡(luò)接納控制中，使得算法收斂性、負(fù)載均衡以及系統(tǒng)容量方面有所提高。再次，在Q學(xué)習(xí)的回報(bào)函數(shù)中考慮了用戶(hù)體驗(yàn)，能夠更好的反映用戶(hù)對(duì)業(yè)務(wù)的主觀感受，在減少垂直切換次數(shù)的同時(shí)提高了無(wú)線(xiàn)資源利用率。最后，建立了Q學(xué)習(xí)接納控