基于強(qiáng)化學(xué)習(xí)的SDN數(shù)據(jù)中心網(wǎng)絡(luò)擁塞控制方法的研究.pdf

1、隨著云計(jì)算、大數(shù)據(jù)、Map Reduce、虛擬機(jī)遷移的發(fā)展，數(shù)據(jù)中心內(nèi)部通信業(yè)務(wù)急劇增加、網(wǎng)絡(luò)流量顯著增長(zhǎng)，數(shù)據(jù)中心網(wǎng)絡(luò)的帶寬很難滿足密集型應(yīng)用的帶寬需求，面臨著網(wǎng)絡(luò)擁塞的風(fēng)險(xiǎn)。傳統(tǒng)的計(jì)算機(jī)網(wǎng)絡(luò)是分布式的復(fù)雜結(jié)構(gòu)，擁塞算法的設(shè)計(jì)極為困難，很難滿足當(dāng)前需求，軟件定義網(wǎng)絡(luò)的出現(xiàn)和發(fā)展使數(shù)據(jù)中心網(wǎng)絡(luò)擁塞控制的問(wèn)題得到了新的解決辦法。SDN(Software Defined Network，軟件定義網(wǎng)絡(luò))的核心思想是控制層和數(shù)據(jù)層分離，使得控制

2、層的控制器可以對(duì)全網(wǎng)進(jìn)行集中管理，為擁塞控制算法的設(shè)計(jì)提供了便利，越來(lái)越多的科研人員開(kāi)始研究SDN數(shù)據(jù)中心網(wǎng)絡(luò)的擁塞控制。
　　在網(wǎng)絡(luò)智能化發(fā)展的大背景下，SDN作為未來(lái)網(wǎng)絡(luò)架構(gòu)方式更應(yīng)該表現(xiàn)其智能性，SDN數(shù)據(jù)中心網(wǎng)絡(luò)擁塞控制應(yīng)該具有很強(qiáng)的自適應(yīng)能力和較高的控制效率。強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支，是一種無(wú)模型的學(xué)習(xí)算法，在強(qiáng)化學(xué)習(xí)的模型中，智能體可以與環(huán)境交互進(jìn)行學(xué)習(xí)，做出很好的決策。
　　本文將Q-Learning算法引

3、入SDN架構(gòu)的數(shù)據(jù)中心網(wǎng)絡(luò)，實(shí)現(xiàn)基于流的擁塞控制，提出了一種基于Q-Learning的離策略擁塞控制算法。該算法采用為每一條流分配速率的方式進(jìn)行擁塞控制，通過(guò)Q函數(shù)的設(shè)計(jì)，將尋找最優(yōu)擁塞控制決策的問(wèn)題轉(zhuǎn)化為求解最優(yōu)Q矩陣的問(wèn)題，最優(yōu)的Q矩陣就是智能體學(xué)習(xí)到的知識(shí)，即擁塞控制策略。
　　Q-Learning算法是一種離策略算法，自適應(yīng)能力差，針對(duì)這一問(wèn)題，本文將SARSA算法引入SDN架構(gòu)的數(shù)據(jù)中心網(wǎng)絡(luò)，實(shí)現(xiàn)基于流的擁塞控制，提出一

4、種基于SARSA的在策略擁塞控制算法，這種擁塞控制策略也是采用分配速率的方法，但是SARSA算法每個(gè)狀態(tài)的行為決策都會(huì)根據(jù)實(shí)際情況變化，對(duì)于數(shù)據(jù)中心網(wǎng)絡(luò)狀態(tài)的變化具有很強(qiáng)的自適應(yīng)能力。
　　本文的最后對(duì)基于Q-Learning的離策略擁塞控制算法和基于SARSA的在策略擁塞控制算法進(jìn)行了測(cè)試，結(jié)果表明基于Q-Learning的離策略擁塞控制方法和基于SARSA的在策略擁塞控制方法，都能有效的實(shí)現(xiàn)擁塞控制，并且基于SARSA的在策略