一種精確預(yù)測(cè)分布式計(jì)算平臺(tái)流量的通用框架.pdf

1、云計(jì)算作為當(dāng)今IT領(lǐng)域中程碑式的計(jì)算模式，已經(jīng)成為工業(yè)界和學(xué)術(shù)界競(jìng)相研究的熱點(diǎn)。通過將網(wǎng)絡(luò)資源，計(jì)算資源和存儲(chǔ)資源進(jìn)行集中化系統(tǒng)管理，云計(jì)算數(shù)據(jù)中心能夠處理以前需要超級(jí)計(jì)算機(jī)或者大型機(jī)才能進(jìn)行計(jì)算的大型數(shù)據(jù)集。如今，為了更好地服務(wù)于數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)等計(jì)算密集型領(lǐng)域，大量分布式計(jì)算平臺(tái)被開發(fā)和部署，如MapReduce[1]，Dryad[2]，Spark[3]等在數(shù)據(jù)中心中有著大量的部署和應(yīng)用。分布式計(jì)算平臺(tái)通過抽象分布式計(jì)算的實(shí)現(xiàn)細(xì)節(jié)

2、，大大地提高了程序員的生產(chǎn)力。借助分布式計(jì)算平臺(tái)的應(yīng)用程序編程接口（API），編碼人員能夠集中精力處理算法本身的邏輯，而不需要去考慮資源共享，競(jìng)爭(zhēng)，任務(wù)分發(fā)等繁瑣的問題。然而，分布式計(jì)算平臺(tái)所產(chǎn)生的大量波動(dòng)且突發(fā)（burst）數(shù)據(jù)流量，對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)施帶來了巨大的挑戰(zhàn)。
　　在本論文中，我們提出了一種面向分布式計(jì)算平臺(tái)進(jìn)行精確網(wǎng)絡(luò)流量預(yù)測(cè)的通用框架FLOWPROPHET。FLOWPROPHET的設(shè)計(jì)和實(shí)現(xiàn)基于我們對(duì)主流分布式計(jì)算

3、平臺(tái)的兩點(diǎn)認(rèn)知：1）在分布式計(jì)算平臺(tái)把用戶程序邏輯表達(dá)成分布式執(zhí)行的邏輯時(shí)，多采用有向無環(huán)圖（DAG）來表達(dá)；2）有向無環(huán)圖中包含有預(yù)測(cè)網(wǎng)絡(luò)流量所需要的時(shí)間依賴，數(shù)據(jù)依賴和網(wǎng)絡(luò)流依賴。因此，F(xiàn)LOWPROPHET通過從用戶程序邏輯中釋出有向無環(huán)圖，然后根據(jù)有向無環(huán)圖中所包含的依賴，在網(wǎng)絡(luò)流發(fā)生之前計(jì)算出代表著網(wǎng)絡(luò)流的四元組信息（源地址，目的地址，大小，開始時(shí)間）。FLOWPROPHET提供通用的編程接口，當(dāng)前和未來的分布式計(jì)算平臺(tái)通過調(diào)

4、用相應(yīng)的編程接口可以直接部署 FLOWPROPHET進(jìn)行網(wǎng)絡(luò)流量預(yù)測(cè)，從而提高數(shù)據(jù)中心網(wǎng)絡(luò)的性能，優(yōu)化網(wǎng)絡(luò)資源的分配，最終提升分布式計(jì)算平臺(tái)的用戶體驗(yàn)。為了實(shí)現(xiàn)該課題的研究目標(biāo)，研究主要集中在以下內(nèi)容：
　　1.分析現(xiàn)有主流分布式計(jì)算平臺(tái)的代碼。總結(jié)出計(jì)算邏輯可以由有向無環(huán)圖（DAG）進(jìn)行表達(dá)。而從有向無環(huán)圖中可以分析得到時(shí)間和數(shù)據(jù)的依賴性從而實(shí)現(xiàn)流量預(yù)測(cè)。
　　2.設(shè)計(jì)了精準(zhǔn)預(yù)測(cè)流量的通用框架FLOWPROPHET。FLO