一種精確預測分布式計算平臺流量的通用框架.pdf

1、云計算作為當今IT領域中程碑式的計算模式，已經(jīng)成為工業(yè)界和學術界競相研究的熱點。通過將網(wǎng)絡資源，計算資源和存儲資源進行集中化系統(tǒng)管理，云計算數(shù)據(jù)中心能夠處理以前需要超級計算機或者大型機才能進行計算的大型數(shù)據(jù)集。如今，為了更好地服務于數(shù)據(jù)挖掘和機器學習等計算密集型領域，大量分布式計算平臺被開發(fā)和部署，如MapReduce[1]，Dryad[2]，Spark[3]等在數(shù)據(jù)中心中有著大量的部署和應用。分布式計算平臺通過抽象分布式計算的實現(xiàn)細節(jié)

2、，大大地提高了程序員的生產(chǎn)力。借助分布式計算平臺的應用程序編程接口（API），編碼人員能夠集中精力處理算法本身的邏輯，而不需要去考慮資源共享，競爭，任務分發(fā)等繁瑣的問題。然而，分布式計算平臺所產(chǎn)生的大量波動且突發(fā)（burst）數(shù)據(jù)流量，對數(shù)據(jù)中心網(wǎng)絡設施帶來了巨大的挑戰(zhàn)。
　　在本論文中，我們提出了一種面向分布式計算平臺進行精確網(wǎng)絡流量預測的通用框架FLOWPROPHET。FLOWPROPHET的設計和實現(xiàn)基于我們對主流分布式計算

3、平臺的兩點認知：1）在分布式計算平臺把用戶程序邏輯表達成分布式執(zhí)行的邏輯時，多采用有向無環(huán)圖（DAG）來表達；2）有向無環(huán)圖中包含有預測網(wǎng)絡流量所需要的時間依賴，數(shù)據(jù)依賴和網(wǎng)絡流依賴。因此，F(xiàn)LOWPROPHET通過從用戶程序邏輯中釋出有向無環(huán)圖，然后根據(jù)有向無環(huán)圖中所包含的依賴，在網(wǎng)絡流發(fā)生之前計算出代表著網(wǎng)絡流的四元組信息（源地址，目的地址，大小，開始時間）。FLOWPROPHET提供通用的編程接口，當前和未來的分布式計算平臺通過調(diào)

4、用相應的編程接口可以直接部署 FLOWPROPHET進行網(wǎng)絡流量預測，從而提高數(shù)據(jù)中心網(wǎng)絡的性能，優(yōu)化網(wǎng)絡資源的分配，最終提升分布式計算平臺的用戶體驗。為了實現(xiàn)該課題的研究目標，研究主要集中在以下內(nèi)容：
　　1.分析現(xiàn)有主流分布式計算平臺的代碼?？偨Y(jié)出計算邏輯可以由有向無環(huán)圖（DAG）進行表達。而從有向無環(huán)圖中可以分析得到時間和數(shù)據(jù)的依賴性從而實現(xiàn)流量預測。
　　2.設計了精準預測流量的通用框架FLOWPROPHET。FLO