分布式流處理系統(tǒng)中的任務(wù)調(diào)度.pdf

1、隨著大數(shù)據(jù)處理技術(shù)的不斷發(fā)展，分布式流處理系統(tǒng)也在越來(lái)越多的數(shù)據(jù)處理應(yīng)用中發(fā)揮作用。云計(jì)算的飛速發(fā)展也使得許多中小企業(yè)和研究人員能夠通過(guò)租用的形式享受集群帶來(lái)的數(shù)據(jù)處理的快速和便捷，也使得流處理技術(shù)發(fā)揮出更大的應(yīng)用價(jià)值。而如何對(duì)流處理任務(wù)進(jìn)行分配調(diào)度是分布式流處理系統(tǒng)中的一個(gè)重要問(wèn)題。
　　目前流處理平臺(tái)上有許多不同的調(diào)度算法，這些調(diào)度算法主要關(guān)注如何提高作業(yè)的吞吐量或降低作業(yè)延遲。在有限的分布式流處理集群中，集群資源通常是固定的

2、，如果其容納的流處理任務(wù)越多，則集群的資源利用率便越高，所帶來(lái)的價(jià)值越大。因此如何最大化集群中可運(yùn)行的流處理業(yè)務(wù)的數(shù)量，也是一個(gè)重要的問(wèn)題。
　　由于流處理任務(wù)是持續(xù)不斷運(yùn)行的，在運(yùn)行過(guò)程中，其處理的數(shù)據(jù)的速率通常會(huì)隨時(shí)間變化。如果能夠根據(jù)流處理作業(yè)的負(fù)載，動(dòng)態(tài)對(duì)其組件進(jìn)行調(diào)整，便可減少其對(duì)整體集群的資源占用?；谌缟纤悸?，本文首先對(duì)現(xiàn)有流處理系統(tǒng)的調(diào)度算法進(jìn)行闡述和比較，并重點(diǎn)關(guān)注如下調(diào)度問(wèn)題:在滿足流處理任務(wù)運(yùn)行情況的同時(shí)，如

3、何調(diào)度才能最小化其所占用的資源？
　　本文基于按需分配的思想，結(jié)合流處理自身的特點(diǎn)，提出了MRU調(diào)度算法。該算法基于通用的流數(shù)據(jù)處理抽象，可較容易地應(yīng)用于當(dāng)前的流數(shù)據(jù)處理系統(tǒng)中。算法首先對(duì)流處理任務(wù)拓?fù)浣Y(jié)構(gòu)進(jìn)行分析，基于分析結(jié)果對(duì)任務(wù)進(jìn)行初始分配;在流處理任務(wù)運(yùn)行過(guò)程中，對(duì)其進(jìn)行狀態(tài)收集，并基于歷史數(shù)據(jù)對(duì)數(shù)據(jù)量和資源占用進(jìn)行預(yù)測(cè);且依據(jù)排隊(duì)理論，對(duì)流處理數(shù)據(jù)的平均計(jì)算時(shí)間進(jìn)行估算，并依此對(duì)分配方案進(jìn)行動(dòng)態(tài)調(diào)整。隨后，我們對(duì)提出的一