云集群失敗作業(yè)的主動預(yù)測方法研究.pdf

1、隨著云計算技術(shù)的迅猛發(fā)展，云服務(wù)得到廣泛應(yīng)用。在大規(guī)模分布式云計算平臺中，由于軟硬件故障、節(jié)點失效、作業(yè)調(diào)度資源不足等原因，導(dǎo)致作業(yè)無法正常完成，造成的資源浪費現(xiàn)象更為嚴(yán)重，因此，進行作業(yè)故障預(yù)測的研究，對于提高資源利用率有著重要的意義。常見故障預(yù)測研究有軟/硬件故障預(yù)測、系統(tǒng)故障預(yù)測等。作業(yè)失敗狀態(tài)的預(yù)測是軟件故障預(yù)測的一個方面。傳統(tǒng)的故障預(yù)測技術(shù)進行分析存在一定缺陷，隨著人工智能技術(shù)的發(fā)展，機器學(xué)習(xí)方法越來越多地被應(yīng)用于失敗作業(yè)預(yù)測

2、。
　　本文以大型異構(gòu)并行計算的Google云集群數(shù)據(jù)集為研究對象，統(tǒng)計分析失敗作業(yè)的屬性，使用支持向量機模型和在線極限學(xué)習(xí)機模型對作業(yè)的終止?fàn)顟B(tài)進行主動預(yù)測。主要工作和貢獻如下：
　?。?）統(tǒng)計了Google云集群作業(yè)的完成情況，并分析了導(dǎo)致作業(yè)各種終止?fàn)顟B(tài)的影響因素，在此基礎(chǔ)上，提出將影響作業(yè)終止?fàn)顟B(tài)的特征劃分為靜態(tài)特征和動態(tài)特征。針對云平臺頻繁的作業(yè)失敗現(xiàn)象，提出了使用支持向量機模型，主動預(yù)測作業(yè)終止?fàn)顟B(tài)。該方法使用作

3、業(yè)的靜態(tài)特征和動態(tài)特征作為作業(yè)的特征向量。實驗結(jié)果顯示，該方法預(yù)測作業(yè)終止?fàn)顟B(tài)的精確率達(dá)到95%。
　　（2）針對實際應(yīng)用中數(shù)據(jù)是流式到達(dá)的，提出使用在線序列極限學(xué)習(xí)機模型進行在線失敗作業(yè)預(yù)測的方法。該方法根據(jù)作業(yè)到達(dá)順序，批量取數(shù)據(jù)，使用該批數(shù)據(jù)進行作業(yè)狀態(tài)預(yù)測并更新模型。實驗結(jié)果顯示，使用在線序列極限學(xué)習(xí)機模型能夠在0.01s內(nèi)完成模型更新，并以93%的準(zhǔn)確預(yù)測出作業(yè)的終止?fàn)顟B(tài)。
　?。?）在時間、預(yù)測精度等性能指標(biāo)方面