面向超級(jí)計(jì)算機(jī)的自適應(yīng)故障預(yù)測(cè)算法研究.pdf

1、隨著信息技術(shù)的發(fā)展,云計(jì)算等大型分布式系統(tǒng)開始廣泛投入部署和應(yīng)用。然而隨著應(yīng)用系統(tǒng)軟硬件復(fù)雜性的增加,如何保證系統(tǒng)能夠長(zhǎng)時(shí)間正確運(yùn)行,為廣大用戶提供高質(zhì)量服務(wù),成為了大型系統(tǒng)設(shè)計(jì)開發(fā)過(guò)程中需要考慮的問(wèn)題。大型系統(tǒng)如果能夠通過(guò)故障預(yù)測(cè)策略實(shí)現(xiàn)自我診斷,那么其容錯(cuò)能力和資源調(diào)度能力就能得到很大的提升,從而保證系統(tǒng)的高可用性和高可靠性。超級(jí)計(jì)算機(jī)擁有復(fù)雜的計(jì)算機(jī)系統(tǒng),針對(duì)超級(jí)計(jì)算機(jī)的故障預(yù)測(cè)研究對(duì)于提高超級(jí)計(jì)算機(jī)的運(yùn)算性能和系統(tǒng)容錯(cuò)能力具有重

2、要意義,并且有效的故障預(yù)測(cè)策略也可以應(yīng)用于其它大型系統(tǒng)中,以此提高這些系統(tǒng)的容錯(cuò)能力。
　　本文以超級(jí)計(jì)算機(jī)的系統(tǒng)運(yùn)行日志為基礎(chǔ),首先設(shè)計(jì)并實(shí)現(xiàn)了基于語(yǔ)義和時(shí)間相關(guān)的過(guò)濾算法(Semantic Time Filter Algorithm,STF),對(duì)日志記錄進(jìn)行預(yù)處理。STF算法考慮日志記錄之間的語(yǔ)義相關(guān)度和時(shí)間相關(guān)度,根據(jù)兩個(gè)相關(guān)度對(duì)原始日志記錄中的冗余記錄進(jìn)行過(guò)濾。通過(guò)實(shí)驗(yàn)發(fā)現(xiàn),過(guò)濾后的日志記錄序列能夠有效地反映系統(tǒng)中非故障事

3、件到故障事件的演變過(guò)程,對(duì)于后續(xù)分析并建立故障預(yù)測(cè)模型有很大幫助。
　　通過(guò)對(duì)過(guò)濾后的日志記錄進(jìn)行分析,本文運(yùn)用數(shù)據(jù)挖掘中的分類預(yù)測(cè)思想,將時(shí)間軸劃分為一定大小的時(shí)間窗,針對(duì)時(shí)間窗進(jìn)行特征提取,以時(shí)間窗為單位進(jìn)行故障預(yù)測(cè)。本文使用AdaBoost算法在SVM分類器的訓(xùn)練學(xué)習(xí)過(guò)程中,根據(jù)訓(xùn)練集動(dòng)態(tài)調(diào)整分類器核心參數(shù)?,使分類器進(jìn)行自適應(yīng)學(xué)習(xí)提升,建立了自適應(yīng)故障預(yù)測(cè)模型AdaBoostSVM。
　　本文以超級(jí)計(jì)算機(jī)BlueGe