云計(jì)算環(huán)境下計(jì)算型任務(wù)的資源需求預(yù)測.pdf

1、在過去的近十年中，云計(jì)算憑借其部署簡單，可靠性高，伸縮性好和通用性廣等優(yōu)點(diǎn)逐漸被普羅大眾所接受，進(jìn)而成為新時(shí)代人們工作、學(xué)習(xí)和生活中一個(gè)不可或缺的角色。各大IT巨頭企業(yè)也都紛紛聚焦云計(jì)算，從不同層面，結(jié)合自身業(yè)務(wù)特點(diǎn)，推出各式各樣的資源服務(wù)，如亞馬遜公司的EC2服務(wù)和谷歌公司的GAE服務(wù)等。用戶使用云計(jì)算服務(wù)提供商的資源服務(wù)，并按使用量，參考一定的價(jià)格標(biāo)準(zhǔn)，付出相應(yīng)的費(fèi)用。然而，目前的云計(jì)算資源交付模式要求用戶在使用資源之前需要明確資源

2、類型和用量。這對(duì)一般用戶，尤其是非IT專業(yè)的用戶而言，無疑是個(gè)難題。若資源租用量不足，則可能犧牲用戶的服務(wù)性能。若資源租用量過多，雖然可以保障用戶的服務(wù)性能，但可能為用戶帶來額外的開支。另一方面，從服務(wù)提供商的角度出發(fā)，其合理有效安排任務(wù)調(diào)度和資源分發(fā)策略的一個(gè)重要前提是大致了解任務(wù)的資源需求。因此，預(yù)測云計(jì)算環(huán)境下任務(wù)的資源需求，在保障用戶服務(wù)質(zhì)量的前提下，最小化資源供給，減少用戶開銷，為服務(wù)提供商實(shí)施任務(wù)調(diào)度和資源分發(fā)提供參考意見，

3、是一個(gè)亟待解決，并且具有實(shí)際應(yīng)用價(jià)值的問題。
　　本文在全面、深入地研究了現(xiàn)有云計(jì)算資源需求預(yù)測相關(guān)成果之后，以能夠保障用戶服務(wù)質(zhì)量的云計(jì)算資源需求預(yù)測為目標(biāo)，針對(duì)計(jì)算型任務(wù)，在資源交易市場模型、任務(wù)分類、多維資源需求預(yù)測以及動(dòng)態(tài)資源需求預(yù)測四個(gè)方面開展了研究工作:
　　首先，對(duì)云計(jì)算環(huán)境下資源交易市場進(jìn)行建模分析，抽象出該市場模型下資源需求預(yù)測問題的場景。根據(jù)不同場景將資源需求預(yù)測領(lǐng)域的相關(guān)研究工作進(jìn)行分類總結(jié)，并分析出其

4、主流研究趨勢(shì)和已有工作的不足之處，提出未來該領(lǐng)域研究的新思路。本文選取云計(jì)算環(huán)境中二級(jí)市場模型下計(jì)算型任務(wù)對(duì)個(gè)體計(jì)算資源需求的預(yù)測這一具體場景進(jìn)行研究，并用形式化語言定義了該場景下的資源需求預(yù)測問題。
　　其次，設(shè)計(jì)了一種基于資源消耗模式的輕量級(jí)任務(wù)分類方法Bejo，以提高云中計(jì)算型任務(wù)資源需求預(yù)測的準(zhǔn)確率。該方法通過研究任務(wù)執(zhí)行過程中周期性收集到的資源消耗快照，挖掘其潛在模式，使用改良的詞袋分類技術(shù)對(duì)云中計(jì)算型任務(wù)進(jìn)行分類。Be

5、jo的分類準(zhǔn)確率高達(dá)84.21％，比傳統(tǒng)最優(yōu)的算法高了7％。另外，與傳統(tǒng)算法相比，Bejo無論從預(yù)測時(shí)間還是魯棒性上都有明顯的優(yōu)勢(shì)。
　　接著，提出了一種基于性能約束的多維資源需求預(yù)測方法。與傳統(tǒng)方法不同的是，該方法考慮了不同資源需求之間的相互制約性。同時(shí)，該方法力求得到能夠滿足用戶服務(wù)質(zhì)量需求的最小資源供給量。在該方法中，我們使用二分查找和一個(gè)基于密度的性能預(yù)測算法來預(yù)測任務(wù)的多維度資源需求。與傳統(tǒng)資源需求預(yù)測方法相比，該方法將

6、預(yù)測結(jié)果的平均準(zhǔn)確率提高了28％。
　　最后，研究科學(xué)計(jì)算型任務(wù)的動(dòng)態(tài)資源需求預(yù)測問題。科學(xué)計(jì)算型任務(wù)執(zhí)行時(shí)間長，資源需求動(dòng)態(tài)變化等特點(diǎn)使得已有的相關(guān)研究不再適用。因此，我們提出了一種基于時(shí)間序列的動(dòng)態(tài)資源需求預(yù)測算法，結(jié)合回歸和時(shí)間序列分析技術(shù)，對(duì)任務(wù)執(zhí)行的不同時(shí)刻的資源需求進(jìn)行預(yù)測。該方法預(yù)測結(jié)果的準(zhǔn)確度高達(dá)74％，并且預(yù)測時(shí)間開銷小，具有良好的應(yīng)用價(jià)值。
　　另外，本文提出了一種集成資源需求預(yù)測模塊的資源管理系統(tǒng)框架，