大數(shù)據(jù)平臺分布式存儲資源自動部署研究.pdf

1、隨著大量的基于互聯(lián)網(wǎng)的服務(wù)與大量的服務(wù)托管在云平臺上的趨勢日益流行，需要更加強(qiáng)大的后端存儲系統(tǒng)來支持這些服務(wù)。一方面存儲系統(tǒng)自身應(yīng)該要有更強(qiáng)大的處理高并發(fā)和高強(qiáng)度的工作負(fù)載的能力。分布式存儲是當(dāng)前一種很優(yōu)秀的解決辦法。它將會實現(xiàn)以下特性：伸縮性、可用性、持久性、一致性以及分區(qū)容忍性。目前實現(xiàn)一個分布式存儲來滿足以上所有設(shè)想是非常困難的或者說是不可能的。因此，把研究的重點(diǎn)放在限制不同的特性來設(shè)計不同的分布式存儲解決方案來滿足不同的使用場景

2、。另一方面，隨著云計算技術(shù)的發(fā)展為設(shè)計分布式存儲帶來了新的挑戰(zhàn)。為了更好的在云計算中使用現(xiàn)收現(xiàn)付的價格模型，一種動態(tài)的資源部署中間件被提出來(如彈性控制器)。彈性控制是能夠幫助節(jié)約應(yīng)用的程序的配置成本，同時不損耗應(yīng)用的性能。設(shè)計一種彈性控制機(jī)制來自動部署分布式存儲系統(tǒng)是非常重要的。這個問題將要面對的挑戰(zhàn)是對系統(tǒng)的工作負(fù)載的正確判斷和在伸縮系統(tǒng)的時候的數(shù)據(jù)遷移開銷(即是系統(tǒng)添加或刪除實例的時候傳輸數(shù)據(jù)消耗的時間和資源)。
　　本課題

3、設(shè)計的自動部署系統(tǒng)主要是采用了工作負(fù)載預(yù)測的方法來實現(xiàn)的。主要是通過監(jiān)測存儲系統(tǒng)的性能指標(biāo)數(shù)據(jù)(請求延遲、cpu利用率、實例數(shù)量等)，通過檢測的工作負(fù)載數(shù)據(jù)來預(yù)測系統(tǒng)下一個時期的工作負(fù)載情況，以及使用檢測的數(shù)據(jù)推出系統(tǒng)滿足SLA的最小配置，從而在下一預(yù)測窗口開始前重新部署系統(tǒng)規(guī)模。在添加或移除實例的時候會做一個數(shù)據(jù)的遷移，使服務(wù)請求更加均勻的訪問每一個存儲實例。
　　對工作負(fù)載的預(yù)測是整個系統(tǒng)的核心部分，本課題采用了基于維納濾波器