基于對象存儲Swift的帶寬資源優(yōu)化的研究.pdf

1、隨著當(dāng)前信息技術(shù)的發(fā)展，數(shù)據(jù)呈現(xiàn)爆炸式的增長，云計(jì)算成為了研究的熱點(diǎn)技術(shù)。云存儲作為云計(jì)算的一個(gè)重要部分，其技術(shù)也越來越成熟，多種形式的云存儲應(yīng)運(yùn)而生。作為分布式的對象存儲，Swift在云存儲中具有重要的意義。糾刪碼應(yīng)用在大量的分布式存儲中，從最初的RS碼到EVENODD碼和RDP碼，再到基于RS碼增加局部校驗(yàn)碼的LRC碼，編碼效率和修復(fù)過程中數(shù)據(jù)下載量優(yōu)化都有了長足的進(jìn)步。雖然Swift對象存儲性能在逐漸完善，但是其集群內(nèi)出現(xiàn)的系統(tǒng)完

2、整性和用戶請求響應(yīng)的網(wǎng)絡(luò)資源管理，以及集群單節(jié)點(diǎn)故障修復(fù)問題的研究仍然具有很大的意義。
　　本文主要是對Swift集群中如何更有效的利用帶寬資源進(jìn)行分析研究，通過對集群結(jié)構(gòu)和Swift使用的糾刪碼算法進(jìn)行分析，從使用基于回歸模型的帶寬管理和改進(jìn)故障修復(fù)算法進(jìn)兩個(gè)方面，對Swift集群中的帶寬資源進(jìn)行優(yōu)化。具體工作內(nèi)容包括：
　　1）通過對 Swift中存在的不同種類工作負(fù)載進(jìn)行分析，包括以用戶為中心的工作負(fù)載和以系統(tǒng)為中心的

3、工作負(fù)載。然后針對這兩種負(fù)載構(gòu)建負(fù)載與網(wǎng)絡(luò)帶寬之間的關(guān)系模型，并通過關(guān)系模型實(shí)時(shí)對網(wǎng)絡(luò)資源進(jìn)行預(yù)測。當(dāng)集群內(nèi)的系統(tǒng)負(fù)載和用戶請求負(fù)載出現(xiàn)資源需要均衡的情況時(shí)，通過帶寬管理來對Swift端口帶寬進(jìn)行分配調(diào)節(jié)。使得Swift集群在出現(xiàn)故障時(shí)，既能保證集群內(nèi)數(shù)據(jù)的完整性，又能夠盡可能高效的響應(yīng)用戶請求，從而保證用戶體驗(yàn)。
　　2）針對 Swift集群拓?fù)洵h(huán)境改變時(shí)，回歸模型參數(shù)改變的情況，使用了自適應(yīng)回歸模型模塊。此模塊能夠在存儲集群拓

4、撲結(jié)構(gòu)改變時(shí)，自動(dòng)地修正回歸模型參數(shù)，從而使得帶寬管理能夠在集群拓?fù)浣Y(jié)構(gòu)改變時(shí)更有效的利用帶寬資源。
　　3）在 Swift加入糾刪碼后，當(dāng)使用糾刪碼存儲策略時(shí)，存儲編碼塊或數(shù)據(jù)塊的存儲節(jié)點(diǎn)無效時(shí)，傳統(tǒng)的糾刪碼修復(fù)的數(shù)據(jù)下載量過高，從而導(dǎo)致占用了更多的集群內(nèi)的網(wǎng)絡(luò)帶寬資源。在本文中通過基于爬山法算法，計(jì)算得到修復(fù)故障節(jié)點(diǎn)時(shí)最小或近似最小數(shù)據(jù)下載量和網(wǎng)絡(luò)帶寬修復(fù)代價(jià)兩種修復(fù)方案，使得Swift存儲節(jié)點(diǎn)出現(xiàn)單節(jié)點(diǎn)故障后能夠在短時(shí)間內(nèi)找