分布式文件存儲系統(tǒng)副本管理方法研究.pdf

1、隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等新型應(yīng)用的蓬勃發(fā)展，全球數(shù)據(jù)呈現(xiàn)爆炸式增長，大數(shù)據(jù)成為應(yīng)用系統(tǒng)的特點(diǎn)。分布式文件存儲系統(tǒng)通過分布式的架構(gòu)支持海量文件數(shù)據(jù)的存儲，是非結(jié)構(gòu)化大數(shù)據(jù)存儲的核心技術(shù)。而副本管理可增強(qiáng)系統(tǒng)的可靠性和容錯性、方便進(jìn)行系統(tǒng)負(fù)載均衡和服務(wù)性能調(diào)優(yōu)，是分布式文件存儲系統(tǒng)的關(guān)鍵技術(shù)之一。
　　 論文分析分布式文件存儲系統(tǒng)中副本管理的功能和流程，綜合考慮了用戶訪問行為、負(fù)載均衡、系統(tǒng)代價等方面，提出一種新型的副本管理方法。

2、>　　 論文提出一種基于文件熱度的動態(tài)副本管理方法。首先提出了一種多頻率的文件熱度算法，對文件多個周期的訪問頻率進(jìn)行綜合考慮來定量描述文件熱度。同時，對于不同熱度的文件，采用不同頻率的熱度更新策略?；谖募岫戎?，提出了包括副本數(shù)的調(diào)整方法，多頻率的副本執(zhí)行機(jī)制，副本放置位置的策略以及副本的一致性保證的副本管理方法。實(shí)驗(yàn)表明熱度算法有效的解決了文件熱度的統(tǒng)計周期與統(tǒng)計熱度準(zhǔn)確性之間的矛盾和用戶的突發(fā)性訪問問題，使得副本管理方法更加合理

3、。
　　 論文提出考慮負(fù)載均衡的實(shí)時副本策略。首先通過動態(tài)調(diào)整負(fù)載指標(biāo)權(quán)重，設(shè)計了一種可動態(tài)自適應(yīng)應(yīng)用程序的負(fù)載均衡算法，然后提出了與負(fù)載均衡算法相結(jié)合的實(shí)時副本策略，增加了高熱度副本的緩存機(jī)制和實(shí)時副本調(diào)度機(jī)制。最后通過實(shí)驗(yàn)測試驗(yàn)證了應(yīng)用程序自適應(yīng)的動態(tài)負(fù)載均衡算法中的合理性以及實(shí)時副本策略的有效性;兩者配合使用對于系統(tǒng)性能有較大提升。
　　 論文在錢塘分布式文件存儲系統(tǒng)中實(shí)現(xiàn)了本文提出的副本管理方法，使系統(tǒng)在吞吐率、