分布式文件存儲系統副本管理方法研究.pdf

1、隨著互聯網、物聯網等新型應用的蓬勃發(fā)展，全球數據呈現爆炸式增長，大數據成為應用系統的特點。分布式文件存儲系統通過分布式的架構支持海量文件數據的存儲，是非結構化大數據存儲的核心技術。而副本管理可增強系統的可靠性和容錯性、方便進行系統負載均衡和服務性能調優(yōu)，是分布式文件存儲系統的關鍵技術之一。
　　 論文分析分布式文件存儲系統中副本管理的功能和流程，綜合考慮了用戶訪問行為、負載均衡、系統代價等方面，提出一種新型的副本管理方法。

2、>　　 論文提出一種基于文件熱度的動態(tài)副本管理方法。首先提出了一種多頻率的文件熱度算法，對文件多個周期的訪問頻率進行綜合考慮來定量描述文件熱度。同時，對于不同熱度的文件，采用不同頻率的熱度更新策略?；谖募岫戎?，提出了包括副本數的調整方法，多頻率的副本執(zhí)行機制，副本放置位置的策略以及副本的一致性保證的副本管理方法。實驗表明熱度算法有效的解決了文件熱度的統計周期與統計熱度準確性之間的矛盾和用戶的突發(fā)性訪問問題，使得副本管理方法更加合理

3、。
　　 論文提出考慮負載均衡的實時副本策略。首先通過動態(tài)調整負載指標權重，設計了一種可動態(tài)自適應應用程序的負載均衡算法，然后提出了與負載均衡算法相結合的實時副本策略，增加了高熱度副本的緩存機制和實時副本調度機制。最后通過實驗測試驗證了應用程序自適應的動態(tài)負載均衡算法中的合理性以及實時副本策略的有效性;兩者配合使用對于系統性能有較大提升。
　　 論文在錢塘分布式文件存儲系統中實現了本文提出的副本管理方法，使系統在吞吐率、