基于糾刪碼的分布式文件系統(tǒng)數(shù)據(jù)塊管理技術研究.pdf

1、為了應對持續(xù)增長的數(shù)據(jù)存儲需求，大規(guī)模分布式存儲系統(tǒng)逐漸開始采用糾刪碼技術，以求在保證數(shù)據(jù)可靠性的前提下減少存儲開銷?，F(xiàn)階段，多數(shù)研究以退化讀問題為主題，試圖解決糾刪碼在數(shù)據(jù)恢復過程中所帶來的大量網(wǎng)絡開銷。然而，如何調整傳統(tǒng)副本方式下的數(shù)據(jù)塊管理模式以更好的適配糾刪碼對塊組織的特殊需求，這一問題并未引起足夠的重視。
　　這促使本文研究并提出一種基于糾刪碼的數(shù)據(jù)塊管理模式—Ecobm，它綜合考慮了副本與糾刪碼兩種數(shù)據(jù)冗余技術的優(yōu)勢，

2、分析了它們對塊管理的要求，能夠將糾刪碼技術平滑地集成到傳統(tǒng)基于副本的系統(tǒng)中。在對典型分布式存儲系統(tǒng)的文件存儲規(guī)律和數(shù)據(jù)訪問模式進行深入分析后，本文決定采用離線編碼和連續(xù)式塊布局方案；在編組策略上允許從全局選取數(shù)據(jù)塊進行跨文件編組，并盡最大努力降低一個分組關聯(lián)的文件數(shù)，以平衡管理成本和存儲開銷。為了形式化描述數(shù)據(jù)塊的管理過程，本文對數(shù)據(jù)塊生命期進行抽象建模，通過構建狀態(tài)機指導數(shù)據(jù)塊管理；對于糾刪碼分組中的塊分布問題，則是將其映射到二分匹配

3、模型中，應用匈牙利算法檢測分布可靠性并給出具有最小數(shù)據(jù)傳輸量的重分布方案。在這一管理模式下，只有那些需要長期存儲的不可變塊才會被編碼；此外系統(tǒng)還將通過一種名為RRA的結構對被編碼塊的實時熱度進行追蹤，并動態(tài)調整其副本數(shù)以使上層應用能獲得更好的數(shù)據(jù)本地化程度。
　　系統(tǒng)原型在HDFS基礎上開發(fā)實現(xiàn)，對原型系統(tǒng)的測試結果表明，該數(shù)據(jù)塊管理模式能有效降低系統(tǒng)存儲開銷，同時提高熱點數(shù)據(jù)的本地化程度。實驗環(huán)境下，相對于三副本方式200％的存