基于分片聚合編碼機制的HDFS文件存儲研究.pdf

1、HDFS是Hadoop的旗艦級分布式文件系統(tǒng)，是云存儲的基礎架構。HDFS采用了完全復制的存儲方案，該存儲方案下的數據存儲占用較多的存儲空間，數據塊-存儲節(jié)點映射信息占用較多的存儲內存，對于惡意攻擊和數據惡意竊取幾乎沒有防御措施等。本文使用基于分片聚合編碼的存儲策略對HDFS數據存儲的冗余率問題、安全性問題、數據私密性問題進行解決。分片聚合編碼的存儲策略具有很強的研究價值和實用價值。
　　 本文首先分析了原HDFS存儲中存在的問

2、題，并依據這些問題提出了分片聚合編碼的存儲策略。分片聚合編碼操作分為分片、編碼、聚合三個不同的步驟進行：分片操作將文件分為大小相同的原數據片；編碼操作對一組原數據片采用STAR碼進行編碼處理，產生編碼數據片，這一組原數據片和編碼數據片稱為一個數據段；聚合操作將每個數據段中相同位置的數據片聚合組成一個存儲數據塊。然后，在分片聚合編碼策略的基礎上本文實現了基于分片聚合編碼的HDFS文件存儲。在文件存儲過程中，系統(tǒng)對文件中的一組數據采用分片聚

3、合編碼操作后，采用均勻分布的分布原則將存儲數據塊分布存儲在系統(tǒng)的存儲結點上。同時本文對分片聚合編碼操作中涉及到的數據片的大小及一組原數據片的數量進行了分析討論，選擇了適合系統(tǒng)的一組較優(yōu)的數據片大小及數量。最后實現了分片聚合解碼的數據塊動態(tài)恢復和數據塊持久性恢復。在文件讀取過程中，數據塊動態(tài)恢復通過對讀取失敗的數據塊所在組的其他可用數據塊采用分片、解碼和聚合操作，對讀取失敗的數據塊進行恢復。對于存儲在系統(tǒng)中的數據塊失效的情況，數據塊持久性