基于HDFS的文件訪問性能優(yōu)化技術研究.pdf

1、Hadoop作為優(yōu)秀的基礎云平臺架構被廣泛應用于云計算應用和大數(shù)據(jù)計算處理，其分布式文件系統(tǒng) HDFS為海量數(shù)據(jù)提供了基礎存儲服務。隨著信息數(shù)據(jù)總量和類型的急劇增加，如何滿足海量數(shù)據(jù)的高效訪問和高可靠性存儲成為Hadoop存儲系統(tǒng)性能優(yōu)化研究的關鍵問題。
　　本文基于 Hadoop集群中 HDFS的文件存儲及管理模式探討了的文件訪問性能優(yōu)化技術，重點圍繞 HDFS小文件和冗余副本動態(tài)更新兩個問題展開了深入研究。在展開研究工作前，首

2、先深入研究并分析了 Hadoop架構下分布式存儲系統(tǒng)的原理及特點，并重點論述了已有的 HDFS小文件訪問性能優(yōu)化和冗余副本優(yōu)化技術，總結前人研究成果的優(yōu)點和應用價值，結合訪問負載特征和應用實際，指出其各自的局限性。本文主要的研究內容和貢獻包括：
　　一、針對 HDFS的小文件問題，提出了基于歷史數(shù)據(jù)的小文件預取方法，主要包含元數(shù)據(jù)推送和數(shù)據(jù)塊預取兩部分。元數(shù)據(jù)推送由 NameNode進行，推送的依據(jù)為歷史訪問記錄中所體現(xiàn)的數(shù)據(jù)訪問

3、的重復性和時間局部性特征，當歷史數(shù)據(jù)中存在與當前讀請求重復的訪問記錄時，即觸發(fā)元數(shù)據(jù)推送。數(shù)據(jù)塊預取由DataNode進行，客戶端接收到推送的元數(shù)據(jù)后，將其存儲到節(jié)點本地的元數(shù)據(jù)緩存，緩存能夠為后續(xù)讀請求提供更快速的元數(shù)據(jù)請求響應，并在后臺觸發(fā)預取模塊，將緩存中元數(shù)據(jù)所指向的數(shù)據(jù)塊提前預取到 DataNode。實驗結果證明，基于歷史數(shù)據(jù)的小文件預取方法確實能夠縮短大量小文件讀請求的響應時間，滿足存儲系統(tǒng)訪問性能的優(yōu)化需求。
　　二

4、、針對冗余副本動態(tài)更新問題，提出了基于元數(shù)據(jù)緩存的動態(tài)副本多播算法，主要包含副本生長退化和元數(shù)據(jù)多播更新兩部分。副本生長退化以文件訪問熱度為依據(jù)，元數(shù)據(jù)緩存實時記錄本地客戶端對文件及數(shù)據(jù)塊的訪問次數(shù)并結合時間周期計算熱度，指導DataNode數(shù)據(jù)副本進行動態(tài)增減。元數(shù)據(jù)多播更新以產生副本變化的DataNode作為多播源，依據(jù)集群拓撲結構采用層次化的多播形式傳遞元數(shù)據(jù)更新消息，減輕 NameNode負載，加快更新消息傳遞。實驗結果證明，基