Hadoop分布式文件系統副本策略的優(yōu)化研究.pdf

1、雖然HDFS的默認副本策略能為數據存儲及MapReduce的計算功能提供支撐，并且具有安全性和節(jié)點選擇簡單等優(yōu)點，但 Hadoop框架并沒有重視現實集群中幾個重要特征：集群節(jié)點的異構性、應用環(huán)境的多樣化、數據文件訪問規(guī)律等特征。因此，從分布式存儲系統角度上看，HDFS采用默認副本策略不能為存儲系統提供優(yōu)化的I/O性能，從 HDFS所支持的計算應用 MapReduce所需數據的角度看，HDFS采用默認副本策略將引起數據的不合理分布情況，不

2、能充分利用“數據本地性”（data locality），并最終導致集群計算性能的下降。因此，本文提出了一種優(yōu)化的HDFS副本放置策略。該策略的不同之處在于以應用為導向將數據劃分為計算型數據和存儲型數據兩類，并分別為不同數據類型提供不同的副本放置策略。針對計算型數據使用 MapReduce模塊為主的特點，優(yōu)化的數據副本放置策略在為數據副本選擇存儲節(jié)點時，以節(jié)點數據訪問負載與節(jié)點性能相適應為原則，旨在增加數據計算的“本地化”，即計算節(jié)點從本

3、地獲得所需計算數據，減少網絡傳輸，提高 MapReduce的計算效率。針對存儲型數據使用HDFS模塊為主的特點，響應用戶讀寫訪問是其主要存儲目的，優(yōu)化的數據副本放置策略以負載均衡為目標，選擇綜合負載較小的節(jié)點作為數據副本的存儲節(jié)點，綜合負載考慮節(jié)點的硬件資源（如 CPU、內存）占用率，以及工作連接數（如數據節(jié)點上寫入、讀取、復制副本等操作）。
　　由于 Hadoop中的數據副本是以數據管道的方式寫入，為了避免第一個存儲節(jié)點寫入失敗

4、而導致數據副本在其余兩個節(jié)點均存儲失敗的情況，優(yōu)化的副本放置策略在為數據副本選擇三個最優(yōu)的存儲節(jié)點之后，還進一步對存儲節(jié)點的寫入次序進行優(yōu)化，提出基于數據節(jié)點可靠性的寫入次序優(yōu)化方案，以提高第一個數據副本寫入成功的概率，進而最大化三副本寫入的成功率。
　　搭建基于 Hadoop的真實集群環(huán)境對本文提出的優(yōu)化副本放置策略進行四組驗證實驗，結果表明與 HDFS默認副本策略相比，優(yōu)化的計算型數據副本放置策略能夠有效地提高 MapRedu