Hadoop分布式文件系統(tǒng)副本策略的優(yōu)化研究.pdf

1、雖然HDFS的默認(rèn)副本策略能為數(shù)據(jù)存儲(chǔ)及MapReduce的計(jì)算功能提供支撐，并且具有安全性和節(jié)點(diǎn)選擇簡(jiǎn)單等優(yōu)點(diǎn)，但 Hadoop框架并沒(méi)有重視現(xiàn)實(shí)集群中幾個(gè)重要特征：集群節(jié)點(diǎn)的異構(gòu)性、應(yīng)用環(huán)境的多樣化、數(shù)據(jù)文件訪問(wèn)規(guī)律等特征。因此，從分布式存儲(chǔ)系統(tǒng)角度上看，HDFS采用默認(rèn)副本策略不能為存儲(chǔ)系統(tǒng)提供優(yōu)化的I/O性能，從 HDFS所支持的計(jì)算應(yīng)用 MapReduce所需數(shù)據(jù)的角度看，HDFS采用默認(rèn)副本策略將引起數(shù)據(jù)的不合理分布情況，不

2、能充分利用“數(shù)據(jù)本地性”（data locality），并最終導(dǎo)致集群計(jì)算性能的下降。因此，本文提出了一種優(yōu)化的HDFS副本放置策略。該策略的不同之處在于以應(yīng)用為導(dǎo)向?qū)?shù)據(jù)劃分為計(jì)算型數(shù)據(jù)和存儲(chǔ)型數(shù)據(jù)兩類(lèi)，并分別為不同數(shù)據(jù)類(lèi)型提供不同的副本放置策略。針對(duì)計(jì)算型數(shù)據(jù)使用 MapReduce模塊為主的特點(diǎn)，優(yōu)化的數(shù)據(jù)副本放置策略在為數(shù)據(jù)副本選擇存儲(chǔ)節(jié)點(diǎn)時(shí)，以節(jié)點(diǎn)數(shù)據(jù)訪問(wèn)負(fù)載與節(jié)點(diǎn)性能相適應(yīng)為原則，旨在增加數(shù)據(jù)計(jì)算的“本地化”，即計(jì)算節(jié)點(diǎn)從本

3、地獲得所需計(jì)算數(shù)據(jù)，減少網(wǎng)絡(luò)傳輸，提高 MapReduce的計(jì)算效率。針對(duì)存儲(chǔ)型數(shù)據(jù)使用HDFS模塊為主的特點(diǎn)，響應(yīng)用戶(hù)讀寫(xiě)訪問(wèn)是其主要存儲(chǔ)目的，優(yōu)化的數(shù)據(jù)副本放置策略以負(fù)載均衡為目標(biāo)，選擇綜合負(fù)載較小的節(jié)點(diǎn)作為數(shù)據(jù)副本的存儲(chǔ)節(jié)點(diǎn)，綜合負(fù)載考慮節(jié)點(diǎn)的硬件資源（如 CPU、內(nèi)存）占用率，以及工作連接數(shù)（如數(shù)據(jù)節(jié)點(diǎn)上寫(xiě)入、讀取、復(fù)制副本等操作）。
　　由于 Hadoop中的數(shù)據(jù)副本是以數(shù)據(jù)管道的方式寫(xiě)入，為了避免第一個(gè)存儲(chǔ)節(jié)點(diǎn)寫(xiě)入失敗

4、而導(dǎo)致數(shù)據(jù)副本在其余兩個(gè)節(jié)點(diǎn)均存儲(chǔ)失敗的情況，優(yōu)化的副本放置策略在為數(shù)據(jù)副本選擇三個(gè)最優(yōu)的存儲(chǔ)節(jié)點(diǎn)之后，還進(jìn)一步對(duì)存儲(chǔ)節(jié)點(diǎn)的寫(xiě)入次序進(jìn)行優(yōu)化，提出基于數(shù)據(jù)節(jié)點(diǎn)可靠性的寫(xiě)入次序優(yōu)化方案，以提高第一個(gè)數(shù)據(jù)副本寫(xiě)入成功的概率，進(jìn)而最大化三副本寫(xiě)入的成功率。
　　搭建基于 Hadoop的真實(shí)集群環(huán)境對(duì)本文提出的優(yōu)化副本放置策略進(jìn)行四組驗(yàn)證實(shí)驗(yàn)，結(jié)果表明與 HDFS默認(rèn)副本策略相比，優(yōu)化的計(jì)算型數(shù)據(jù)副本放置策略能夠有效地提高 MapRedu