Hadoop異構(gòu)環(huán)境中數(shù)據(jù)副本動(dòng)態(tài)管理研究.pdf

1、副本管理策略是云計(jì)算環(huán)境下分布式文件系統(tǒng)的重要研究方向之一。合理的副本因子以及副本放置策略不僅可以為用戶提供更加可靠的數(shù)據(jù)訪問(wèn)服務(wù)，同時(shí)能夠提高系統(tǒng)的負(fù)載均衡和云計(jì)算平臺(tái)的計(jì)算效率。
　　論文首先對(duì)Hadoop平臺(tái)下的分布式文件系統(tǒng)HDFS進(jìn)行了研究，詳細(xì)介紹了HDFS的副本管理策略，分析了不同副本管理策略的優(yōu)缺點(diǎn)，同時(shí)對(duì)HDFS數(shù)據(jù)塊均衡策略進(jìn)行了詳細(xì)分析。
　　其次，分析了HDFS默認(rèn)數(shù)據(jù)塊均衡策略的局限性，并在此基礎(chǔ)上

2、提出了適用于異構(gòu)環(huán)境的數(shù)據(jù)塊負(fù)載均衡算法，該算法基于各個(gè)節(jié)點(diǎn)的性能及存儲(chǔ)空間等參數(shù)計(jì)算得出各節(jié)點(diǎn)的理論空間利用率，并將用戶輸入的閾值轉(zhuǎn)化為各節(jié)點(diǎn)的參數(shù)化閾值，從而實(shí)現(xiàn)了在異構(gòu)環(huán)境下對(duì)數(shù)據(jù)分布的負(fù)載均衡。論文修改了Hadoop源碼并重新編譯部署，搭建測(cè)試環(huán)境進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明該算法在異構(gòu)環(huán)境下，能夠讓集群的數(shù)據(jù)分布達(dá)到更加均衡的狀態(tài)，一定程度上提高了集群的整體性能。
　　然后，論文對(duì)副本管理策略中的副本因子決策算法進(jìn)行了研究。指

3、出當(dāng)前文件熱度可能存在較大差異，對(duì)熱點(diǎn)數(shù)據(jù)的訪問(wèn)將影響作業(yè)的執(zhí)行效率。而現(xiàn)有副本因子調(diào)整策略基于當(dāng)前熱度，不僅具有滯后性，亦會(huì)受到突發(fā)訪問(wèn)波動(dòng)的影響，因此副本因子決策應(yīng)當(dāng)以文件的未來(lái)熱度為依據(jù)?；诖?，建立了以灰色預(yù)測(cè)為基礎(chǔ)的預(yù)測(cè)模型，并利用馬爾科夫模型修正突發(fā)訪問(wèn)造成的預(yù)測(cè)偏差，然后基于文件的預(yù)測(cè)熱度建立有限通道服務(wù)模型，決策出符合用戶需求的副本因子。
　　最后，對(duì)副本因子調(diào)整過(guò)程中新增副本的放置策略進(jìn)行了優(yōu)化研究。在副本因子動(dòng)

4、態(tài)調(diào)整過(guò)程中，目前多數(shù)副本放置算法優(yōu)化目標(biāo)單一，而傳統(tǒng)多目標(biāo)優(yōu)化方法存在權(quán)值系數(shù)的選取依賴專(zhuān)家經(jīng)驗(yàn)、優(yōu)化結(jié)果受該系數(shù)影響較大、建模過(guò)程復(fù)雜等缺陷。在此研究基礎(chǔ)上，論文提出了一個(gè)基于多目標(biāo)優(yōu)化的新增副本放置策略。首先建立網(wǎng)絡(luò)流量、節(jié)點(diǎn)性能負(fù)載均衡度、存儲(chǔ)空間均衡度等多個(gè)優(yōu)化目標(biāo)；然后引入多目標(biāo)優(yōu)化算法NSGA-II進(jìn)行分析求解；最后提出一種基于解空間中個(gè)體密度的最優(yōu)目標(biāo)選擇策略，從非支配解集中決策出最終副本放置方案。論文首先進(jìn)行了仿真實(shí)驗(yàn)