基于HDFS默認(rèn)副本選擇機(jī)制的改進(jìn)和實(shí)現(xiàn).pdf

1、隨著人類(lèi)社會(huì)快速的發(fā)展，人們?nèi)粘Ｉ町a(chǎn)生了海量數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)處理方法已不適合海量數(shù)據(jù)的分析處理，Hadoop應(yīng)運(yùn)而生。Hadoop有兩個(gè)最核心的組成部分，分別是MapReduce和HDFS。MapReduce具有處理分析海量數(shù)據(jù)的能力，HDFS具有存儲(chǔ)和管理海量數(shù)據(jù)的能力。HDFS的副本選擇機(jī)制直接影響著數(shù)據(jù)的可靠性、可用性、均衡性和讀取效率。由于HDFS默認(rèn)副本選擇機(jī)制選擇副本的存放位置具有一定的隨機(jī)性且未充分考慮數(shù)據(jù)節(jié)點(diǎn)的負(fù)載狀況

2、，進(jìn)而出現(xiàn)HDFS數(shù)據(jù)分布不均勻和Hadoop集群負(fù)載不均衡等問(wèn)題，本文對(duì)HDFS的默認(rèn)副本選擇機(jī)制進(jìn)行改進(jìn)和實(shí)現(xiàn)，主要包含以下方面:
　　首先，本文提出根據(jù)數(shù)據(jù)節(jié)點(diǎn)當(dāng)前的CPU使用率、內(nèi)存使用率、磁盤(pán)IO使用率、磁盤(pán)使用率以及帶寬使用率五個(gè)因素綜合描述其在集群中的負(fù)載狀況，這五個(gè)因素為數(shù)據(jù)節(jié)點(diǎn)負(fù)載狀況的量化打下了基礎(chǔ)。根據(jù)每種因素對(duì)數(shù)據(jù)節(jié)點(diǎn)負(fù)載影響的大小賦予其不同的權(quán)重值，量化數(shù)據(jù)節(jié)點(diǎn)負(fù)載狀況的數(shù)值。
　　其次，本文剖析D

3、ataNode到NameNode周期性心跳機(jī)制的原理，改進(jìn)的副本選擇機(jī)制利用心跳機(jī)制將影響數(shù)據(jù)節(jié)點(diǎn)負(fù)載的因素匯報(bào)給NameNode，使NameNode掌握整個(gè)集群數(shù)據(jù)節(jié)點(diǎn)的負(fù)載狀況。通過(guò)對(duì)HDFS默認(rèn)副本選擇機(jī)制的分析，針對(duì)其存在的缺陷，根據(jù)每個(gè)數(shù)據(jù)節(jié)點(diǎn)、機(jī)架的負(fù)載狀況以及集群中所有數(shù)據(jù)節(jié)點(diǎn)的平均負(fù)載狀況，提出了對(duì)HDFS默認(rèn)副本選擇機(jī)制的改進(jìn)方法。
　　最后，編譯修改后的HDFS源代碼，搭建Hadoop集群環(huán)境，以本文改進(jìn)的HD