基于HDFS的分布式存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著大數(shù)據(jù)時(shí)代的到來(lái)，傳統(tǒng)的技術(shù)已經(jīng)無(wú)法滿(mǎn)足日益增長(zhǎng)的存儲(chǔ)需求，分布式存儲(chǔ)技術(shù)應(yīng)運(yùn)而生。HDFS是Apache開(kāi)發(fā)的云計(jì)算平臺(tái)Hadoop的分布式存儲(chǔ)系統(tǒng)，可以運(yùn)行在大規(guī)模廉價(jià)的服務(wù)器集群上，具有較高的容錯(cuò)能力，針對(duì)超大數(shù)據(jù)集的處理進(jìn)行了優(yōu)化，具有較高的數(shù)據(jù)吞吐量。然而，HDFS的設(shè)計(jì)也不是完美的，存在著一些缺陷。本文研究了HDFS分布式存儲(chǔ)模型，針對(duì)HDFS可擴(kuò)展性差和寫(xiě)延遲高的缺點(diǎn)，對(duì)其進(jìn)行改進(jìn)，主要工作和研究成果如下：
　　

2、(1)一種動(dòng)態(tài)負(fù)載均衡的分布式 NameNode策略。HDFS設(shè)計(jì)了單節(jié)點(diǎn)的元數(shù)據(jù)服務(wù)器(NameNode)來(lái)管理元數(shù)據(jù)，這種設(shè)計(jì)雖然實(shí)現(xiàn)起來(lái)簡(jiǎn)單高效但是存在三個(gè)缺點(diǎn)：系統(tǒng)的可擴(kuò)展性差、元數(shù)據(jù)可用性差和隔離性差。針對(duì)這個(gè)問(wèn)題，現(xiàn)有的HDFS Federation策略和NCUC策略均存在著單點(diǎn)故障和沒(méi)有動(dòng)態(tài)負(fù)載均衡的缺陷。本文提出了一種動(dòng)態(tài)負(fù)載均衡的分布式NameNode策略來(lái)解決這個(gè)問(wèn)題。在本文提出的策略中，元數(shù)據(jù)通過(guò)多副本的形式存放在

3、NameNode集群中，元數(shù)據(jù)分布的時(shí)候考慮到異構(gòu)服務(wù)器之間的性能差異和當(dāng)前的負(fù)載情況，當(dāng)NameNode之間的負(fù)載動(dòng)態(tài)變化時(shí)啟動(dòng)動(dòng)態(tài)負(fù)載均衡策略，在客戶(hù)端使用元數(shù)據(jù)緩存策略來(lái)降低元數(shù)據(jù)訪問(wèn)時(shí)間，當(dāng)NameNode出現(xiàn)故障或者元數(shù)據(jù)副本丟失的時(shí)候啟動(dòng)元數(shù)據(jù)自動(dòng)恢復(fù)。
　　(2)一種延遲的自適應(yīng)副本同步策略。HDFS使用簡(jiǎn)單的強(qiáng)一致性策略進(jìn)行副本之間的同步，這種設(shè)計(jì)雖然保證了多副本之間始終處于一致性的狀態(tài)，但是導(dǎo)致寫(xiě)文件延遲高和寫(xiě)吞

4、吐率低的缺點(diǎn)，使得HDFS不適合有一定交互性等對(duì)于寫(xiě)性能要求高的場(chǎng)景。針對(duì)這個(gè)問(wèn)題，現(xiàn)有的一些解決方案也存在著一些缺點(diǎn)：動(dòng)態(tài)副本同步策略需要NameNode參與副本同步，而Quorum策略的讀性能相對(duì)較差。本文提出了一種延遲的自適應(yīng)副本同步策略來(lái)解決這個(gè)問(wèn)題：在寫(xiě)操作執(zhí)行的時(shí)候，選擇部分副本執(zhí)行副本同步，對(duì)其余的副本進(jìn)行延遲的自適應(yīng)副本同步，提高了寫(xiě)性能；通過(guò)使用BlockList結(jié)構(gòu)，不需要NameNode參與副本同步，并且相較于Qu