基于HDFS的多Namenode元數(shù)據(jù)管理研究.pdf

1、這是一個(gè)數(shù)據(jù)高速擴(kuò)張的時(shí)代。根據(jù)技術(shù)研究機(jī)構(gòu) IDC的預(yù)計(jì)，大量新數(shù)據(jù)無(wú)時(shí)不刻不在涌現(xiàn)，它們以每年50％的速度在增長(zhǎng)，或者說(shuō)每?jī)赡昃鸵环唷２⒉粌H僅是數(shù)據(jù)的洪流越來(lái)越大，而且全新的支流也會(huì)越來(lái)越多。并且數(shù)據(jù)呈現(xiàn)出大量、多樣、快速和高價(jià)值的特點(diǎn)。數(shù)據(jù)沒(méi)有辦法在可容忍的時(shí)間內(nèi)使用常規(guī)的軟件方法完成存儲(chǔ)、管理和任務(wù)處理。如何應(yīng)對(duì)數(shù)據(jù)的挑戰(zhàn)成為一個(gè)亟待解決的難題。越來(lái)越多的高校、科研機(jī)構(gòu)、互聯(lián)網(wǎng)公司投入到大規(guī)模數(shù)據(jù)存儲(chǔ)和計(jì)算模型及工具的研究

2、工作當(dāng)中。而作為一個(gè)適用于解決大規(guī)模數(shù)據(jù)的分布式存儲(chǔ)和計(jì)算基礎(chǔ)架構(gòu)的技術(shù)集合，Apache軟件基金會(huì)的 Hadoop項(xiàng)目自誕生以來(lái)就備受矚目，成為了業(yè)界研究和應(yīng)用的熱點(diǎn)，并被譽(yù)為“打開大數(shù)據(jù)之門的金鑰匙”。
　　本文的主要研究對(duì)象是Hadoop項(xiàng)目中的分布式文件系統(tǒng)HDFS。HDFS作為Hadoop中的基礎(chǔ)模塊，為諸如MapReduce、HBase等其他上層工具提供基礎(chǔ)數(shù)據(jù)的支撐。而HDFS在應(yīng)用到大規(guī)模分布式項(xiàng)目時(shí)，也暴露出了一

3、些架構(gòu)上的缺陷。HDFS中單個(gè)Namenode的架構(gòu)會(huì)影響到系統(tǒng)的可用性，并且會(huì)成為整個(gè)文件系統(tǒng)性能的瓶頸。
　　本文針對(duì)以上缺陷，提出了一種改進(jìn)的HDFS多Namenode架構(gòu)，將Namenode水平擴(kuò)展到集群中的多個(gè)節(jié)點(diǎn)，Namenode構(gòu)成一個(gè)集群系統(tǒng)，并根據(jù)功能劃分為Namenode Leader和Common Namenode兩種角色；通過(guò)心跳機(jī)制獲取Namenode集群的在線狀態(tài)和負(fù)載信息；在研究了幾種分布式一致性策略

4、后，設(shè)計(jì)了基于Paxos算法的Namenode Leader選舉機(jī)制；并設(shè)計(jì)了集群中節(jié)點(diǎn)失效的處理流程。
　　對(duì)于分布式Namenode架構(gòu)帶來(lái)的元數(shù)據(jù)管理的問(wèn)題，基于對(duì)元數(shù)據(jù)結(jié)構(gòu)和訪問(wèn)特點(diǎn)的分析，對(duì)Namenode所維護(hù)的命名空間和元數(shù)據(jù)服務(wù)進(jìn)行分布，提出了一種基于哈希算法和集群實(shí)時(shí)負(fù)載情況的兩級(jí)Namenode元數(shù)據(jù)分布策略；設(shè)計(jì)了元數(shù)據(jù)在Namenode集群中的冗余機(jī)制；對(duì)于元數(shù)據(jù)在冗余節(jié)點(diǎn)上的一致性問(wèn)題，基于經(jīng)典的分布式一