HDFS高可用性方案的研究與設(shè)計.pdf

1、隨著互聯(lián)網(wǎng)上數(shù)據(jù)的不斷增長，各種數(shù)據(jù)量在本世紀(jì)開始以來的15年時間里已經(jīng)呈指數(shù)級的增長趨勢。傳統(tǒng)的存儲系統(tǒng)已無法在數(shù)據(jù)處理和數(shù)據(jù)存儲管理方面滿足海量數(shù)據(jù)的需求，而分布式計算框架恰好在數(shù)據(jù)處理和數(shù)據(jù)存儲管理方面較好地彌補了傳統(tǒng)技術(shù)的不足。Hadoop是一個能夠處理海量數(shù)據(jù)的分布式計算框架，具有高可擴展性、髙性能、高吞吐量等優(yōu)點，因此在大數(shù)據(jù)處理和存儲領(lǐng)域得到廣泛的應(yīng)用。HDFS是Hadoop的底層分布式文件系統(tǒng)，是一個提供高性能、高可靠、

2、高可擴展的文件系統(tǒng)，為整個系統(tǒng)提供存儲服務(wù)。
　　HDFS采用了元數(shù)據(jù)與真實數(shù)據(jù)分離的設(shè)計模式，并且由一個中心服務(wù)器管理這些元數(shù)據(jù)的名字空間，即在HDFS中存在著一個叫Namenode的節(jié)點管理著整個HDFS的元數(shù)據(jù)，這也帶來一個新的問題，即一旦維護(hù)著整個HDFS元數(shù)據(jù)的Namenode失效，那么整個HDFS將會變得不可用，而這個Namenode也便成了整個HDFS的一個單點故障問題（SPOF）。
　　本文針對Namenod

3、e的單點故障問題，通過研究分析業(yè)界流行的高可用方案，在深入了解了HDFS的架構(gòu)機制后，提出了一種采用熱備Namenode的HDFS高可用方案。該方案能夠很好的解決HDFS集群中Namenode的單點故障問題，而不會犧牲較高的性能。該方案在原有HDFS架構(gòu)的基礎(chǔ)上，引進(jìn)一個熱備的Namenode節(jié)點，即standby Namenode。并且不斷同步active Namenode與standby Namenode內(nèi)存中的元數(shù)據(jù)，以保持名字空

4、間的一致性。為了降低HDFS在切換時候所需要的時間，本系統(tǒng)在切換Namenode的時候僅導(dǎo)入日志文件中的數(shù)據(jù)。這樣在active Namenode掉線不可用的時候，系統(tǒng)能夠自動且快速的切換到standby Namenode。
　　此外在現(xiàn)有的Hadoop集群中，還存在著另外一個問題。集群中的數(shù)據(jù)塊的訪問率也不盡相同，有些數(shù)據(jù)塊的訪問率很高，有些則相反。在采取同一種配置的情況下會導(dǎo)致不能很好的利用集群中的資源。因此本文在研究分析了H