Hadoop分布式文件系統(tǒng)(HDFS)可靠性的研究與優(yōu)化.pdf

1、隨著云計算和云存儲逐漸被業(yè)界所接受，越來越多的企業(yè)和研究機(jī)構(gòu)都開始使用Hadoop 來開發(fā)各自的云存儲架構(gòu)體系，主要包括Yahoo！，F(xiàn)acebook和IBM等。
　　 由于Hadoop處理過程主要是通過Hadoop分布式文件系統(tǒng)(HDFS)來實現(xiàn)的，因此對HDFS的研究成為很多公司來架構(gòu)各自云存儲和云計算系統(tǒng)的基礎(chǔ)。
　　 因此，針對HDFS的處理過程以及其自身的數(shù)據(jù)備份機(jī)制進(jìn)行了詳細(xì)的研究。
　　 雖然，HD

2、FS自身具有很好的數(shù)據(jù)備份機(jī)制，可用于提高數(shù)據(jù)的安全性和可用性。但是，由于只有一個元數(shù)據(jù)服務(wù)器結(jié)點NameNode，這就造成了系統(tǒng)的單點失效問題。
　　 通過實現(xiàn)一種基于Paxos 一致性算法的分布式系統(tǒng)來解決元數(shù)據(jù)服務(wù)器的單點失效問題，并設(shè)計了一種選舉機(jī)制來提高系統(tǒng)的安全和性能。在設(shè)計了選舉機(jī)制以后，系統(tǒng)中所有的元數(shù)據(jù)服務(wù)器分為Leader和Follower兩種角色。其中，一臺元數(shù)據(jù)服務(wù)器作為Leader，其它的作為Follo

3、wer 來工作。Leader 需要通過選舉機(jī)制選出，作為系統(tǒng)中特定的acceptor和learner來工作，用于協(xié)調(diào)和同步所有元數(shù)據(jù)服務(wù)器的工作。對有N 臺元數(shù)據(jù)服務(wù)器的系統(tǒng)來說，可以實現(xiàn)最多(N-1)/2臺元數(shù)據(jù)服務(wù)器的失效，很適合用于大規(guī)模的系統(tǒng)中。
　　 通過測試結(jié)果可知，只要系統(tǒng)中有N/2+1臺元數(shù)據(jù)服務(wù)器能夠正常工作，系統(tǒng)就可以持續(xù)地工作。并且，F(xiàn)ollower 失效對系統(tǒng)的性能影響不大，主要是在恢復(fù)的時候需要與Lea