基于HDFS的云存儲關鍵技術研究.pdf

1、分類號!￡蘭12UDC工程碩士學位論文基于HDFS的云存儲關鍵技術研究衣然論文答辯日期2Q!生!!旦!!目學位授予日期2Q!堇生12旦三!旦基于HDFS的云存儲關鍵技術研究摘要云存儲系統(tǒng)為存儲大規(guī)模數(shù)據(jù)應運而生，其底層采用分布式文件系統(tǒng)作為存儲平臺。HDFS(HadoopDis仃ibmedFileSystem)是開源的云計算平臺Hadoop提出的分布式文件系統(tǒng)，其設計簡單，應用廣泛。但是隨著數(shù)據(jù)量的指數(shù)型增長，在可用性、可靠性、擴展性和

2、數(shù)據(jù)訪問性能等方面已經(jīng)難以滿足日益增長的數(shù)據(jù)量的存儲需求。HDFS采用單一的元數(shù)據(jù)服務器(MetaDataServer，MDS)來管理整個系統(tǒng)的元數(shù)據(jù)信息，這樣雖然設計簡單，但是單一的元數(shù)據(jù)服務器經(jīng)常成為整個系統(tǒng)性能的瓶頸，限制元數(shù)據(jù)的數(shù)量，可擴展性差，并且單一的服務器節(jié)點也會帶來單點失效問題，當其發(fā)生故障時，整個系統(tǒng)將不能工作，影響系統(tǒng)可用性。同時，在現(xiàn)有的HDFS中，系統(tǒng)將默認保存三個文件副本來保證數(shù)據(jù)可靠性，但是副本分配數(shù)量固定，

3、副本放置時位置的選擇可能會帶來負載不均衡等問題，影響系統(tǒng)效率。針對以上問題，本文進行了如下研究：對HDFS的系統(tǒng)架構設計和工作原理進行了深入了解。本文提出一種集群化元數(shù)據(jù)服務器架構，在此基礎上，提出了一種引入虛擬節(jié)點的改進一致性Hash算法，采用目錄子樹劃分和改進的一致性Hash算法相結合的方式對元數(shù)據(jù)進行劃分。為解決數(shù)據(jù)訪問引起的局部過熱問題，提出一種基于改進的一致性Hash算法中虛擬節(jié)點遷移的動態(tài)負載均衡算法，動態(tài)調整運行過程中數(shù)據(jù)