基于HDFS的存儲技術(shù)的研究.pdf

1、云存儲是在云計算模式的基礎上產(chǎn)生和發(fā)展起來的新概念。隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，數(shù)據(jù)量呈現(xiàn)爆炸式的增長，無論是個人還是企業(yè)都面臨大量數(shù)據(jù)管理困難、數(shù)據(jù)存儲維護成本高、可靠性低等問題。云存儲概念的出現(xiàn)較好的解決了這些問題，它將網(wǎng)絡或計算機集群中大量的各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲服務和業(yè)務訪問能力。其中，在眾多的云計算平臺中，Apache軟件基金會根據(jù)谷歌的云計算設計思想開源實現(xiàn)的Hadoop項目引起了

2、廣泛關(guān)注。其中的HDFS（Hadoop Distributed File System）是Hadoop的核心組件之一，研究云存儲技術(shù)，負責系統(tǒng)的數(shù)據(jù)存儲和管理、文件管理及出錯處理等基礎工作。HDFS具有可靠性高、擴展性強、成本低等優(yōu)勢，它的開源性、高容錯性及可以部署在廉價的硬件設備上的特點是其成為云存儲研究的熱點之一。
　　本論文以HDFS為原型研究云存儲技術(shù)，根據(jù)云存儲中數(shù)據(jù)存儲的特點及集群網(wǎng)絡中數(shù)據(jù)節(jié)點的異構(gòu)性等問題討論HDF

3、S中的改進機制。HDFS認為集群中的節(jié)點故障是常態(tài)，并提供了故障節(jié)點的檢測機制，本論文在故障節(jié)點檢測機制的基礎上提出了建立信任模型的概念，對集群中數(shù)據(jù)節(jié)點的安全性和可靠性進行評價，以便主節(jié)點完成對數(shù)據(jù)節(jié)點的篩選。另外，云存儲中數(shù)據(jù)的類型多種多樣，用途也不盡相同，不同的用戶可能對數(shù)據(jù)節(jié)點有著不同的性能要求。本論文提出了一種數(shù)據(jù)的分類模型，并制定了個各類型數(shù)據(jù)對節(jié)點性能的選擇標準。最后，HDFS假設集群中所有的節(jié)點是同構(gòu)的，即集群中所有的節(jié)