基于Hadoop的云計算模型研究與應用.pdf

1、隨著社會進步和互聯(lián)網(wǎng)技術發(fā)展，網(wǎng)絡數(shù)據(jù)量飛速增長且規(guī)模日漸龐大，不管是企業(yè)還是個人都面臨如何對這些海量數(shù)據(jù)進行有效存儲和分析的難題。面對正在增長的海量數(shù)據(jù)，傳統(tǒng)數(shù)據(jù)處理方法存在數(shù)據(jù)存儲成本過高、海量數(shù)據(jù)管理較困難、可靠性較低、效率低下、并行處理程序編寫困難等諸多缺點。人們需要一種新的技術思想來解決這些問題。云計算的思想就很自然地被提出來。
　　云計算通過整合互聯(lián)網(wǎng)絡中的閑散資源，對外提供強大的存儲和計算能力，以及一些其它解決方案。

2、Hadoop是一個開源分布式數(shù)據(jù)處理框架，被用于高效地處理海量數(shù)據(jù)。由于Hadoop具有可伸縮性、高可靠性、低成本性和高效性等優(yōu)點，已成為一種流行的云計算開發(fā)平臺。但是Hadoop也存在一定的缺陷，例如，在Hadoop集群中只要一個名字節(jié)點來管理整個文件系統(tǒng)的元數(shù)據(jù)和執(zhí)行重要的文件系統(tǒng)操作。這會限制集群的可擴展性、可用性；另外，在傳統(tǒng)Hadoop中，計算和存儲是緊耦合的，這也會對集群的性能造成限制。
　　本文的研究課題是基于Had

3、oop的云計算模型研究與應用，主要目標是：分析傳統(tǒng)Hadoop框架的性能瓶頸，設計一種新的Hadoop框架；在改進傳統(tǒng)Hadoop框架的基礎上，設計基于改進后的Hadoop的云計算模型，實現(xiàn)相應云計算平臺，重點解決海量數(shù)據(jù)存儲和分析的難題。
　　論文的主要工作和成果如下：
　?、俳榻B云計算的基礎理論，包括云計算的概念、特點、關鍵技術和典型的平臺應用。
　?、陉U述Hadoop的基礎架構，包括分布式文件系統(tǒng)（HDFS）、并

4、行編程模型MapReduce的原理和實現(xiàn)機制、Hadoop框架優(yōu)化措施等。詳細分析了HDFS的數(shù)據(jù)管理機制、性能保障措施、以及文件的讀取和寫入過程。
　?、鄯治鯤adoop的性能瓶頸，設計了一個新型的Hadoop架構，解決了傳統(tǒng)Hadoop架構中的單名字節(jié)點的瓶頸問題，以及計算與存儲緊耦合問題，通過理論分析和實驗對比，論證了新框架的高效性。新框架具有高可用性和良好的可擴展能力。
　　④完成了基于改進的Hadoop的云計算模型