基于Hadoop集群的海量數(shù)據(jù)計(jì)算和存儲(chǔ)技術(shù)研究.pdf

1、隨著計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)和信息技術(shù)的發(fā)展，信息量呈爆炸式增長(zhǎng)，我們已經(jīng)生活在數(shù)據(jù)時(shí)代。在當(dāng)今高度信息化的社會(huì)中，互聯(lián)網(wǎng)已經(jīng)成為目前最大的信息系統(tǒng)，其里面的數(shù)據(jù)具有海量、動(dòng)態(tài)變化、多樣、異構(gòu)等特性。而原來(lái)傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)在應(yīng)對(duì)具有高并發(fā)、大規(guī)模以及TB/PB級(jí)的數(shù)據(jù)量的應(yīng)用需求是，特別是當(dāng)今流行的SNS類(lèi)型的動(dòng)態(tài)網(wǎng)站，已經(jīng)顯得力不從心。同時(shí)，隨著云計(jì)算和云存儲(chǔ)的興起，如何有效地存儲(chǔ)這些海量數(shù)據(jù)；如何能快速地能這些海量數(shù)據(jù)進(jìn)行計(jì)算，提出對(duì)

2、企業(yè)有價(jià)值的信息;以及何如方便地管理這些海量數(shù)據(jù)，成為當(dāng)今互聯(lián)網(wǎng)企業(yè)在面對(duì)海量數(shù)據(jù)時(shí)，碰到的一個(gè)技術(shù)難題。
　　 本文基于這個(gè)問(wèn)題為出發(fā)點(diǎn)，研究和分析目前在云計(jì)算和海量數(shù)據(jù)存儲(chǔ)和計(jì)算方面，比較火熱的云計(jì)算平臺(tái)Hadoop。其平臺(tái)在對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ)和計(jì)算方面非常有優(yōu)勢(shì)，應(yīng)用開(kāi)發(fā)者不需要了解其平臺(tái)底層的計(jì)算實(shí)現(xiàn)細(xì)節(jié)，便可以利用其平臺(tái)進(jìn)行分布式應(yīng)用的開(kāi)發(fā)，同時(shí)，其平臺(tái)一般運(yùn)行在普通廉價(jià)的計(jì)算機(jī)集群上，可以充分利用集群的威力進(jìn)行運(yùn)算和

3、存儲(chǔ)，這可以極大地節(jié)約投入硬件的經(jīng)濟(jì)成本。
　　 本文首先介紹本課題的研究背景，研究意義和內(nèi)容，并簡(jiǎn)要的闡述在海量數(shù)據(jù)存儲(chǔ)和計(jì)算方面的云平臺(tái)-Hadoop。接著，主要對(duì)在海量數(shù)據(jù)存儲(chǔ)和計(jì)算方面的關(guān)鍵技術(shù)進(jìn)行介紹，特別是目前火熱的云計(jì)算方面的相關(guān)計(jì)算，其中介紹了云計(jì)算的基本概念和其體系架構(gòu)，以及云計(jì)算中的虛擬化技術(shù)、并行計(jì)算和分布式計(jì)算、分布式存儲(chǔ)技術(shù)、分布式數(shù)據(jù)管理技術(shù)等關(guān)鍵技術(shù)。然后，重點(diǎn)研究了Hadoop平臺(tái)中的兩個(gè)核心組件