基于Hadoop的海量傳感數(shù)據(jù)管理系統(tǒng).pdf

1、近年來(lái)，隨著電腦、智能手機(jī)、傳感設(shè)備等生產(chǎn)或傳播數(shù)據(jù)載體的不斷增多，導(dǎo)致了全球數(shù)據(jù)的快速增長(zhǎng)，數(shù)據(jù)類型也在日益豐富。據(jù)截止2012年的數(shù)據(jù)統(tǒng)計(jì)，全球數(shù)據(jù)總量將達(dá)到2.7個(gè)ZB，其中以電子商務(wù)為代表的交易數(shù)據(jù)、以社交網(wǎng)絡(luò)為代表的交互數(shù)據(jù)、以移動(dòng)終端數(shù)據(jù)為代表的傳感數(shù)據(jù)三類占主導(dǎo)的非結(jié)構(gòu)化類型的數(shù)據(jù)將占據(jù)數(shù)據(jù)總數(shù)量的80％到90％，其增長(zhǎng)速度遠(yuǎn)遠(yuǎn)高于結(jié)構(gòu)化數(shù)據(jù)，我們已經(jīng)處在了一個(gè)大數(shù)據(jù)的時(shí)代。為了有效地管理和高效分析上述海量數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)

2、庫(kù)系統(tǒng)架構(gòu)已然顯得力不從心，逐漸無(wú)法勝任當(dāng)前的需求。
　　 2003年以來(lái)，谷歌陸續(xù)公布了對(duì)后來(lái)云計(jì)算發(fā)展有深遠(yuǎn)影響的三篇論文:GFS，MapReduce和BigTable。ApacheHadoop開源項(xiàng)目根據(jù)谷歌的論文推出了Hadoop系統(tǒng)，實(shí)現(xiàn)了自己的HDFS，MapReduce和HBase，該系統(tǒng)現(xiàn)在已被工業(yè)界、學(xué)術(shù)界廣泛認(rèn)可和采用，成為一個(gè)安裝簡(jiǎn)便、開發(fā)周期短、性能穩(wěn)定、功能完備的云計(jì)算平臺(tái)系統(tǒng)。
　　 在我們的

3、系統(tǒng)中，要管理傳感器收集到的數(shù)據(jù)。因?yàn)閭鞲衅鲿?huì)每隔一定的時(shí)間就采集一次數(shù)據(jù)，并且傳感器數(shù)量眾多，這就會(huì)產(chǎn)生大量的傳感數(shù)據(jù)，所以我們選用了一個(gè)可擴(kuò)展和高并發(fā)的Hadoop云平臺(tái)。另外，本系統(tǒng)還需要有個(gè)實(shí)時(shí)讀寫的功能，只使用Hadoop不能達(dá)到要求，因此我們選用了支持實(shí)時(shí)讀寫的分布式數(shù)據(jù)庫(kù)系統(tǒng)HBase。本文將Hadoop和HBaes結(jié)合起來(lái)，開發(fā)出了海量傳感數(shù)據(jù)管理系統(tǒng)，實(shí)現(xiàn)了傳感數(shù)據(jù)的高效管理，并可以通過(guò)web界面來(lái)實(shí)時(shí)查詢傳感器收集到