物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理技術(shù)研究.pdf

1、物聯(lián)網(wǎng)(The Internet of Things，IoT)是一個將海量傳感設(shè)備與互聯(lián)網(wǎng)相結(jié)合起來而形成的巨大網(wǎng)絡(luò)。在物聯(lián)網(wǎng)中，海量傳感設(shè)備不斷地采集數(shù)據(jù)并發(fā)送到數(shù)據(jù)中心;隨著感知技術(shù)與網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，數(shù)據(jù)呈現(xiàn)出海量特性，形成了物聯(lián)網(wǎng)大數(shù)據(jù)。對物聯(lián)網(wǎng)大數(shù)據(jù)進行持久化存儲，可以獲得任一傳感器的歷史與當(dāng)前感知數(shù)據(jù)，通過對數(shù)據(jù)進行檢索和統(tǒng)計分析，可以實現(xiàn)復(fù)雜與規(guī)律的感知和趨勢分析;數(shù)據(jù)存儲與管理以流任務(wù)運行在數(shù)據(jù)中心中，通過節(jié)能任務(wù)調(diào)度

2、，降低物聯(lián)網(wǎng)應(yīng)用的成本。這些都為城市安全、智慧城市、目標(biāo)識別與跟蹤、位置服務(wù)等諸多領(lǐng)域帶來了新的機遇。
　　物聯(lián)網(wǎng)大數(shù)據(jù)的存儲與管理，需要持久化存儲數(shù)據(jù)，實時檢索數(shù)據(jù)，對數(shù)據(jù)進行及時的分析和處理，并提供高效的計算框架，最終對數(shù)據(jù)實現(xiàn)有效的感知與控制。但是，物聯(lián)網(wǎng)大數(shù)據(jù)的海量特性為數(shù)據(jù)的存儲與管理帶來了巨大的挑戰(zhàn)。首先，“持久化存儲”，海量傳感器頻繁地產(chǎn)生新的采集數(shù)據(jù)，并發(fā)送到數(shù)據(jù)中心，形成了每秒數(shù)GB的數(shù)據(jù)寫入流，對HDFS等傳統(tǒng)

3、持久化存儲系統(tǒng)帶來了巨大的挑戰(zhàn)。在以HDFS為代表的大規(guī)模分布式文件系統(tǒng)中，雖然它們支持大數(shù)據(jù)存儲，但由于這些文件系統(tǒng)在設(shè)計時并沒有考慮對實時、高性能的數(shù)據(jù)存儲，因此無法滿足日益增長的大數(shù)據(jù)在線存儲的需求，例如HDFS在面對海量小文件的數(shù)據(jù)流時，單機性能往往下降到數(shù)MB/s，遠(yuǎn)遠(yuǎn)滿足不了實際需求。第二，“數(shù)據(jù)檢索”，存儲在持久化設(shè)備中的數(shù)據(jù)，需要借助數(shù)據(jù)檢索系統(tǒng)，快速查找數(shù)據(jù)，但是目前以關(guān)系數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫為主的數(shù)據(jù)庫系統(tǒng)不能有

4、效滿足物聯(lián)網(wǎng)大數(shù)據(jù)的檢索需求，例如NoSQL數(shù)據(jù)庫設(shè)計了基于磁盤存儲的讀寫方式、索引結(jié)構(gòu)、查詢執(zhí)行、查詢優(yōu)化、恢復(fù)策略，但是磁盤固有的讀寫性能差等弊端限制了大數(shù)據(jù)存儲尤其是大數(shù)據(jù)分析性能的提升。第三，“數(shù)據(jù)統(tǒng)計分析”，這需要建立數(shù)據(jù)立方體，以實現(xiàn)高效的數(shù)據(jù)統(tǒng)計分析。但是目前傳統(tǒng)的數(shù)據(jù)立方體，如HIVE等，都只能針對確定型數(shù)據(jù)進行統(tǒng)計分析，當(dāng)面對物聯(lián)網(wǎng)中的概率型數(shù)據(jù)時，統(tǒng)計分析的時間開銷為“小時”級別，不能滿足實際應(yīng)用的需求。最后，數(shù)據(jù)的

5、存儲、檢索、分析都以流任務(wù)的形式運行在數(shù)據(jù)中心之中，數(shù)據(jù)中心的運維成本有40％為能耗成本，如何實現(xiàn)節(jié)能任務(wù)調(diào)度就成為了降低數(shù)據(jù)中心成本的關(guān)鍵，而目前以Hadoop YARN為代表的任務(wù)調(diào)度平臺不支持節(jié)能任務(wù)調(diào)度。
　　綜上所述，目前許多已有的數(shù)據(jù)存儲與管理技術(shù)在面對物聯(lián)網(wǎng)大數(shù)據(jù)時，都存在著局限性。針對上述問題，本文提出一種“面向物聯(lián)網(wǎng)大數(shù)據(jù)的數(shù)據(jù)存儲與管理系統(tǒng)框架”(Sensor Storage)。Sensor Storage是一

6、個分布式的數(shù)據(jù)存儲、檢索、分析平臺，主要包括以下關(guān)鍵技術(shù)。
　　(1)面向海量小文件的分布式文件系統(tǒng)。本研究建立一個基于HDFS擴展的分布式存儲系統(tǒng)SensorFS，該系統(tǒng)架構(gòu)可以對海量小文件進行快速存儲、查詢優(yōu)化，并提供高可擴展性、數(shù)據(jù)安全性保障;本研究提出海量小文件的寫吞吐優(yōu)化機制以及算法，對小文件寫瓶頸進行理論分析與建模，設(shè)計小文件寫優(yōu)化策略;提出海量小文件在HDFS中的文件讀取性能優(yōu)化機制;
　　(2)一種空間有效的

7、鍵值數(shù)據(jù)檢索系統(tǒng)。本研究建立一個基于Radix Tree的鍵值數(shù)據(jù)檢索系統(tǒng)RadixKV，為分布式文件系統(tǒng)中的海量內(nèi)容提供基于關(guān)鍵詞的快速數(shù)據(jù)檢索服務(wù);本研究分析了Radix Tree的優(yōu)勢與不足，對Radix Tree的在線更新性能進行分析，并設(shè)計了一種自適應(yīng)并行索引更新策略;提出了一種空間開銷優(yōu)化的Radix Tree表達(dá)方式—Radix Array，設(shè)計了Radix Array的數(shù)據(jù)結(jié)構(gòu)，并分析了Radix Array的空間開銷。

8、
　　(3)面向概率型數(shù)據(jù)的數(shù)據(jù)立方體系統(tǒng)。分析物聯(lián)網(wǎng)大數(shù)據(jù)中的“不確定性”特點，并有針對性地設(shè)計面向概率數(shù)據(jù)的數(shù)據(jù)立方體系統(tǒng)ProbabilisticCube，提供面向概率型數(shù)據(jù)的快速聚集查詢服務(wù);定義物聯(lián)網(wǎng)大數(shù)據(jù)中的概率數(shù)據(jù)模型，并基于概率數(shù)據(jù)模型定義、設(shè)計概率數(shù)據(jù)立方體;設(shè)計高性能的概率數(shù)據(jù)聚集操作;設(shè)計基于物化代價估計模型的數(shù)據(jù)立方體物化實現(xiàn)策略;設(shè)計面向概率數(shù)據(jù)的切片查詢和切塊查詢。
　　(4)能耗有效的任務(wù)調(diào)度框

9、架。建立一個基于Hadoop YARN擴展的分布式任務(wù)調(diào)度框架Green Yarn，新的分布式任務(wù)調(diào)度框架對物聯(lián)網(wǎng)的流任務(wù)進行合理調(diào)度，在不損失性能的前提下，結(jié)合服務(wù)器動態(tài)電壓調(diào)整的特性(DVFS)，對任務(wù)和服務(wù)器進行合理匹配;我們設(shè)計基于任務(wù)的能耗有效性模型，并設(shè)計分別面向離線批處理任務(wù)和在線任務(wù)的任務(wù)調(diào)度算法。
　　通過本文系統(tǒng)研究，有望建立一個面向物聯(lián)網(wǎng)大數(shù)據(jù)的新型存儲架構(gòu)，對文件系統(tǒng)、大數(shù)據(jù)檢索與分析提出創(chuàng)新的優(yōu)化設(shè)計，解