基于NoSQL海量數(shù)據(jù)存取策略研究.pdf

1、近幾年來信息化進程開始以一種深度和廣度共同發(fā)展的勢頭不斷深入，隨著物聯(lián)網(wǎng)的興起，大量傳感器以及智能終端廣泛應用于傳統(tǒng)工業(yè)領(lǐng)域，這樣勢必帶來數(shù)據(jù)的海量增長。如何有效的利用這些海量數(shù)據(jù)來提高工業(yè)生產(chǎn)效率成為一個亟待解決的問題，而解決這個問題的基礎(chǔ)在于為這些工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)建立一個有效的存取機制。在這方面可以參考目前世界上應用廣泛、成熟穩(wěn)定的互聯(lián)網(wǎng)技術(shù)，結(jié)合工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)特點以及傳統(tǒng)的工業(yè)數(shù)據(jù)處理技術(shù)對這個問題進行研究。
　　集中式的存儲

2、系統(tǒng)在面對工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)的時候容量有限且擴展性不足，而傳統(tǒng)的分布式數(shù)據(jù)庫在系統(tǒng)彈性以及容錯性等方面又不能很好的滿足工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)存儲的需求。在調(diào)研了大量存儲系統(tǒng)之后決定在基于開源NoSQL的分布式存儲平臺上進行工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)存取策略的設(shè)計。
　　工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)存取策略主要包括兩個部分：分布式存儲策略與分布式查詢策略。根據(jù)海量數(shù)據(jù)自身特性和便于查詢的考慮，系統(tǒng)選取具備數(shù)據(jù)強一致性，采用列式鍵值存儲模型和連續(xù)范圍分片策略的開源NoSQ

3、L分布式存儲平臺，在此基礎(chǔ)上設(shè)計分布式存儲策略。同時采用Scatter/Gather Local Search查詢模型，基于存儲系統(tǒng)設(shè)計出高效分布式查詢策略。分布式查詢策略具備良好的負載均衡機制、容錯性以及擴展性。
　　選取HBase作為存儲平臺并在此基礎(chǔ)上實現(xiàn)分布式存取策略。根據(jù)存取的需求設(shè)計HBase的Rowkey，同時在子節(jié)點上仿真數(shù)據(jù)庫與查詢處理器實例，進行存取過程各方面性能仿真測試。通過測試結(jié)果可以看出，海量數(shù)據(jù)存儲策略