基于NoSQL的大數(shù)據(jù)管理技術(shù)研究與應(yīng)用.pdf

1、隨著傳感器、物聯(lián)網(wǎng)等技術(shù)的發(fā)展，變電設(shè)備狀態(tài)監(jiān)測領(lǐng)域的數(shù)據(jù)量指數(shù)級快速增長，數(shù)據(jù)種類也多樣化，逐漸構(gòu)成了變電設(shè)備狀態(tài)監(jiān)測大數(shù)據(jù)。用大數(shù)據(jù)技術(shù)可以快速查詢變電設(shè)備狀態(tài)監(jiān)測目標(biāo)數(shù)據(jù)，進(jìn)而發(fā)現(xiàn)變電設(shè)備早期缺陷，為變電設(shè)備故障診斷提供重要信息。傳統(tǒng)關(guān)系數(shù)據(jù)庫所能處理的數(shù)據(jù)集比較小，在大數(shù)據(jù)存儲(chǔ)和查詢方面存在一定困難，而NoSQL數(shù)據(jù)庫支持大數(shù)據(jù)增量存儲(chǔ)的高擴(kuò)展性并且滿足數(shù)據(jù)高性能讀寫和查詢，成為大數(shù)據(jù)環(huán)境下數(shù)據(jù)存儲(chǔ)查詢的新方法。
　　本文

2、首先分析大數(shù)據(jù)技術(shù)和NoSQL數(shù)據(jù)庫在國內(nèi)外研究現(xiàn)狀，結(jié)合變電設(shè)備狀態(tài)監(jiān)測領(lǐng)域?qū)嶋H工程應(yīng)用，針對關(guān)系數(shù)據(jù)庫難以對半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)確定合理關(guān)系模型并且難以滿足高并發(fā)處理和實(shí)時(shí)性要求，給出了一種基于NoSQL數(shù)據(jù)庫的變電設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)存儲(chǔ)和查詢方案。根據(jù)變電設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)特點(diǎn)，選擇HBase數(shù)據(jù)庫存儲(chǔ)變電設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)，優(yōu)化設(shè)計(jì)行鍵和列族，提高了按行鍵檢索數(shù)據(jù)的效率。針對非行鍵數(shù)據(jù)查詢效率低下的問題，構(gòu)建二級索引實(shí)現(xiàn)對非行鍵數(shù)據(jù)

3、的快速查詢。
　　為解決變電設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)在基于傳統(tǒng)關(guān)系型數(shù)據(jù)庫系統(tǒng)存儲(chǔ)遇到的性能瓶頸，采用NoSQL作為變電設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)的存儲(chǔ)引擎，并在此基礎(chǔ)上對其存儲(chǔ)和查詢問題進(jìn)行研究。搭建基于Hadoop和HBase的大數(shù)據(jù)處理平臺(tái)，對變電設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)進(jìn)行存儲(chǔ)、讀寫性能實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，基于HBase數(shù)據(jù)庫存儲(chǔ)方法相比常規(guī)存儲(chǔ)方法存儲(chǔ)性能提升兩到三倍左右，基于協(xié)處理二級索引的查詢效率相比HBase常規(guī)二級索引方法IHBase提高