基于Hadoop的鐵道供電監(jiān)控信息流分布式壓縮存儲及容錯(cuò)研究.pdf

1、現(xiàn)代電網(wǎng)規(guī)模與容量不斷擴(kuò)大，能量流與信息流互動(dòng)，構(gòu)成智能調(diào)度應(yīng)用的基礎(chǔ),為了增強(qiáng)調(diào)度監(jiān)控的協(xié)調(diào)與交互，各式新型智能電子設(shè)備不斷接入，電力系統(tǒng)監(jiān)控中監(jiān)測點(diǎn)數(shù)量增多，數(shù)據(jù)量呈幾何形式大規(guī)模增長，數(shù)據(jù)結(jié)構(gòu)既復(fù)雜又多樣。典型的如某風(fēng)電場風(fēng)機(jī)SCADA系統(tǒng)一個(gè)月產(chǎn)生的數(shù)據(jù)量約達(dá)2490GB，運(yùn)行一年就將達(dá)到20多個(gè)TB[1,2]，現(xiàn)有的數(shù)據(jù)管理系統(tǒng)通常采用傳統(tǒng)磁盤陣列來存儲與管理數(shù)據(jù)，相應(yīng)的數(shù)據(jù)庫管理軟件采用關(guān)系型數(shù)據(jù)庫處理方案，數(shù)據(jù)需要集中處理

2、，對單臺服務(wù)器有較高性能要求，而且數(shù)據(jù)管理系統(tǒng)的擴(kuò)展性相對較差、可靠性也不高，雖然能滿足一般數(shù)據(jù)處理應(yīng)用，但是在應(yīng)對大規(guī)模數(shù)據(jù)處理方面存在困難，若通過傳統(tǒng)關(guān)系數(shù)據(jù)管理系統(tǒng)對海量數(shù)據(jù)集中式處理計(jì)算，已遠(yuǎn)遠(yuǎn)滿足不了未來智能調(diào)度監(jiān)控海量數(shù)據(jù)存儲、共享、自動(dòng)化處理要求，大數(shù)據(jù)集信息的有效存儲與計(jì)算仍是目前調(diào)度監(jiān)控系統(tǒng)所面臨的一個(gè)難題。
　　學(xué)術(shù)界在電力領(lǐng)域引入云計(jì)算，將云計(jì)算技術(shù)引入調(diào)度監(jiān)控大數(shù)據(jù)的存儲處理，研究調(diào)度監(jiān)控大數(shù)據(jù)的應(yīng)對方案。

3、作為目前研究較普遍的Hadoop云框架，突破了傳統(tǒng)數(shù)據(jù)集中存儲處理的模式，具有強(qiáng)大的分布式并行處理能力，其所具有的冗余容錯(cuò)、高可靠、高伸縮等突出優(yōu)勢，為調(diào)度監(jiān)控系統(tǒng)海量化大數(shù)據(jù)的有效存儲與計(jì)算處理提供了一種新的解決思路。
　　某些特殊的工業(yè)配電系統(tǒng)如鐵道供電系統(tǒng)除具有一般配電系統(tǒng)的特點(diǎn)外，還具有其自身特點(diǎn)，其安全性不僅涉及供電安全更涉及行車安全，其智能調(diào)度監(jiān)控對系統(tǒng)可靠性要求高，因此，本文結(jié)合工程應(yīng)用中數(shù)據(jù)處理實(shí)際要求與Hadoo

4、p云平臺，構(gòu)建基于Hadoop的鐵道供電調(diào)度監(jiān)控系統(tǒng)，并構(gòu)建基于Hive的調(diào)度監(jiān)控?cái)?shù)據(jù)倉庫和基于HBase的分布式調(diào)度監(jiān)控?cái)?shù)據(jù)庫，以鐵道供電調(diào)度監(jiān)控量測大數(shù)據(jù)作為研究對象，進(jìn)行數(shù)據(jù)壓縮存儲研究。實(shí)驗(yàn)表明：RCFile文件格式的查詢和壓縮性能優(yōu)于TextFile與SequenceFile，且三種文件格式經(jīng)Deflate、Gzip、Lzo的壓縮查詢效率得到提高；驗(yàn)證了HBase良好的實(shí)時(shí)讀寫性能；實(shí)現(xiàn)了Hive與HBase的信息融合交互；驗(yàn)