基于大數(shù)據(jù)組件的鐵路供電監(jiān)控信息壓縮存取研究.pdf

1、鐵路供電系統(tǒng)是鐵路運(yùn)輸?shù)闹匾b備，擔(dān)負(fù)著為電力機(jī)車和動(dòng)車組、沿途車站、通信、照明、信號(hào)燈和閉塞裝置等設(shè)備供電的重任，其安全可靠供電直接關(guān)系到鐵路運(yùn)輸?shù)陌踩蕿楸Ｕ掀浒踩╇?，鐵路部門裝設(shè)了鐵路供電監(jiān)控系統(tǒng)。由于鐵路牽引供電系統(tǒng)是一種典型的動(dòng)態(tài)電網(wǎng)絡(luò)，其機(jī)車負(fù)荷又是大功率的沖擊性負(fù)荷，且具有波動(dòng)幅度大、變化快等特點(diǎn)，加之高速動(dòng)車組的運(yùn)行速度快、開行密度大，加劇了鐵路電網(wǎng)電壓、電流等運(yùn)行參數(shù)的變化，被控端將采集到大批量現(xiàn)場(chǎng)實(shí)時(shí)數(shù)據(jù)信息上傳

2、至調(diào)度中心，調(diào)度監(jiān)控系統(tǒng)需要對(duì)這些信息進(jìn)行不斷地存取處理，長期運(yùn)行將產(chǎn)生海量信息。而目前監(jiān)控系統(tǒng)的數(shù)據(jù)存儲(chǔ)平臺(tái)大多基于關(guān)系數(shù)據(jù)庫，存取容量一般限制在TB級(jí)，面對(duì)快速增長、動(dòng)態(tài)、海量的監(jiān)測(cè)數(shù)據(jù)，其裝載和查詢性能較差，如果直接對(duì)這些海量數(shù)據(jù)進(jìn)行存取操作，系統(tǒng)的響應(yīng)速度慢、甚至死機(jī)，容易使信息延遲，不僅影響系統(tǒng)實(shí)時(shí)性，嚴(yán)重時(shí)甚至造成關(guān)鍵信息的遲報(bào)或漏報(bào)，導(dǎo)致報(bào)警延遲或消失，直接威脅供電安全，已無法滿足持續(xù)增長的海量數(shù)據(jù)存儲(chǔ)與處理需求。因此，如

3、何快速存儲(chǔ)和處理海量監(jiān)控?cái)?shù)據(jù)，是一個(gè)需要迫切解決的關(guān)鍵問題。
　　本文針對(duì)鐵路供電監(jiān)控系統(tǒng)中海量監(jiān)控信息的存儲(chǔ)與查詢困難的問題，融合Hadoop、Hive和Impala的云計(jì)算大數(shù)據(jù)組件，構(gòu)建鐵路供電調(diào)度監(jiān)控云計(jì)算集群，以北京動(dòng)車段10kV電力遠(yuǎn)動(dòng)監(jiān)控系統(tǒng)為算例，進(jìn)行了調(diào)度監(jiān)控?cái)?shù)據(jù)的分布式Map壓縮存儲(chǔ)研究、HQL連接查詢優(yōu)化研究和Impala快速查詢研究，實(shí)現(xiàn)海量監(jiān)控?cái)?shù)據(jù)的高效壓縮存儲(chǔ)與快速查詢。研究結(jié)果表明：1）監(jiān)控?cái)?shù)據(jù)采用分

4、布式Map壓縮后，既可明顯加快壓縮導(dǎo)入速度，又可大幅減小數(shù)據(jù)體量，同時(shí)對(duì)查詢幾乎無影響，其中Map_Gzip、Map_Deflate、Map_Snappy、Map_LZO格式反而加快了查詢速度，為解決海量監(jiān)控?cái)?shù)據(jù)的存取問題提供了新的解決思路；2）HQL連接查詢的混洗階段采用分布式Map壓縮后查詢耗時(shí)明顯減少，其中，分布式Map的Map_LZO及Map_Snappy格式效果最好，在記錄大于2.0×107條時(shí)相比混洗階段未壓縮而直接查詢的時(shí)