量測大集信息的無損云壓縮與倉庫存儲研究.pdf

1、隨著網(wǎng)絡規(guī)模擴容和智能設備的應用，智能配電網(wǎng)正邁向能量與信息互動，海量信息處理和智能調度方向發(fā)展，某些工業(yè)配電網(wǎng)量測點劇增、模擬量變化快，波動幅度大等特性尤為突出，這些信息在調度監(jiān)控系統(tǒng)的顯示處理中需要不斷進行信息存取，長期運行將產(chǎn)生大數(shù)據(jù)集信息，海量信息不僅是信息傳輸交互的障礙，也將影響到應用信息的查詢處理，直接針對海量大數(shù)據(jù)集信息進行存取處理，容易使信息延遲、存取速度慢，不僅影響系統(tǒng)實時性，嚴重時甚至造成關鍵信息的遲報或漏報，導致報

2、警延遲或消失，直接威脅安全調度和實時控制。量測大集信息的有效處理已成為配電網(wǎng)自動化的關鍵技術問題之一。所以需要對大數(shù)據(jù)集信息研究有效的存儲和壓縮處理技術。本課題針對鐵道電網(wǎng)調度海量信息流的實時存儲和壓縮處理進行研究，采用新的Hadoop云計算及Hive數(shù)據(jù)倉庫框架技術對海量信息進行分布式云存取和集群壓縮處理，解決電力調度信息流存儲困難問題，旨在確保調度安全和供電可靠性。
　　本課題針對智能調度系統(tǒng)中的大數(shù)據(jù)集信息壓縮處理問題，利用

3、Hadoop框架和Map/Reduce分布式編程模型，進一步結合數(shù)據(jù)倉庫Hive框架技術，提出了一種基于云架構的分布式集群無損壓縮新方法。首先利用公共信息的關聯(lián)關系，建立調度監(jiān)控的公共信息對象實體及其關鍵數(shù)據(jù)業(yè)務信息流，解決海量關鍵數(shù)據(jù)業(yè)務信息集成問題；然后研究和比較目前四種主流無損壓縮算法差異性，利用云計算節(jié)點的網(wǎng)絡配置方式部署調度主機和監(jiān)控服務器的集群環(huán)境，在集群數(shù)據(jù)節(jié)點中融入無損壓縮格式，建立調度監(jiān)控信息的集群無損壓縮實驗環(huán)境。將

4、Deflate、GZip、BZip2和Lzo四類無損壓縮編碼融入Map/Reduce云計算任務，利用調度端的斷面量測記錄集進行測試研究。
　　以調度監(jiān)控系統(tǒng)中的量測值存取為例進行研究，結果表明：針對四種無損壓縮格式，在斷面記錄超過3百萬以上時，BZip2集群壓縮效果更好，可達到約81.1％，通過逐步增加斷面記錄數(shù)，利用Hive數(shù)據(jù)倉庫，使壓縮比進一步達到約85%，因此，分布壓縮方法適合在監(jiān)控歷史信息壓縮處理中應用。相比而言，Lzo