量測大集信息的無損云壓縮與倉庫存儲研究.pdf

1、隨著網(wǎng)絡(luò)規(guī)模擴(kuò)容和智能設(shè)備的應(yīng)用，智能配電網(wǎng)正邁向能量與信息互動，海量信息處理和智能調(diào)度方向發(fā)展，某些工業(yè)配電網(wǎng)量測點(diǎn)劇增、模擬量變化快，波動幅度大等特性尤為突出，這些信息在調(diào)度監(jiān)控系統(tǒng)的顯示處理中需要不斷進(jìn)行信息存取，長期運(yùn)行將產(chǎn)生大數(shù)據(jù)集信息，海量信息不僅是信息傳輸交互的障礙，也將影響到應(yīng)用信息的查詢處理，直接針對海量大數(shù)據(jù)集信息進(jìn)行存取處理，容易使信息延遲、存取速度慢，不僅影響系統(tǒng)實(shí)時(shí)性，嚴(yán)重時(shí)甚至造成關(guān)鍵信息的遲報(bào)或漏報(bào)，導(dǎo)致報(bào)

2、警延遲或消失，直接威脅安全調(diào)度和實(shí)時(shí)控制。量測大集信息的有效處理已成為配電網(wǎng)自動化的關(guān)鍵技術(shù)問題之一。所以需要對大數(shù)據(jù)集信息研究有效的存儲和壓縮處理技術(shù)。本課題針對鐵道電網(wǎng)調(diào)度海量信息流的實(shí)時(shí)存儲和壓縮處理進(jìn)行研究，采用新的Hadoop云計(jì)算及Hive數(shù)據(jù)倉庫框架技術(shù)對海量信息進(jìn)行分布式云存取和集群壓縮處理，解決電力調(diào)度信息流存儲困難問題，旨在確保調(diào)度安全和供電可靠性。
　　本課題針對智能調(diào)度系統(tǒng)中的大數(shù)據(jù)集信息壓縮處理問題，利用

3、Hadoop框架和Map/Reduce分布式編程模型，進(jìn)一步結(jié)合數(shù)據(jù)倉庫Hive框架技術(shù)，提出了一種基于云架構(gòu)的分布式集群無損壓縮新方法。首先利用公共信息的關(guān)聯(lián)關(guān)系，建立調(diào)度監(jiān)控的公共信息對象實(shí)體及其關(guān)鍵數(shù)據(jù)業(yè)務(wù)信息流，解決海量關(guān)鍵數(shù)據(jù)業(yè)務(wù)信息集成問題；然后研究和比較目前四種主流無損壓縮算法差異性，利用云計(jì)算節(jié)點(diǎn)的網(wǎng)絡(luò)配置方式部署調(diào)度主機(jī)和監(jiān)控服務(wù)器的集群環(huán)境，在集群數(shù)據(jù)節(jié)點(diǎn)中融入無損壓縮格式，建立調(diào)度監(jiān)控信息的集群無損壓縮實(shí)驗(yàn)環(huán)境。將

4、Deflate、GZip、BZip2和Lzo四類無損壓縮編碼融入Map/Reduce云計(jì)算任務(wù)，利用調(diào)度端的斷面量測記錄集進(jìn)行測試研究。
　　以調(diào)度監(jiān)控系統(tǒng)中的量測值存取為例進(jìn)行研究，結(jié)果表明：針對四種無損壓縮格式，在斷面記錄超過3百萬以上時(shí)，BZip2集群壓縮效果更好，可達(dá)到約81.1％，通過逐步增加斷面記錄數(shù)，利用Hive數(shù)據(jù)倉庫，使壓縮比進(jìn)一步達(dá)到約85%，因此，分布壓縮方法適合在監(jiān)控歷史信息壓縮處理中應(yīng)用。相比而言，Lzo