大數據技術在電力營銷系統(tǒng)中的應用研究.pdf

1、隨著電力企業(yè)的快速發(fā)展，電網數據不斷積累，呈現出爆炸式增長的趨勢。怎樣從這些數據中挖掘出價值數據，已經成為智能電網建設和電力企業(yè)發(fā)展的關鍵，而大數據相關技術的飛速發(fā)展為電網數據帶來新機遇。在當下主流的大數據技術中，相比Hadoop平臺，Spark平臺更加優(yōu)異的迭代工作負載性能、RDD數據集的高速計算能力以及 HDFS的強大存儲能力在海量的電力數據挖掘中都表現出極大的優(yōu)勢。
　　本文利用Spark平臺與關聯規(guī)則挖掘技術結合的優(yōu)勢，根

2、據電力企業(yè)對數據分析的實際需求，研究分析了 Z-score標準化和 FCM聚類算法，結合兩者設計出電力數據預處理流程，驗證了數據預處理的有效性，并運用稀疏矩陣和 FCM聚類算法改進了 FFP-growth算法，應用于 Spark平臺下的電力營銷系統(tǒng)中。本文主要完成了以下三方面工作：第一，研究實際處理電網數據中遇到的問題，并針對這些問題提出解決方法，根據 Z-score標準化和 FCM聚類算法的結合提出大數據預處理的新流程；第二，研究了F

3、P-growth關聯規(guī)則挖掘算法，根據傳統(tǒng)FP-Growth算法的不足對其進行改進，引入稀疏矩陣存儲減少一次數據庫掃描得到頻繁項集，節(jié)省了數據庫掃描時間，并設計了在Spark平臺下改進的FFP-growth算法并行化模型，對數據進行二次分類，避免單個事務集過大的問題；第三，搭建 Spark平臺，設計并實現電力營銷系統(tǒng)，將數據預處理技術和改進的FFP-Growth關聯規(guī)則挖掘技術應用到電力營銷數據分析系統(tǒng)中，實例驗證了重新設計的數據預處理