基于云計算的負荷建模精確數(shù)據(jù)獲取.pdf

1、隨著社會經(jīng)濟的不斷發(fā)展，電網(wǎng)規(guī)模和用電量不斷增加，同時對用電的安全性和可靠性的要求也越來越高。為了提高電力系統(tǒng)的運行可靠性，負荷模型的準確性的重要性明顯提高。精確負荷數(shù)據(jù)的獲取對負荷建模至關(guān)重要，暫態(tài)數(shù)據(jù)的記錄頻率不斷提高，測量裝置數(shù)量、監(jiān)測范圍不斷擴大，由此產(chǎn)生了大量待處理的監(jiān)測數(shù)據(jù)。目前電力系統(tǒng)的各種監(jiān)測數(shù)據(jù)分析計算主要基于調(diào)控中心的集中式計算平臺實現(xiàn)，計算能力、數(shù)據(jù)存儲能力有限。面對海量的數(shù)據(jù)，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫系統(tǒng)管理復雜、擴展

2、成本高昂。如何對海量的負荷特性監(jiān)測數(shù)據(jù)進行可靠快速的處理已經(jīng)成為負荷建模中的重要問題。
　　本文通過對Hadoop云計算平臺的研究，以MapReduce計算框架和HDFS存儲結(jié)構(gòu)為基礎(chǔ)，Hive數(shù)據(jù)倉庫為核心，結(jié)合HBase數(shù)據(jù)庫的快速查詢技術(shù)和信息融合技術(shù)，開展基于Hadoop的海量負荷數(shù)據(jù)云計算平臺研究工作。在數(shù)據(jù)存儲方面，通過對不同監(jiān)測裝置數(shù)據(jù)記錄格式的解析，構(gòu)建了能夠處理不同來源的基于Hive的數(shù)據(jù)庫存儲結(jié)構(gòu)。同時針對半結(jié)

3、構(gòu)化數(shù)據(jù)，結(jié)合HBase處理非結(jié)構(gòu)化數(shù)據(jù)的特性，構(gòu)建了存儲COMTRADE中的半結(jié)構(gòu)化數(shù)據(jù)的HBase表。對不同特點的數(shù)據(jù)庫的使用，提高了平臺的整合能力并增強了處理數(shù)據(jù)的性能。在數(shù)據(jù)優(yōu)化查詢方面，Hive的查詢要轉(zhuǎn)化為MapReduce任務，耗費的時間較長，實現(xiàn)了Hive表到HBase的映射，能夠同時利用Hive和HBase各自的特點分別存儲靜態(tài)采樣數(shù)據(jù)和負荷特征數(shù)據(jù)，減少了數(shù)據(jù)處理時延，提高了數(shù)據(jù)處理的效率。在數(shù)據(jù)計算與數(shù)據(jù)處理方面，

4、通過在數(shù)據(jù)記錄的電氣量提取過程，采用了并行遞推的算法，減少了計算量加快了計算的速度;通過Sqoop工具將數(shù)據(jù)ETL任務轉(zhuǎn)化為MapReduce任務，簡化了編程壓力和操作步驟;同時結(jié)合數(shù)據(jù)平滑算法，抑制數(shù)據(jù)噪聲，提高了數(shù)據(jù)的精度。
　　在實驗部分，對比了Hadoop的分布式數(shù)據(jù)庫Hive與傳統(tǒng)關(guān)系型數(shù)據(jù)庫的導入與查詢大量數(shù)據(jù)的速度，分析了Hive和HBase數(shù)據(jù)庫導入與查詢數(shù)據(jù)的性能。利用Sqoop轉(zhuǎn)化數(shù)據(jù)處理為MapReduce任