基于Hadoop+Spark的電能計(jì)量與分析自動(dòng)化系統(tǒng)研究與實(shí)現(xiàn).pdf

1、電力能源是現(xiàn)代社會(huì)的基本組成部分，它的供應(yīng)直接影響著社會(huì)和經(jīng)濟(jì)的發(fā)展。近年來，隨著電力行業(yè)的快速發(fā)展，電能在日常生活中的使用越來越普遍。電能計(jì)量自動(dòng)化系統(tǒng)在用電管理中越來越重要。系統(tǒng)中各種計(jì)量終端設(shè)備產(chǎn)生大量電能數(shù)據(jù)，這些數(shù)據(jù)的實(shí)時(shí)采集、傳輸、處理和分析對(duì)電力行業(yè)來說至關(guān)重要。電能計(jì)量自動(dòng)化系統(tǒng)的應(yīng)用既節(jié)約人力資源，提高工作效率，解決因傳統(tǒng)人工抄表造成的抄表錯(cuò)誤、少抄、漏抄、抄表時(shí)間跨度大等問題，保證數(shù)據(jù)的準(zhǔn)確性，又能對(duì)抄寫的數(shù)據(jù)很好的

2、存儲(chǔ)和管理，對(duì)數(shù)據(jù)準(zhǔn)確的分析，從而降低用電成本，實(shí)現(xiàn)用電管理自動(dòng)化。
　　隨著電力部門業(yè)務(wù)功能以及電能數(shù)據(jù)量的不斷增加，人們對(duì)電能計(jì)量自動(dòng)化系統(tǒng)的海量數(shù)據(jù)處理能力以及相應(yīng)的架構(gòu)設(shè)計(jì)提出了很高的要求。傳統(tǒng)的電能計(jì)量自動(dòng)化系統(tǒng)采用關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)、查詢和檢索數(shù)據(jù)，因此效率較低。并且傳統(tǒng)的電能計(jì)算模式和算法在數(shù)據(jù)計(jì)算、統(tǒng)計(jì)和分析方面，已難以滿足各種各樣的新需求。因此，本文利用Hadoop分布式文件系統(tǒng)和Spark大數(shù)據(jù)計(jì)算框架設(shè)計(jì)電能計(jì)

3、量與分析自動(dòng)化系統(tǒng)具有重要的應(yīng)用價(jià)值，取得的成果如下:
　　1.研究電能計(jì)量自動(dòng)化系統(tǒng)的組成，根據(jù)系統(tǒng)設(shè)計(jì)目標(biāo)，設(shè)計(jì)電能計(jì)量與分析自動(dòng)化系統(tǒng)，將其總體架構(gòu)分為五部分:終端設(shè)備、網(wǎng)絡(luò)通信模塊、前置采集模塊、電能計(jì)量與分析模塊和電能計(jì)量業(yè)務(wù)應(yīng)用。并對(duì)電能計(jì)量與分析模塊進(jìn)行詳細(xì)設(shè)計(jì)，包括電能數(shù)據(jù)解析、電能數(shù)據(jù)存儲(chǔ)以及電能計(jì)量與分析，介紹其中所涉及到的技術(shù)HDFS和Spark的作用。
　　2.實(shí)現(xiàn)電能計(jì)量與分析模塊中電能計(jì)量的功能，

4、研究現(xiàn)有電能計(jì)量的算法，包括電量、負(fù)載率、功率因素和三相不平衡率計(jì)量算法，并對(duì)其中的電量計(jì)量設(shè)計(jì)并行計(jì)算算法，給出算法思想，將并行算法加以實(shí)現(xiàn)，給出詳細(xì)的Spark RDD轉(zhuǎn)化圖。
　　3.利用聚類分析算法k-means對(duì)用戶用電量進(jìn)行分析，研究了k-means算法的思想，并對(duì)k-means算法進(jìn)行并行化，描述Spark并行實(shí)現(xiàn)k-means的過程。
　　4.對(duì)電量并行計(jì)算算法進(jìn)行性能分析，研究數(shù)據(jù)量不變的情況下，集群中1個(gè)