基于Hadoop的海量電能質(zhì)量數(shù)據(jù)處理研究.pdf

1、隨著電能質(zhì)量監(jiān)測網(wǎng)規(guī)模的不斷擴大以及電能質(zhì)量監(jiān)測終端的數(shù)據(jù)采集頻率的提高，電能質(zhì)量數(shù)據(jù)也因此爆炸式增長。而當(dāng)前電能質(zhì)量監(jiān)測系統(tǒng)主要是依賴關(guān)系型數(shù)據(jù)庫存儲電能質(zhì)量數(shù)據(jù)并且采用傳統(tǒng)的集中式處理方式對電能質(zhì)量數(shù)據(jù)計算分析，對于日益增長的電能質(zhì)量數(shù)據(jù)，關(guān)系型數(shù)據(jù)庫已顯得越發(fā)力不從心，傳統(tǒng)的集中式處理方式在大規(guī)模數(shù)據(jù)集面前計算效率低，使得分析結(jié)果嚴重滯后。因此如何解決海量電能質(zhì)量數(shù)據(jù)的存儲瓶頸以及提升系統(tǒng)的計算效率已成為當(dāng)前電能質(zhì)量監(jiān)測系統(tǒng)迫切需

2、要解決的問題。
　　本文通過對分布式數(shù)據(jù)庫HBase和Hadoop平臺下的并行編程模型MapReduce、分布式文件系統(tǒng)HDFS等關(guān)鍵技術(shù)的研究，并結(jié)合現(xiàn)有的電能質(zhì)量分析算法，提出基于Hadoop的海量電能質(zhì)量數(shù)據(jù)處理方案，解決當(dāng)前電能質(zhì)量監(jiān)測系統(tǒng)發(fā)展所遇到的瓶頸。本文通過分析電能質(zhì)量基礎(chǔ)數(shù)據(jù)的特點，實現(xiàn)了基礎(chǔ)數(shù)據(jù)在HBase中的存儲模型，而對于分析結(jié)果，由于其數(shù)據(jù)規(guī)模并不大并且為了與原有的Web前端無縫對接，存儲格式保持不變，仍

3、采用原有的關(guān)系型數(shù)據(jù)庫SQL Server2008。對于電能質(zhì)量數(shù)據(jù)分析，通過對現(xiàn)有的電能質(zhì)量基礎(chǔ)數(shù)據(jù)分析算法的改造，實現(xiàn)了在Hadoop平臺下的MapReduce并行處理，同時通過對Hadoop集群中一些參數(shù)的合理配置，提升集群性能，提高MapReduce電能質(zhì)量分析作業(yè)在集群上的并發(fā)執(zhí)行效率。
　　最后本文通過實驗，將基于Hadoop的并行式海量電能質(zhì)量數(shù)據(jù)處理方式與傳統(tǒng)的集中式電能質(zhì)量數(shù)據(jù)處理方式進行對比，驗證了基于Hado