基于Hadoop技術(shù)的電網(wǎng)線損分析系統(tǒng)研究與實(shí)現(xiàn).pdf

1、線路損耗，簡(jiǎn)稱線損，是電能通過(guò)輸電線路傳輸而產(chǎn)生的能量損耗。線損率的大小集中反映電力公司電網(wǎng)的規(guī)劃、檢修、調(diào)度、營(yíng)銷水平。線損是電網(wǎng)發(fā)展的重要經(jīng)濟(jì)技術(shù)指標(biāo)，降低線損能顯著提升電力公司經(jīng)濟(jì)效益。
　　傳統(tǒng)的線損分析系統(tǒng)基于關(guān)系數(shù)據(jù)庫(kù)Oracle架構(gòu)，系統(tǒng)在處理電壓電表等海量電網(wǎng)運(yùn)行數(shù)據(jù)計(jì)算電網(wǎng)線損時(shí)，在數(shù)據(jù)同步、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)反饋等環(huán)節(jié)存在效率低下，無(wú)法滿足線損應(yīng)用需求的問(wèn)題。迫切需要研究新型的線損系統(tǒng)處理架構(gòu)。
　

2、　本文為了解決上述線損系統(tǒng)分析的主要問(wèn)題，在以下兩方面作了研究工作:
　　1、基于Hadoop技術(shù)的線損分析系統(tǒng)分析與設(shè)計(jì):在研究Hadoop大數(shù)據(jù)技術(shù)和線損分析業(yè)務(wù)基礎(chǔ)之上，對(duì)系統(tǒng)功能進(jìn)行總體和詳細(xì)設(shè)計(jì)。
　　1)、設(shè)計(jì)了基于分布式并行抽取技術(shù)Sqoop的電網(wǎng)臺(tái)帳及運(yùn)行數(shù)據(jù)的數(shù)據(jù)集成方法，實(shí)現(xiàn)電網(wǎng)線損分析數(shù)據(jù)從關(guān)系數(shù)據(jù)庫(kù)到分布式數(shù)據(jù)倉(cāng)庫(kù)的快速抽取與集成。
　　2)、在Hadoop組件Hive和HBase上，設(shè)計(jì)了行列

3、并存、行列自動(dòng)轉(zhuǎn)換的電網(wǎng)線損數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)，滿足了電網(wǎng)線損分析業(yè)務(wù)的定時(shí)批量計(jì)算和即時(shí)查詢的計(jì)算需求。
　　3)、設(shè)計(jì)了基于模版技術(shù)的線損計(jì)算任務(wù)編排方法，實(shí)現(xiàn)線損計(jì)算流程和業(yè)務(wù)計(jì)算邏輯的松耦合，并在分布式數(shù)據(jù)倉(cāng)庫(kù)Hive上實(shí)現(xiàn)了線損計(jì)算的并行化運(yùn)行。
　　4)、設(shè)計(jì)了同步（數(shù)據(jù)即時(shí)回寫）及異步（服務(wù)調(diào)用）相結(jié)合的線損分析結(jié)果數(shù)據(jù)數(shù)據(jù)反饋方法，解決了海量結(jié)果數(shù)據(jù)及小批量結(jié)果數(shù)據(jù)的反饋問(wèn)題。
　　2、線損系統(tǒng)實(shí)現(xiàn)及測(cè)試:

4、在線損分析功能總體設(shè)計(jì)及詳細(xì)設(shè)計(jì)基礎(chǔ)上，利用開源Hadoop技術(shù)，搭建了分布式計(jì)算集群，實(shí)現(xiàn)了線損分析系統(tǒng)，并對(duì)系統(tǒng)進(jìn)行了測(cè)試及驗(yàn)證，測(cè)試結(jié)果表明，基于Hadoop技術(shù)的電網(wǎng)線損分析系統(tǒng)，相比于基于傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)架構(gòu)的計(jì)算系統(tǒng)性能提升顯著，有6倍的性能提升。
　　通過(guò)上述研究工作，本文設(shè)計(jì)并實(shí)現(xiàn)的基于大數(shù)據(jù)技術(shù)Hadoop的線損分析系統(tǒng)有效解決了線損分析處理效率及時(shí)效性不滿足業(yè)務(wù)需求的問(wèn)題，為電網(wǎng)線損精益化管理提供了信息系統(tǒng)技術(shù)支