基于Spark的電力系統(tǒng)日志數(shù)據(jù)的分析處理.pdf

1、隨著電力調(diào)度自動化系統(tǒng)規(guī)模的不斷擴大，電力系統(tǒng)需要實時處理的日志數(shù)據(jù)急劇增加。受到磁盤性能的影響，數(shù)據(jù)未能及時處理，產(chǎn)生延遲而無法滿足實時性的需求，必須借助內(nèi)存的處理能力。近年來，隨著云計算、大數(shù)據(jù)技術(shù)的迅猛發(fā)展，運用大數(shù)據(jù)技術(shù)從海量的實時日志數(shù)據(jù)中獲取潛在有用的信息已經(jīng)得到了各方面廣泛的關(guān)注。Spark就是其中脫穎而出的開源計算框架，Spark Streaming作為其上層工具，提供基于間隔的實時處理功能，能夠滿足調(diào)度自動化系統(tǒng)對某個

2、時間段內(nèi)實時數(shù)據(jù)的處理需求。然而受到數(shù)據(jù)流接收速率以及其他操作環(huán)境變化的影響，靜態(tài)的批間隔以及塊間隔將會導(dǎo)致較高的端到端延遲和處理時間，甚至引起系統(tǒng)的不穩(wěn)定。本文針對Spark Streaming存在的問題，對其間隔的影響進(jìn)行了深入的研究。
　　本文深入分析了Spark Streaming的處理流程，結(jié)合當(dāng)前電力調(diào)度自動化系統(tǒng)日志數(shù)據(jù)流的特點，通過日志數(shù)據(jù)記錄和字段的過濾，減少系統(tǒng)預(yù)處理的時間。針對批間隔對單查詢?nèi)蝿?wù)端到端延遲的影

3、響，提出了基于定點迭代的動態(tài)調(diào)整算法，快速收斂到最優(yōu)的批間隔，減小單查詢?nèi)蝿?wù)端到端的延遲?？紤]到塊間隔和運算相關(guān)性對多查詢?nèi)蝿?wù)處理時間的影響，提出基于貪心算法的塊間隔動態(tài)調(diào)整策略和基于相關(guān)性的合并算法，減少多查詢?nèi)蝿?wù)的處理時間。對于實時計算所得的日志數(shù)據(jù)，給出了基于分布式數(shù)據(jù)庫HBase日志數(shù)據(jù)存儲的RowKey格式和表結(jié)構(gòu)設(shè)計，并優(yōu)化HBase的讀寫性能，為后續(xù)的查詢分析提供支持。
　　本文在現(xiàn)有Spark Streaming基