基于Storm的大數(shù)據(jù)流式計(jì)算關(guān)鍵技術(shù)研究及應(yīng)用.pdf

1、大規(guī)模流式計(jì)算作為大數(shù)據(jù)計(jì)算的重要組成部分已被廣泛應(yīng)用于實(shí)時(shí)統(tǒng)計(jì)、實(shí)時(shí)推薦、實(shí)時(shí)監(jiān)控、個(gè)性化服務(wù)等場景中。大數(shù)據(jù)流式計(jì)算與傳統(tǒng)大數(shù)據(jù)批處理在數(shù)據(jù)處理的要求、方法等方面有著明顯差異，因而越來越多的學(xué)者開始專注于大數(shù)據(jù)流式計(jì)算的研究。Apache Storm是當(dāng)前最知名且最具代表性的流式計(jì)算引擎之一。本文基于Storm流式計(jì)算引擎，按照工業(yè)界廣為接受的系統(tǒng)工程方法，將典型大數(shù)據(jù)流式計(jì)算分解為數(shù)據(jù)采集、數(shù)據(jù)計(jì)算和數(shù)據(jù)存儲(chǔ)三個(gè)連續(xù)階段，這三個(gè)階

2、段也構(gòu)成了大數(shù)據(jù)流處理鏈。針對大數(shù)據(jù)流式計(jì)算在當(dāng)前實(shí)際生產(chǎn)中存在的如下問題進(jìn)行研究，首先，數(shù)據(jù)采集有如下問題和難點(diǎn):(1)傳統(tǒng)數(shù)據(jù)采集方式中采集系統(tǒng)與數(shù)據(jù)源具有極高的耦合性且存在訪問不可控問題;(2)每個(gè)數(shù)據(jù)源維護(hù)獨(dú)立的采集管道，數(shù)據(jù)采集接口眾多且格式混亂，采集接口難以擴(kuò)展且不易維護(hù);(3)分布式環(huán)境下難以集成多源異構(gòu)數(shù)據(jù)源。其次，基于Storm的數(shù)據(jù)計(jì)算有如下問題:(1)流式計(jì)算要求系統(tǒng)能夠應(yīng)對數(shù)據(jù)流速的突發(fā)性變化，而Storm缺乏對

3、這種不確定數(shù)據(jù)流的動(dòng)態(tài)匹配的能力;(2)當(dāng)系統(tǒng)過載時(shí)，Storm出現(xiàn)數(shù)據(jù)計(jì)算延遲顯著增加，系統(tǒng)不穩(wěn)定的情況;(3)Storm對于拓?fù)滟Y源的重新分配必須先暫停系統(tǒng)，這可能會(huì)導(dǎo)致更長的數(shù)據(jù)計(jì)算延遲和數(shù)據(jù)丟失，此外，資源的分配還受限于拓?fù)溥\(yùn)行前的設(shè)定。最后，數(shù)據(jù)存儲(chǔ)有如下難點(diǎn):(1)即使采用了連接池技術(shù)來適應(yīng)高并發(fā)的Strom實(shí)時(shí)流數(shù)據(jù)轉(zhuǎn)儲(chǔ)（例如HBase提供的連接池HtablePool等），其寫入性能仍然無法滿足需求;(2)持久層寫入的IO

4、阻塞或錯(cuò)誤可能會(huì)導(dǎo)致系統(tǒng)性能的劇烈變化。
　　針對以上問題，本文以實(shí)驗(yàn)室承擔(dān)的某省面向電梯產(chǎn)業(yè)聯(lián)盟的云制造服務(wù)平臺(tái)重大科技專項(xiàng)項(xiàng)目為背景，以搭建云制造平臺(tái)實(shí)時(shí)監(jiān)控系統(tǒng)為目標(biāo)，以優(yōu)化大數(shù)據(jù)流式計(jì)算為核心，從大數(shù)據(jù)流式計(jì)算的特征切入，圍繞大數(shù)據(jù)流處理鏈的數(shù)據(jù)采集、數(shù)據(jù)計(jì)算和數(shù)據(jù)存儲(chǔ)三個(gè)階段對基于Storm的大數(shù)據(jù)流式計(jì)算關(guān)鍵技術(shù)進(jìn)行研究，解決了上述難點(diǎn)及問題，并應(yīng)用研究內(nèi)容實(shí)現(xiàn)了云制造平臺(tái)實(shí)時(shí)監(jiān)控系統(tǒng)，為云制造平臺(tái)提供實(shí)時(shí)監(jiān)控服務(wù)。與

5、同類型的工作相比，本文主要具有以下貢獻(xiàn):
　　(1)對于數(shù)據(jù)采集，本文提出了流式數(shù)據(jù)分層采集策略，實(shí)現(xiàn)了分布式環(huán)境多源異構(gòu)數(shù)據(jù)源的集成和采集進(jìn)程的容錯(cuò)，統(tǒng)一了數(shù)據(jù)采集接口，解決了數(shù)據(jù)采集系統(tǒng)與數(shù)據(jù)源的高耦合問題和訪問不可控問題，并在該策略基礎(chǔ)上對數(shù)據(jù)采集工具Flume的負(fù)載均衡方法進(jìn)行優(yōu)化，提出了一種基于分組的雙層哈希負(fù)載均衡方法，該方法能夠降低分布式節(jié)點(diǎn)的數(shù)據(jù)遷移率并使系統(tǒng)整體的負(fù)載盡可能公平。實(shí)驗(yàn)結(jié)果表明，該負(fù)載均衡方法能夠提

6、高32％吞吐量，數(shù)據(jù)遷移率降到2％。
　　(2)對于數(shù)據(jù)計(jì)算，本文針對Storm流式計(jì)算引擎在系統(tǒng)過載時(shí)表現(xiàn)出的數(shù)據(jù)計(jì)算延遲顯著增加、系統(tǒng)不穩(wěn)定以及缺乏大數(shù)據(jù)流量動(dòng)態(tài)匹配能力等問題，設(shè)計(jì)并實(shí)現(xiàn)了三種優(yōu)化方法，分別是動(dòng)態(tài)逐級反壓策略、無感知拓?fù)涮鎿Q機(jī)制和并行數(shù)據(jù)回流方法。實(shí)驗(yàn)結(jié)果表明，優(yōu)化后的引擎與Storm默認(rèn)實(shí)現(xiàn)的引擎相比:(i)能有效提高系統(tǒng)吞吐量，最優(yōu)情況下提高10％～25％，最差情況下與Storm默認(rèn)實(shí)現(xiàn)接近相等;(ii)

7、能有效改善數(shù)據(jù)計(jì)算延遲，最優(yōu)情況下提高25％的處理時(shí)間，并能夠抑制系統(tǒng)負(fù)載振蕩;(iii)用戶無感知地進(jìn)行資源動(dòng)態(tài)調(diào)整，系統(tǒng)無需暫停且資源的分配不受限于拓?fù)溥\(yùn)行前的設(shè)定。
　　(3)對于數(shù)據(jù)存儲(chǔ)，本文提出了面向Storm轉(zhuǎn)儲(chǔ)的延遲持久化存儲(chǔ)優(yōu)化方法，包括延遲持久化存儲(chǔ)機(jī)制和分批提交優(yōu)化方法。實(shí)驗(yàn)結(jié)果表明，延遲持久化存儲(chǔ)機(jī)制可以將針對磁盤的IO讀寫延遲到數(shù)據(jù)處理之外，提高持久層的寫入性能并屏蔽數(shù)據(jù)存儲(chǔ)性能對流式計(jì)算引擎的影響;針對寫