高擴(kuò)展高容錯(cuò)流式處理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來(lái)各種應(yīng)用產(chǎn)生的數(shù)據(jù)呈爆炸性增長(zhǎng)，其中很大一部分是實(shí)時(shí)產(chǎn)生的數(shù)據(jù)，具有無(wú)限性、無(wú)序性、突發(fā)性、易失性等特點(diǎn)，并且通常數(shù)據(jù)的價(jià)值隨時(shí)間而減少。如何為這些需要實(shí)時(shí)分析處理的數(shù)據(jù)提供穩(wěn)定、正確、高效、實(shí)時(shí)的分布式運(yùn)行環(huán)境成為一個(gè)值得仔細(xì)研究的問(wèn)題。
　　流式處理系統(tǒng)旨在解決這一問(wèn)題，但現(xiàn)有的流式處理系統(tǒng)還有許多可以改進(jìn)的地方。本文在吸收這些系統(tǒng)的設(shè)計(jì)經(jīng)驗(yàn)的基礎(chǔ)上結(jié)合對(duì)流式系統(tǒng)的理解設(shè)計(jì)實(shí)現(xiàn)了高擴(kuò)展、高容錯(cuò)的流式處理系統(tǒng)DStream

2、，主要工作如下:
　　總體架構(gòu)采用主從方式和無(wú)狀態(tài)設(shè)計(jì)，主節(jié)點(diǎn)和工作節(jié)點(diǎn)主要通過(guò)分布式協(xié)調(diào)服務(wù)進(jìn)行通信，避免功能模塊相互耦合，提供設(shè)計(jì)良好的任務(wù)模型方便應(yīng)用開(kāi)發(fā)。這些設(shè)計(jì)為系統(tǒng)的擴(kuò)展性和容錯(cuò)性設(shè)計(jì)打下了堅(jiān)實(shí)的基礎(chǔ)。
　　擴(kuò)展性方面提供從集群節(jié)點(diǎn)、處理邏輯、任務(wù)配置到任務(wù)運(yùn)行一整套環(huán)節(jié)的擴(kuò)展性支持:支持工作節(jié)點(diǎn)動(dòng)態(tài)增刪以調(diào)整集群資源;支持處理邏輯、任務(wù)配置更新并實(shí)時(shí)檢測(cè)在線(xiàn)更新，為應(yīng)用迭代開(kāi)發(fā)提供了良好支持;靈活應(yīng)對(duì)流速變化的

3、數(shù)據(jù)，既保證系統(tǒng)不因數(shù)據(jù)過(guò)多而崩潰又提供措施使系統(tǒng)資源動(dòng)態(tài)分配以滿(mǎn)足處理需求。
　　容錯(cuò)性方面系統(tǒng)支持物理節(jié)點(diǎn)、執(zhí)行單元以及任務(wù)執(zhí)行等各環(huán)節(jié)的容錯(cuò):每個(gè)功能模塊都有措施應(yīng)對(duì)其節(jié)點(diǎn)出錯(cuò);執(zhí)行單元出錯(cuò)后系統(tǒng)檢測(cè)到并進(jìn)行重新調(diào)度;任務(wù)執(zhí)行時(shí)系統(tǒng)提供數(shù)據(jù)至多處理一次、至少處理一次以及恰好處理一次的容錯(cuò)性支持，極大的提高了系統(tǒng)的適用范圍，為用戶(hù)提供效率和容錯(cuò)性級(jí)別之間的選擇。
　　文章最后通過(guò)基于DStream流式處理系統(tǒng)實(shí)現(xiàn)的應(yīng)用場(chǎng)