分布式流處理關鍵技術研究與應用.pdf

1、在大數(shù)據(jù)時代，每時每刻都有海量的數(shù)據(jù)流產(chǎn)生。如何在海量的數(shù)據(jù)流中挖掘出有價值的信息是一個值得研究的問題。傳統(tǒng)數(shù)據(jù)流挖掘技術受單機環(huán)境的限制，無法應對海量數(shù)據(jù)流的挑戰(zhàn)。以Spark Streaming為代表的分布式流處理平臺是解決海量數(shù)據(jù)難題的有效工具，但支持分布式計算的數(shù)據(jù)流挖掘算法卻相對匱乏。如何將傳統(tǒng)單機環(huán)境下的數(shù)據(jù)流挖掘算法并行化以適應分布式環(huán)境是本文的研究重點。本文先介紹了數(shù)據(jù)流挖掘的基本概念以及分布式流處理平臺的基本技術，然后

2、針對具體算法提出了并行化改進的方法?？偨Y起來，本文的主要工作有以下幾個方面。
　?。?）基于密度的數(shù)據(jù)流聚類算法 DenStream的并行化改進。DenStream算法只能應用于單機環(huán)境，其吞吐量有限，難以應對海量數(shù)據(jù)的挑戰(zhàn)，因而需要對其進行并行化改進。據(jù)調(diào)研，目前公開發(fā)表的成果中鮮有對DenStream算法進行并行化改進。本文提出的并行化方法重點是對 DenStream算法的在線微簇維護部分進行并行化。并行化改進使用了微批處理的

3、思想，先收集一小段時間內(nèi)到達的數(shù)據(jù)，然后統(tǒng)一進行后續(xù)處理。為了保證節(jié)點計算的獨立性，各節(jié)點計算過程中所需要的全局數(shù)據(jù)被提前分發(fā)到節(jié)點。實驗表明并行化的 DenStream算法在保持了原有精度的情況下，處理速度有較大提高，同時有很強的橫向擴展能力。
　　（2）數(shù)據(jù)流頻繁項集挖掘算法 FP-Stream的并行化改進。在不考慮剪枝的情況下，F(xiàn)P-Stream算法的復雜度與事務平均長度呈O(2n)的關系；當事務平均長度增大時，算法吞吐量急

4、劇下降；所以對其進行并行化改進是十分有必要的。FP-Stream算法使用不剪枝的 FP-Growth算法作為其子流程；利用這一特點，新算法采用特殊的并行化策略實現(xiàn)該步驟的并行化。為了負載均衡，新算法將FP-Stream結構拆分為兩部分，每輪處理中依次更新這兩部分結構。為了確保各節(jié)點間計算的獨立性，全局數(shù)據(jù)都會在每輪處理時分發(fā)到各節(jié)點。實驗表明新算法的處理速度有較大提升，且具有橫向擴展能力。
　?。?）設計并實現(xiàn)了一個分布式流處理平