大規(guī)模數(shù)據(jù)流的頻繁模式挖掘方法的研究.pdf

1、隨著移動互聯(lián)網(wǎng)的興起，大規(guī)模的數(shù)據(jù)流正在以前所未有的速度和體量在很多不同的應用場景中產(chǎn)生，如電子商務，社交網(wǎng)絡，智慧交通，傳感器網(wǎng)絡等。相較于傳統(tǒng)的離線數(shù)據(jù)挖掘方法，因為數(shù)據(jù)流的特征，處理模型的擴展性，狀態(tài)管理效率，以及負載均衡等問題均對大規(guī)模數(shù)據(jù)流挖掘算法提出了新的要求:1.擴展性:算法需要能夠適應數(shù)據(jù)流量的波動而自動擴展;2.狀態(tài)管理:流信息需要高效的方法來保存和更新狀態(tài);3.負載均衡:針對分布式的環(huán)境下需要一個動態(tài)的負載均衡來保證

2、算法性能的穩(wěn)定。本文以大規(guī)模數(shù)據(jù)流的頻繁模式挖掘為主要研究對象，對數(shù)據(jù)流場景下頻繁模式挖掘方法等若干問題展開了調(diào)研和研究，提出了針對大規(guī)模數(shù)據(jù)流場景下的頻繁模式挖掘算法BPFPMS(Balanced Parallel Frequent Pattern Mining over Massive Data Stream)，其主要包括以下幾個方面的內(nèi)容:
　　1.針對數(shù)據(jù)流的狀態(tài)管理問題，提出了一種DPTS-Tree的結(jié)構(gòu)，這種結(jié)構(gòu)能夠針

3、對大規(guī)模數(shù)據(jù)流進行高效的狀態(tài)維護和更新。相較于傳統(tǒng)的方法，其能夠充分利用歷史狀態(tài)信息來縮減流信息的存儲和更新所產(chǎn)生的負擔。實驗證明其在內(nèi)存占用，狀態(tài)更新，狀態(tài)壓縮等方面都有明顯的優(yōu)勢。
　　2.針對傳統(tǒng)的并行頻繁模式挖掘算法常常出現(xiàn)的負載失衡問題，我們通過調(diào)研數(shù)據(jù)流以及挖掘算法的特征，提出了一種新的動態(tài)負載均衡策略。該策略利用子任務的負載等信息進行均勻負載分配，在大規(guī)模數(shù)據(jù)流處理上具有更好的性能表現(xiàn)，同時也避免了數(shù)據(jù)流狀態(tài)實時變化