一種流數(shù)據(jù)頻繁模式挖掘算法的研究與實(shí)現(xiàn).pdf

1、數(shù)據(jù)挖掘，是數(shù)據(jù)庫(kù)研究中的一個(gè)很有應(yīng)用價(jià)值的領(lǐng)域，目的是從大型數(shù)據(jù)庫(kù)中提取隱含的、人們事先不知道的、潛在有用的信息或模式。經(jīng)過(guò)近十幾年的努力，已經(jīng)相當(dāng)成熟。然而，隨著電子商務(wù)、傳感器網(wǎng)絡(luò)、股票數(shù)據(jù)分析等的應(yīng)用，提出一種新的數(shù)據(jù)模型——流數(shù)據(jù)。這些數(shù)據(jù)源源不斷地到來(lái)，只能按順序進(jìn)行處理，因此在流數(shù)據(jù)環(huán)境中進(jìn)行挖掘是一項(xiàng)具有挑戰(zhàn)性的工作，在數(shù)據(jù)庫(kù)應(yīng)用領(lǐng)域有很高的研究?jī)r(jià)值。 本文主要是對(duì)流數(shù)據(jù)中的頻繁項(xiàng)集的挖掘進(jìn)行研究。分析了流數(shù)據(jù)模

2、型與傳統(tǒng)的數(shù)據(jù)模型的區(qū)別、主要的流數(shù)據(jù)處理技術(shù)、當(dāng)前的挖掘任務(wù)等。針對(duì)如何在流數(shù)據(jù)上挖掘頻繁模式這一課題，分析了經(jīng)典的流數(shù)據(jù)挖掘算法FP-stream算法，結(jié)合流數(shù)據(jù)分段理論和滑動(dòng)窗口技術(shù)，采用批處理式挖掘方式，進(jìn)行基于滑動(dòng)窗口的流數(shù)據(jù)頻繁模式挖掘算法DSFP-SW(Data Stream Frequent Pattern based-on Sliding Window)的研究。 DSFP-SW算法是一種批處理式的挖掘算法，先將

3、流數(shù)據(jù)分段，每段作為一個(gè)滑動(dòng)窗口，再將滑動(dòng)窗口劃分為幾個(gè)基本的窗口，利用改進(jìn)的頻繁模式挖掘算法，計(jì)算每個(gè)基本窗口的臨界頻繁項(xiàng)集。為了適應(yīng)流數(shù)據(jù)快速、大量的特性，在頻繁模式樹(shù)的基礎(chǔ)上，改進(jìn)了一種新的前綴樹(shù)結(jié)構(gòu)DSFP-SW-tree來(lái)存儲(chǔ)每個(gè)基本窗口的臨界頻繁項(xiàng)集，樹(shù)中的每個(gè)結(jié)點(diǎn)代表了一個(gè)頻繁項(xiàng)集。隨著滑動(dòng)窗口的更新，更新DSFP-SW-tree。并每隔一段時(shí)間調(diào)用剪枝算法，快速地挖掘滑動(dòng)窗口中所有的頻繁模式。通過(guò)試驗(yàn)把該算法于經(jīng)典的FP