基于計(jì)數(shù)的數(shù)據(jù)流頻繁項(xiàng)挖掘算法研究.pdf

1、隨著計(jì)算機(jī)信息技術(shù)的不斷發(fā)展,在網(wǎng)絡(luò)異常檢測(cè)、實(shí)時(shí)交易信息、傳感器監(jiān)控等領(lǐng)域中,一種被稱(chēng)為數(shù)據(jù)流的新的數(shù)據(jù)處理模型被提出。其中涉及的熱點(diǎn)問(wèn)題之一就是針對(duì)數(shù)據(jù)流模型的頻繁項(xiàng)(頻繁項(xiàng)集)的挖掘算法。由于數(shù)據(jù)流具有大量及高速到達(dá)的特性,算法只能對(duì)數(shù)據(jù)進(jìn)行一次處理并且不能保存全部數(shù)據(jù)。因此基于數(shù)據(jù)流環(huán)境下的挖掘算法的設(shè)計(jì)是一類(lèi)極具挑戰(zhàn)意義的工作。本文主要針對(duì)數(shù)據(jù)流頻繁項(xiàng)以及頻繁項(xiàng)集的挖掘展開(kāi)研究,主要內(nèi)容和創(chuàng)新點(diǎn)如下:
　　本文在研究基于

2、計(jì)數(shù)的經(jīng)典算法“Space Saving”后,參考原有簡(jiǎn)單的數(shù)據(jù)模型,提出自己改進(jìn)的思路。算法的核心思想是使用不同策略維護(hù)兩個(gè)樣本集內(nèi)的數(shù)據(jù),隨后通過(guò)更新操作保留頻繁項(xiàng),刪除集合內(nèi)的非頻繁項(xiàng),最終輸出數(shù)據(jù)的Top-k頻繁項(xiàng)。通過(guò)這種方法處理樣本集合,一定程度上避免數(shù)據(jù)初始頻率過(guò)大就必然留存的這一問(wèn)題。通過(guò)實(shí)驗(yàn)證明算法具有較好的挖掘準(zhǔn)確率。
　　然后本文又通過(guò)研究基于FP-tree模型的經(jīng)典靜態(tài)數(shù)據(jù)挖掘算法提出一種改進(jìn)的數(shù)據(jù)結(jié)構(gòu),同