基于數(shù)據(jù)流的Top-K頻繁閉項(xiàng)集挖掘算法研究.pdf

1、隨著實(shí)時監(jiān)控系統(tǒng)數(shù)據(jù)流、網(wǎng)絡(luò)應(yīng)用中的網(wǎng)頁記錄和點(diǎn)擊流等動態(tài)的應(yīng)用環(huán)境中，不斷產(chǎn)生海量的、時序的、實(shí)時變化和潛在無限的數(shù)據(jù)流，對數(shù)據(jù)流的挖掘已經(jīng)成為數(shù)據(jù)挖掘的研究熱點(diǎn)之一，人們對數(shù)據(jù)流挖掘的各個方面進(jìn)行了研究。
　　 由于有趣的關(guān)聯(lián)規(guī)則是由項(xiàng)集推出的，因此頻繁項(xiàng)集和頻繁閉項(xiàng)集也是被關(guān)注的主要方面。本文就是對持續(xù)到來的事務(wù)數(shù)據(jù)流中，在衰減滑動窗口模型下，進(jìn)行挖掘算法的檢驗(yàn)進(jìn)而得到最精確的近似頻繁閉項(xiàng)集，試驗(yàn)證明本文提出的算法是對在線

2、數(shù)據(jù)流的一個有效的，單遍的掃描算法。針對數(shù)據(jù)流中的top-k頻繁閉項(xiàng)集挖掘，本文主要有以下內(nèi)容：
　　 1.本文分析了數(shù)據(jù)挖掘在數(shù)據(jù)流中的應(yīng)用，分析了在數(shù)據(jù)流中挖掘頻繁項(xiàng)集的Moment和FP-stream等經(jīng)典算法，以及由Hua-Fu Li提出的在數(shù)據(jù)流中挖掘top-k頻繁閉項(xiàng)集的TKC-DS算法，從而對數(shù)據(jù)流中閉項(xiàng)集的挖掘有了很好的理解。
　　 2.本文提出了滑動衰減窗口機(jī)制，即在滑動窗口(SW)基礎(chǔ)上，把其等分為b

3、個基本滑動窗口BW，給定每個BW一個衰減因子α，使得在具有衰減因子的數(shù)據(jù)流滑動窗口上挖掘頻繁閉項(xiàng)集有了更加準(zhǔn)確的結(jié)果；提出支持度的更新計數(shù)方法，使得最小支持度計數(shù)隨著數(shù)據(jù)流的具體情況進(jìn)行增量更新，用戶也不用設(shè)置支持度閾值，這樣就避免了由用戶給定最小支持度閾值的盲目和隨機(jī)性。
　　 3.使用改進(jìn)的窗口和支持度更新方法，用位向量來表示項(xiàng)集，并且對數(shù)據(jù)庫中的項(xiàng)賦予權(quán)重，提出候選項(xiàng)集改進(jìn)算法，候選項(xiàng)集的改進(jìn)方法是由兩部分組成的，即否定邊

4、界Bd-(X)和事務(wù)Td的不完全子集subset(Td)，subset(Td)即是指除了已經(jīng)存在于HTC中的閉項(xiàng)集之外的子集組成的。
　　 本文在前人研究的基礎(chǔ)上提出了改進(jìn)的頻繁閉項(xiàng)集挖掘算法Top-k-FCI，此算法運(yùn)用了基本衰減滑動窗口機(jī)制，支持度的增量更新方法進(jìn)行實(shí)時剪枝，并且運(yùn)用了候選項(xiàng)集的選擇進(jìn)行閉項(xiàng)集FCI的挖掘，在準(zhǔn)確度和近似挖掘結(jié)果上有了很大的改進(jìn)。在滑動窗口中得到精確的頻繁閉項(xiàng)集是一項(xiàng)非常消耗時間和內(nèi)存需求的工