ToP-K頻繁項(xiàng)集挖掘算法研究.pdf

1、數(shù)據(jù)挖掘是研究從大量數(shù)據(jù)中發(fā)現(xiàn)有用知識的理論與方法，它是目前國際上數(shù)據(jù)庫和信息決策領(lǐng)域的最前沿研究方向之一。關(guān)聯(lián)規(guī)則是數(shù)據(jù)挖掘中一個(gè)較早的、有意義的研究課題之一。在關(guān)聯(lián)規(guī)則的挖掘過程中，頻繁項(xiàng)集挖掘是整個(gè)挖掘過程的基礎(chǔ)，也是整個(gè)挖掘的核心，如何高效和有效的挖掘頻繁項(xiàng)集一直以來就是研究人員關(guān)注的熱點(diǎn)。但是，在實(shí)際應(yīng)用中，由于大數(shù)據(jù)的存在和頻繁項(xiàng)集數(shù)量巨大，從而阻礙了頻繁項(xiàng)集的廣泛應(yīng)用。因此，如何對頻繁項(xiàng)集算法進(jìn)行優(yōu)化和對頻繁項(xiàng)集進(jìn)行壓縮成

2、為了當(dāng)前研究的一個(gè)重要方向。
　　本文首先介紹了數(shù)據(jù)挖掘的相關(guān)背景和當(dāng)前國內(nèi)外研究現(xiàn)狀，隨后簡單的介紹了關(guān)聯(lián)規(guī)則和頻繁項(xiàng)集的基本挖掘技術(shù)，同時(shí)，簡要分析了頻繁項(xiàng)集的壓縮技術(shù)和常用頻繁項(xiàng)集壓縮方法的比較。最后，本文提出了基于貪心策略的Top-K頻繁項(xiàng)集挖掘算法NFIMG算法和由NFIMG算法衍生結(jié)合閉合節(jié)點(diǎn)性質(zhì)剪枝的Top-K閉頻繁項(xiàng)集挖掘算法NCFIMG。
　　(1)本文提出的NFIMG算法。該算法基于貪心策略生成的頻繁鏈表

3、，拋棄了人工對于最小支持度的干預(yù)，只需一次遍歷數(shù)據(jù)庫操作，使用生成即所得的挖掘方式進(jìn)行Top-K頻繁項(xiàng)集的挖掘。并且，文中通過理論證明了該算法的可行性和時(shí)間及空間的優(yōu)越性。最后，通過采用UCI數(shù)據(jù)集對比實(shí)驗(yàn)證明了該算法性能的優(yōu)越。
　　(2)本文提出的挖掘Top-K頻繁閉項(xiàng)集的NCFIMG算法。該算法本質(zhì)上基于本文提出的NFIMG算法，同時(shí)，結(jié)合閉項(xiàng)集的性質(zhì)進(jìn)行挖掘，過程中依據(jù)的“閉合節(jié)點(diǎn)”引理進(jìn)行剪枝操作。之后，本文在理論證明了

4、該算法的正確性，通過對比試驗(yàn)證明了該算法在時(shí)間和空間上優(yōu)越性。同時(shí)，該算法思路清晰，易于實(shí)現(xiàn)，并且可以和NFIMG算法在挖掘過程中進(jìn)行挖掘類型轉(zhuǎn)換。
　　本文對所提出的算法進(jìn)行了廣泛的對比試驗(yàn)。分別在UCI機(jī)器學(xué)習(xí)庫中的多個(gè)數(shù)據(jù)集以及IBM數(shù)據(jù)生成器上生成的數(shù)據(jù)集上進(jìn)行了對比試驗(yàn)。實(shí)驗(yàn)結(jié)果表明，與Apriori，NApriori算法相比，本文所提出的NFIMG算法在空間復(fù)雜性和時(shí)間復(fù)雜性都要略遜一籌。同時(shí)，改進(jìn)算法NCFIMG在與