基于最大頻繁項目集的數(shù)據(jù)挖掘關(guān)聯(lián)規(guī)則算法研究.pdf

1、數(shù)據(jù)挖掘是致力于數(shù)據(jù)分析和理解、揭示數(shù)據(jù)內(nèi)部蘊藏知識的技術(shù)，它成為未來信息技術(shù)應(yīng)用的重要目標(biāo)之一。經(jīng)過十幾年的努力，數(shù)據(jù)挖掘產(chǎn)生了許多新概念和方法。特別是最近幾年，一些基本概念和方法趨于清晰，它的研究正向著更深入的方向發(fā)展。像其它新技術(shù)的發(fā)展歷程一樣，數(shù)據(jù)挖掘技術(shù)也必須經(jīng)過概念提出、概念接受、廣泛研究和探索、逐步應(yīng)用和大量應(yīng)用等階段。從目前的現(xiàn)狀看，大部分學(xué)者認為數(shù)據(jù)挖掘的研究仍然處于廣泛研究和探索階段，迫切需要在基礎(chǔ)理論、應(yīng)用模式、系

2、統(tǒng)構(gòu)架以及挖掘算法和挖掘語言等方面進行創(chuàng)新。關(guān)聯(lián)規(guī)則挖掘是數(shù)據(jù)挖掘中成果頗豐而且比較活躍的研究分支，留給研究者的是更深入的課題。面對大型數(shù)據(jù)庫，關(guān)聯(lián)規(guī)則挖掘需要在挖掘效率、可用性、精確性等方面得到提升。因此，需要探索新的挖掘理論和模型；需要對一些傳統(tǒng)的算法進行改進；也需要研究新的更有效的算法等。鑒于目前數(shù)據(jù)挖掘技術(shù)和關(guān)聯(lián)規(guī)則挖掘研究的現(xiàn)狀和發(fā)展趨勢，本文選擇了基于最大頻繁項目集的關(guān)聯(lián)規(guī)則算法作為研究對象，并開展相關(guān)工作。
　　

3、本文針對客戶數(shù)據(jù)庫海量數(shù)據(jù)挖掘時間問題，為提高挖掘效率，從多方面滿足用戶分析數(shù)據(jù)的需求，論文借鑒了基于FP-tree最大頻繁項目集挖掘DMFIA算法的相關(guān)思想，通過使用不同的數(shù)據(jù)分析方法，并靈活調(diào)整最小支持度數(shù)，提出了一種新的基于客戶數(shù)據(jù)庫的最大頻繁項目集算法，可以從不同的角度分析數(shù)據(jù)，有效地減少了算法的執(zhí)行時間。通過進一步分析發(fā)現(xiàn)原DMFIA算法和基于客戶數(shù)據(jù)庫的最大頻繁項目集算法不能有效地解決客戶序列視圖數(shù)據(jù)庫的數(shù)據(jù)挖掘問題，針對這

4、一問題，借鑒以上算法相關(guān)思想，結(jié)合序列模式提出了一種新的基于序列模式的項目級最大頻繁序列集算法，即將大于或等于最小支持度數(shù)s的項目按支持度由小到大的順序開始做循環(huán)運算，但在對MFCSd進行循環(huán)運算時，若MFCSd中的元素，即以客戶序列為單位的每一項，若所包含事務(wù)的項目支持度均大于或等于進行循環(huán)運算的某一頻繁項目支持度數(shù)，提取出來形成MFCSk；對MFCSk中以客戶序列為單位的每一項，則統(tǒng)計該客戶序列在備份MFCS的支持度數(shù)flag，如果

5、flag＞=s'(通常s=s')，則直接將該客戶序列輸出到最大頻繁序列集MFSd，否則將MFCSd該客戶序列中的事務(wù)相互組合形成集合，然后提取集合中所有元素，逐一進行循環(huán)運算；算法的時間復(fù)雜度將取決于對MFCSd進行多次循環(huán)運算，何時MFCSd為空，因此這是決定算法執(zhí)行時間的關(guān)鍵。基于序列模式的事務(wù)級最大頻繁序列集算法是在基于序列模式的項目級最大頻繁序列集算法的基礎(chǔ)上的進一步研究，即將以事務(wù)為單位的每一項，即取大于或等于最小支持度數(shù)s的

6、事務(wù)按支持度由小到大的順序，以類似于基于序列模式的項目級最大頻繁序列集算法逐一循環(huán)計算的方式挖掘數(shù)據(jù)庫中的數(shù)據(jù)。接著，本文闡述了挖掘最大頻繁項目序列集ISS_DM算法，針對該算法不能有效地解決客戶序列視圖數(shù)據(jù)庫的數(shù)據(jù)挖掘問題，結(jié)合序列模式提出了改進ISS_DM算法，并進行了相應(yīng)的驗證，結(jié)果表明，在進行相同數(shù)據(jù)量的算法執(zhí)行時間對比實驗中，改進算法執(zhí)行時間明顯優(yōu)于原算法。最后，針對數(shù)據(jù)倉庫領(lǐng)域的數(shù)據(jù)挖掘問題，將基于序列模式的項目級最大頻繁序

7、列集算法和改進ISS_DM算法分別同數(shù)據(jù)倉庫的多維模型相結(jié)合，提出了針對數(shù)據(jù)倉庫多維模型的基于序列模式的項目級最大頻繁序列集算法和改進ISS_DM算法。
　　 總之，本文通過對基于FP-tree的最大頻繁項目集的DMFIA算法和ISS_DM算法的研究，針對數(shù)據(jù)庫領(lǐng)域的客戶序列視圖數(shù)據(jù)庫數(shù)據(jù)挖掘問題及數(shù)據(jù)倉庫領(lǐng)域的多維模型，提出了一系列創(chuàng)新算法。實踐表明，算法有較好的實用性、可操作性和創(chuàng)新性，具有較好的理論價值，所設(shè)計的算法在挖掘