面向數(shù)據(jù)流的關(guān)聯(lián)規(guī)則挖掘精確度研究.pdf

1、當(dāng)今時(shí)代是信息的時(shí)代是數(shù)字化的時(shí)代,隨著通信、互聯(lián)網(wǎng)的發(fā)展,社會(huì)各行各業(yè)存儲(chǔ)的數(shù)據(jù)越來(lái)越龐大,在這種背景下,一種新的數(shù)據(jù)形式——數(shù)據(jù)流引起了計(jì)算機(jī)從業(yè)人員的關(guān)注。如何在海洋一樣廣闊的數(shù)據(jù)流中準(zhǔn)確的挖掘有價(jià)值的信息成為了數(shù)據(jù)挖掘研究工作新的挑戰(zhàn)。面向數(shù)據(jù)流的關(guān)聯(lián)規(guī)則挖掘是數(shù)據(jù)挖掘的新形式,近些年來(lái)的研究熱點(diǎn),被廣泛的應(yīng)用于網(wǎng)絡(luò)通信、設(shè)備維護(hù)、證券交易等領(lǐng)域,對(duì)于社會(huì)的生產(chǎn)和日常生活有著重要的意義。
　　 數(shù)據(jù)挖掘工作者對(duì)數(shù)據(jù)流的關(guān)

2、聯(lián)規(guī)則挖掘工作展開(kāi)了大量的相關(guān)研究,對(duì)數(shù)據(jù)挖掘的思想、流程、算法提出了許多新的設(shè)計(jì)。然而這些方法大都把主要的研究工作放在了挖掘的過(guò)程、數(shù)據(jù)處理等方面,忽略了對(duì)于關(guān)聯(lián)規(guī)則挖掘結(jié)果精確度的關(guān)注,同時(shí)在對(duì)挖掘過(guò)程的設(shè)計(jì)中,對(duì)于數(shù)據(jù)準(zhǔn)確性的研究也比較有限。數(shù)據(jù)挖掘的目的是獲得可信的、準(zhǔn)確的、有價(jià)值的信息,由于在數(shù)據(jù)流環(huán)境下的挖掘只能夠得到近似的挖掘結(jié)果,因此,挖掘結(jié)果的精確度將是評(píng)價(jià)挖掘的關(guān)鍵指標(biāo)。
　　 本文圍繞著提高挖掘結(jié)果精確度的

3、目的,提出了面向數(shù)據(jù)流的關(guān)聯(lián)規(guī)則挖掘的方法,在數(shù)據(jù)流的獲取、處理以及信息的發(fā)現(xiàn)等挖掘流程的設(shè)計(jì)過(guò)程中,從處理細(xì)節(jié)入手,將提高挖掘精確度的思想貫穿其中。本文對(duì)數(shù)據(jù)流關(guān)聯(lián)規(guī)則挖掘的工作主要分為三個(gè)部分的研究成果:數(shù)據(jù)獲取部分、數(shù)據(jù)存儲(chǔ)部分和數(shù)據(jù)挖掘部分,圍繞著如何提高挖掘精確度,對(duì)每一個(gè)部分的設(shè)計(jì)進(jìn)行了詳細(xì)的描述。
　　 首先,在數(shù)據(jù)獲取部分提出了使用滑動(dòng)時(shí)間窗口模型獲取數(shù)據(jù),并按照每個(gè)窗口將數(shù)據(jù)流分割成為事務(wù)形式,這個(gè)模型既符合了

4、數(shù)據(jù)流的特點(diǎn),又滿足了頻繁項(xiàng)集挖掘?qū)?shù)據(jù)的要求。
　　 其次,數(shù)據(jù)存儲(chǔ)模型由數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)、數(shù)據(jù)更新算法和最大誤差的選取三部分組成。通過(guò)對(duì)經(jīng)典算法FP-growth算法中FP樹(shù)的改進(jìn),本文提出了一個(gè)新的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)FP-Atree,這個(gè)存儲(chǔ)結(jié)構(gòu)符合了只能一遍讀取數(shù)據(jù)的數(shù)據(jù)環(huán)境要求,節(jié)省了數(shù)據(jù)存儲(chǔ)空間,簡(jiǎn)化了數(shù)據(jù)邏輯,壓縮了存儲(chǔ)體積。數(shù)據(jù)更新算法把整個(gè)數(shù)據(jù)存儲(chǔ)時(shí)間劃分為多個(gè)時(shí)間框,在時(shí)間框結(jié)束時(shí)對(duì)FP-Atree進(jìn)行剪枝,刪除支持度

5、小于最大誤差的項(xiàng)集,從而保證了有限的空間資源的到充分的利用,避免了因?yàn)閿?shù)據(jù)流的無(wú)邊界性而導(dǎo)致的存儲(chǔ)數(shù)據(jù)的無(wú)限擴(kuò)張。
　　 第三部分為最大誤差的選取,研究中使用了多項(xiàng)式近似的策略,發(fā)現(xiàn)了最大誤差與環(huán)境資源參數(shù)之間的關(guān)系,既有效地控制了空間資源,又盡量避免了有效信息的丟失,為提高挖掘結(jié)果精確度提供了保障。數(shù)據(jù)挖掘模型的主要意義在于提高了挖掘精確度,在這一模型中本文提出了基于滑動(dòng)時(shí)間窗口的新閾值,最小支持度閩值S經(jīng)過(guò)修正,每個(gè)項(xiàng)集都有