數(shù)據(jù)流環(huán)境中關(guān)聯(lián)規(guī)則挖掘技術(shù)的研究.pdf

1、在當(dāng)今信息社會(huì)里，各行各業(yè)需要處理的數(shù)據(jù)規(guī)模越來越大，然而數(shù)據(jù)分析技術(shù)嚴(yán)重缺乏，無法在海量的數(shù)據(jù)中發(fā)現(xiàn)數(shù)據(jù)之間隱藏的聯(lián)系，出現(xiàn)了“數(shù)據(jù)多，知識(shí)少”的現(xiàn)象，數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生。數(shù)據(jù)挖掘是從數(shù)據(jù)庫中抽取隱含的、未知的、具有潛在使用價(jià)值信息的過程，其中關(guān)聯(lián)規(guī)則挖掘是該領(lǐng)域的一個(gè)重要研究課題，它是發(fā)現(xiàn)大量數(shù)據(jù)中的項(xiàng)目集之間的隱含的相關(guān)性信息的過程。各種關(guān)聯(lián)規(guī)則挖掘算法雖然思想各不相同，但是大致過程都由挖掘頻繁項(xiàng)集和發(fā)現(xiàn)關(guān)聯(lián)規(guī)則兩個(gè)步驟組成。如

2、何提高挖掘頻繁項(xiàng)集算法的效率和發(fā)現(xiàn)關(guān)聯(lián)規(guī)則結(jié)果的準(zhǔn)確性是研究關(guān)聯(lián)規(guī)則挖掘算法的兩個(gè)核心問題。
　　在過去幾年，隨著關(guān)聯(lián)規(guī)則挖掘技術(shù)研究的不斷深入，頻繁模式挖掘技術(shù)已經(jīng)逐漸成熟，形成了很多經(jīng)典算法。然而隨著信息的爆炸式增長(zhǎng)，實(shí)際應(yīng)用中的數(shù)據(jù)往往以數(shù)據(jù)流的模式存在，數(shù)據(jù)流的的新特點(diǎn)給傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)帶來挑戰(zhàn)。應(yīng)用于數(shù)據(jù)流環(huán)境中的頻繁項(xiàng)集挖掘算法需要能以增量式的方式獲取數(shù)據(jù)并進(jìn)行分析以避免重復(fù)重建知識(shí)庫。FP-Stream是一個(gè)經(jīng)典的

3、數(shù)據(jù)流挖掘算法，實(shí)現(xiàn)了多時(shí)間粒度存儲(chǔ)和高效的動(dòng)態(tài)更新滿足用戶的興趣度查詢，利用特定數(shù)據(jù)結(jié)構(gòu)實(shí)現(xiàn)了大量數(shù)據(jù)的快速挖掘和挖掘結(jié)果的高效存儲(chǔ)。但是該算法對(duì)需進(jìn)入內(nèi)存進(jìn)行分析的數(shù)據(jù)流本身并未進(jìn)行壓縮，如果出現(xiàn)高速事務(wù)流，即單位時(shí)間內(nèi)到達(dá)的數(shù)據(jù)量很大，由于內(nèi)存空間有限，算法無法準(zhǔn)確處理。另一方面，該算法引入的傾斜時(shí)間框架技術(shù)耗費(fèi)內(nèi)存巨大?？梢奆P-Stream算法仍然存在有限內(nèi)存與高速海量數(shù)據(jù)之間的矛盾。本文對(duì)FP-Stream算法進(jìn)行改進(jìn)，將垂

4、直格式Dif-bits壓縮算法的思想融入FP-Stream算法，對(duì)原始事務(wù)流數(shù)據(jù)進(jìn)行垂直壓縮處理，以減少算法對(duì)內(nèi)存的需求，依靠壓縮算法較高的壓縮率使改進(jìn)算法甚至可以處理數(shù)據(jù)量超出內(nèi)存限制的情況。同時(shí)對(duì)傾斜時(shí)間框架進(jìn)行二進(jìn)制位圖和填充變換，進(jìn)一步節(jié)省存儲(chǔ)空間，提高空間性能，最大限度的提高算法處理的數(shù)據(jù)量和處理速度。在關(guān)聯(lián)規(guī)則的發(fā)現(xiàn)階段，改善傳統(tǒng)的最小支持度.置信度框架，引入提升度、余弦和興趣度來擴(kuò)充已有框架，分析關(guān)聯(lián)規(guī)則的相關(guān)性，以避免傳