增量數(shù)據(jù)挖掘算法LIUA的設(shè)計及應(yīng)用.pdf

1、近年來，數(shù)據(jù)挖掘技術(shù)的研究引起了國際人工智能和數(shù)據(jù)庫等領(lǐng)域?qū)＜遗c學(xué)者的廣泛關(guān)注。在事務(wù)數(shù)據(jù)庫中挖掘關(guān)聯(lián)規(guī)則是數(shù)據(jù)挖掘領(lǐng)域中的一個非常重要的研究課題。目前以Apriori算法為基礎(chǔ)所推導(dǎo)出的各種數(shù)據(jù)挖掘技術(shù)，大多是針對靜態(tài)的數(shù)據(jù)，從中挖掘出用戶感興趣的關(guān)聯(lián)規(guī)則。這種方法雖然實現(xiàn)簡單，但是它沒有充分利用已經(jīng)獲得的發(fā)現(xiàn)結(jié)果，太浪費計算時間及硬件I/O，因此效率非常低下。 本文所提出的LIUA算法充分利用已經(jīng)獲得的發(fā)現(xiàn)結(jié)果，將已經(jīng)挖掘過

2、的數(shù)據(jù)科學(xué)地、妥善地處理及保存，使得新增數(shù)據(jù)時能重復(fù)利用，這樣大大提高了時效，在商業(yè)運用上非常有價值。 1.研究了挖掘關(guān)聯(lián)規(guī)則的經(jīng)典算法Apriori以及常用的幾種增量關(guān)聯(lián)規(guī)則的挖掘算法FUP、IUA，分析了它們的執(zhí)行效率，指出了其效率低下的主要原因是由于多次迭代掃描、每次迭代產(chǎn)生數(shù)目更大的頻繁集造成的。 2.在分析總結(jié)了原有算法的基礎(chǔ)上，提出了LIUA算法。該算法只掃描一次數(shù)據(jù)庫，就能把符合要求的關(guān)聯(lián)規(guī)則挖掘出來，擺脫

3、了傳統(tǒng)算法多次迭代的不足，采用以空間換取時間的技術(shù)，大大提高了挖掘效率。同時將挖掘出來的結(jié)果有效地保存，以便下次增量挖掘時充分利用，而且還可以減少傳統(tǒng)挖掘算法“少挖”、“漏挖”的現(xiàn)象。 3.實現(xiàn)了LIUA算法。通過對其測試結(jié)果與Apriori算法的測試結(jié)果進行比較，進一步證明了該算法的高效性以及挖掘的充分性。 文中描述了LIUA算法處理AVIM系統(tǒng)收集的數(shù)據(jù)的過程，對挖掘出的關(guān)聯(lián)規(guī)則進行了分析，并用來指導(dǎo)人們的生活，指出