關(guān)聯(lián)規(guī)則挖掘在分類數(shù)據(jù)領(lǐng)域的擴(kuò)展性研究.pdf

1、隨著計(jì)算機(jī)技術(shù)在社會各個領(lǐng)域的廣泛應(yīng)用，人們對信息系統(tǒng)的依賴程度越來越高。面對數(shù)據(jù)豐富而信息匱乏的困境，在統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫技術(shù)、機(jī)器學(xué)習(xí)、人工智能、模式識別和可視化技術(shù)等相關(guān)領(lǐng)域發(fā)展的基礎(chǔ)上，以發(fā)現(xiàn)有用知識為目的的新興交叉學(xué)科-數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生。
　　關(guān)聯(lián)規(guī)則挖掘作為數(shù)據(jù)挖掘領(lǐng)域重要的研究方向之一，由于其在零售交易分析、客戶關(guān)系管理、網(wǎng)絡(luò)入侵檢測、設(shè)備故障診斷、天文光譜分析、蛋白質(zhì)結(jié)構(gòu)分析和軟件缺陷發(fā)現(xiàn)等應(yīng)用領(lǐng)域的廣泛適用性和特

2、有價(jià)值，盡管歷經(jīng)二十多年的發(fā)展，仍然備受企業(yè)和學(xué)術(shù)界的高度關(guān)注，且正在向著新興的研究領(lǐng)域擴(kuò)展。
　　本文通過對關(guān)聯(lián)規(guī)則發(fā)展現(xiàn)狀的系統(tǒng)性研究，選擇了分類數(shù)據(jù)(Taxonomy)這一特殊領(lǐng)域作為擴(kuò)展研究對象。這是因?yàn)榉诸悢?shù)據(jù)作為一種結(jié)構(gòu)化的數(shù)據(jù)不僅普遍存在，而且基于分類數(shù)據(jù)挖掘產(chǎn)生的關(guān)聯(lián)規(guī)則蘊(yùn)含更豐富、更靈活、更具參考價(jià)值的信息，因此該領(lǐng)域的擴(kuò)展性研究對于實(shí)際應(yīng)用和學(xué)術(shù)理論都具有非常特殊且重要的意義。
　　本文的主要研究內(nèi)容如下

3、：
　　首先，本文研究了分類數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘的特殊情形--多層關(guān)聯(lián)規(guī)則挖掘問題，這是基于分類數(shù)據(jù)擴(kuò)展性研究的基礎(chǔ)。本文根據(jù)挖掘遍歷策略的不同，提出了兩種新穎高效的多層關(guān)聯(lián)規(guī)則挖掘方法TD-CBP-MLARM和BU-CBP-MLARM。其基本思想在于，首先利用分類數(shù)據(jù)所屬領(lǐng)域的先驗(yàn)知識對通用的相關(guān)性度量函數(shù)進(jìn)行有效修正，使之更加適合于分類數(shù)據(jù)項(xiàng)之間相關(guān)性的度量；然后基于修正后的相關(guān)性函數(shù)對分類數(shù)據(jù)各層次上的項(xiàng)依次進(jìn)行聚類，根據(jù)各層項(xiàng)

4、的層次聚類結(jié)果對事務(wù)數(shù)據(jù)庫進(jìn)行約簡劃分，從而縮小了事務(wù)數(shù)據(jù)庫的規(guī)模，節(jié)省了挖掘算法掃描事務(wù)數(shù)據(jù)庫的I/O操作時間，達(dá)到了提高算法挖掘效率的目的。
　　其次，本文針對多層關(guān)聯(lián)規(guī)則挖掘的一般情形--概化關(guān)聯(lián)規(guī)則挖掘問題進(jìn)行了研究。本文首先基于有候選項(xiàng)集方法的思想，提出了一種基于集合枚舉樹的概化頻繁項(xiàng)集寬度優(yōu)先挖掘方法SET-BFS。該方法可以確保所有k-項(xiàng)集產(chǎn)生之前，其所有的(k-1)-子項(xiàng)集已經(jīng)產(chǎn)生，進(jìn)而可以確保Apriori性質(zhì)在

5、分類數(shù)據(jù)領(lǐng)域的有效運(yùn)用，實(shí)現(xiàn)對非頻繁項(xiàng)集的高效剪枝，不僅避免了大量非頻繁項(xiàng)集的計(jì)數(shù)和判定操作，還減少項(xiàng)集擴(kuò)展空間的規(guī)模，從而提升此類算法的執(zhí)行效率。進(jìn)而結(jié)合最新的無候選項(xiàng)集方法的思想，提出了一種高效的概化關(guān)聯(lián)規(guī)則挖掘方法GEAOT-tax。該方法引入了一種新穎的擴(kuò)展升序前綴樹GEAOT，采用自上而下、深度優(yōu)先的遍歷策略，結(jié)合雙頭表輔助結(jié)構(gòu)以及合并、剪枝等一系列優(yōu)化操作，進(jìn)一步減少了算法的遍歷開銷，從而提升了算法整體效率。
　　最后

6、，本文將研究視角從靜態(tài)分類數(shù)據(jù)進(jìn)一步擴(kuò)展至動態(tài)變化環(huán)境下，對概化關(guān)聯(lián)規(guī)則更新保持問題進(jìn)行了研究，并提出了一種基于概化擴(kuò)展自然序樹的增量挖掘方法GECT-IM。該方法只需掃描一次原始分類事務(wù)數(shù)據(jù)庫，就可以將所有交易中的葉子項(xiàng)及其概化項(xiàng)映射至一棵壓縮格式的自然序前綴樹GECT，并通過引入更新頭表來實(shí)現(xiàn)只對GECT中更新項(xiàng)集計(jì)數(shù)，然后結(jié)合相關(guān)性質(zhì)及運(yùn)算就能發(fā)現(xiàn)大部分更新后的頻繁項(xiàng)集，而只對部分原來非頻繁的項(xiàng)集才需重新遍歷初始GECI、樹來得到