全局和局部相結(jié)合的數(shù)據(jù)挖掘方法及應(yīng)用研究.pdf

1、數(shù)據(jù)挖掘經(jīng)過十幾年的蓬勃發(fā)展，產(chǎn)生了豐碩的成果。各式各樣的數(shù)據(jù)挖掘理論被提出與采用；各式各樣的數(shù)據(jù)被挖掘；各種各樣的數(shù)據(jù)挖掘平臺(tái)被不斷地開發(fā)。 本文針對(duì)全局和局部挖掘的集成問題進(jìn)行了分析，重點(diǎn)研究了基于局部信息的全局?jǐn)?shù)據(jù)挖掘方法及應(yīng)用。首先，根據(jù)數(shù)據(jù)挖掘的過程，我們將該問題的研究劃分成三個(gè)階段，即利用粒度數(shù)據(jù)表示進(jìn)行挖掘，利用局部信息改善全局挖掘的效率和利用局部模式結(jié)果獲得全局?jǐn)?shù)據(jù)理解，并對(duì)每個(gè)階段進(jìn)行了研究，最后將所研方法應(yīng)用

2、于文獻(xiàn)數(shù)據(jù)挖掘中。 本文所做的主要工作如下： (1)在數(shù)據(jù)表示上：提出了基于數(shù)據(jù)粒度表示的兩個(gè)高效挖掘算法GB-FIM和GrC-FIM。本文針對(duì)隱私保護(hù)造成數(shù)據(jù)扭曲使得挖掘效率下降的問題，我們提出了基于數(shù)據(jù)粒度表示的粒度位向量挖掘算法GB-FIM和粒度推理計(jì)算挖掘算法GrC-FIM。這兩個(gè)挖掘算法分別利用數(shù)據(jù)的粒度表示和粒度計(jì)算推理技術(shù)挖掘了扭曲數(shù)據(jù)集。GrC-FIM算法在GB-FIM的基礎(chǔ)上利用粒度推理的方法簡化了支持

3、度計(jì)算。實(shí)驗(yàn)結(jié)果表明這兩個(gè)算法的運(yùn)行效率較傳統(tǒng)算法提高較大，特別在稠密數(shù)據(jù)集上，利用粒度推理技術(shù)的方法不僅能夠提高運(yùn)算效率，而且能夠提高挖掘的準(zhǔn)確性。 (2)在結(jié)果精簡上：提出了基于支持度和模式相似性的混合距離模式壓縮算法。本文針對(duì)閉合序列模式數(shù)量較多影響理解的問題，研究了對(duì)其壓縮的方法，方便了信息的表達(dá)。我們針對(duì)基于模式支持集進(jìn)行聚類方法的缺陷，提出了將支持度和序列模式本身相結(jié)合的混合距離方法。利用此距離，可以高效對(duì)閉合序列模

4、式進(jìn)行聚類，且取得很好的聚類效果。利用從聚類中總結(jié)出精簡偏序的方法可將模式進(jìn)行精簡表示。試驗(yàn)結(jié)果顯示本算法能夠在效率與準(zhǔn)確性之問得到較好的折衷，獲得理想的結(jié)果。 (3)在挖掘過程中：提出了基于啟發(fā)式搜索的全局偏序改進(jìn)算法和基于傳遞閉包的動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)構(gòu)造算法。利用局部模式能夠反映數(shù)據(jù)的局部特征，從而改進(jìn)全局挖掘算法，提高其效率。首先我們利用序列的局部頻繁特征改進(jìn)了全局偏序挖掘算法，在保證準(zhǔn)確性的前提下提高了挖掘效率；然后，我們針

5、對(duì)全局偏序表達(dá)容易丟失局部信息的問題，提出了基于傳遞閉報(bào)的動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)方法來反映序列數(shù)據(jù)的特征，該算法能夠在不增加復(fù)雜度的前提下更加準(zhǔn)確地對(duì)序列進(jìn)行構(gòu)造。 (4)在應(yīng)用上：研究了基于文獻(xiàn)數(shù)據(jù)理解主題演化和影響的問題。當(dāng)前，隨著數(shù)字圖書館技術(shù)的發(fā)展，大量文獻(xiàn)數(shù)據(jù)為研究者進(jìn)行研究工作提供了便利，但同時(shí)使得如何更加快速和準(zhǔn)確地理解領(lǐng)域的發(fā)展和演化變得困難。針對(duì)這一問題，我們首先利用本文所提出的基于傳遞閉包的動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)構(gòu)造模型分析