大數(shù)據(jù)庫中頻繁模式挖掘算法研究及應(yīng)用.pdf

1、隨著信息技術(shù)的高速發(fā)展和互聯(lián)網(wǎng)的迅速普及,導(dǎo)致在各個(gè)應(yīng)用領(lǐng)域的數(shù)據(jù)庫中存儲(chǔ)了大量的數(shù)據(jù),這些數(shù)據(jù)集中包含著很多有用的知識(shí),因此如何從各種大型或密集數(shù)據(jù)庫中發(fā)現(xiàn)所隱藏的、預(yù)先未知的信息,顯的尤為重要,這正是數(shù)據(jù)挖掘所要完成的任務(wù). 關(guān)聯(lián)規(guī)則挖掘是數(shù)據(jù)挖掘領(lǐng)域中成果顯著而且比較活躍的研究分支.其主要研究目的就是從大型數(shù)據(jù)集中發(fā)現(xiàn)隱藏的、有趣的、屬性間的規(guī)律,即關(guān)聯(lián)規(guī)則.由于形式簡單、易于理解而且是從大型數(shù)據(jù)庫中提取知識(shí)的主要手段,因

2、此,關(guān)聯(lián)規(guī)則挖掘成為數(shù)據(jù)挖掘中的熱點(diǎn)問題. 關(guān)聯(lián)規(guī)則挖掘過程包括:首先是將現(xiàn)有的數(shù)據(jù)庫轉(zhuǎn)換成事務(wù)數(shù)據(jù)庫的形式(transaction database),然后采用適當(dāng)?shù)乃惴◤氖聞?wù)數(shù)據(jù)庫中挖掘出所有的頻繁模式,最后由頻繁模式生成有價(jià)值的關(guān)聯(lián)規(guī)則.其中的第二階段發(fā)現(xiàn)頻繁模式是關(guān)鍵,它將決定關(guān)聯(lián)規(guī)則挖掘的正確性和挖掘的效率.因此,大部分研究都集中在頻繁模式的產(chǎn)生上.目前的頻繁模式挖掘算法都過分的依賴于大量的計(jì)算,進(jìn)而導(dǎo)致對(duì)內(nèi)存空間的依

3、賴,當(dāng)參數(shù)需要調(diào)整時(shí),造成重復(fù)的I/O掃描.這都無法滿足對(duì)大型數(shù)據(jù)庫挖掘的要求.因此尋求減少對(duì)內(nèi)存空間的依賴,降低重復(fù)I/O掃描次數(shù)的新方法就成為文章的研究內(nèi)容. 通過研究發(fā)現(xiàn),影響頻繁模式挖掘算法效率的因素主要有兩個(gè):1數(shù)據(jù)庫中事務(wù)布局方式的不合理;2算法本身存在的問題.所以本文主要從這兩個(gè)方面進(jìn)行改進(jìn).具體工作體現(xiàn)在以下三個(gè)方面: 1、.敏感性分析在數(shù)據(jù)挖掘中的應(yīng)用研究:數(shù)據(jù)挖掘被視為一種把數(shù)據(jù)轉(zhuǎn)化為信息,把信息轉(zhuǎn)化

4、為行為,把行為轉(zhuǎn)化為價(jià)值或利潤的過程.最近的研究大都集中在靜態(tài)環(huán)境中利潤的挖掘.敏感性分析方法能夠預(yù)測(cè)模型輸出結(jié)果的變化率.本文研究了利用敏感性分析這一方法在動(dòng)態(tài)環(huán)境中對(duì)利潤挖掘所起的作用,最后給出了應(yīng)用該方法對(duì)利潤挖掘的執(zhí)行步驟. 2、在研究了傳統(tǒng)的事務(wù)數(shù)據(jù)庫布局方式:水平布局方式和垂直布局方式的不足之處,提出一種新的事務(wù)在數(shù)據(jù)庫中的布局方式一交叉布局方式.該布局方式能夠有效減少I/O重復(fù)掃描的次數(shù),特別是當(dāng)參數(shù)經(jīng)常改變時(shí).從