序列模式發(fā)現(xiàn)及其應(yīng)用研究.pdf

1、數(shù)據(jù)挖掘是從數(shù)據(jù)庫,數(shù)據(jù)倉庫或其他信息庫的大量數(shù)據(jù)中挖掘出有效知識的過程.它涉及多學(xué)科技術(shù)的集成,被信息產(chǎn)業(yè)界認(rèn)為是人工智能與數(shù)據(jù)庫系統(tǒng)最重要的前沿之一,是當(dāng)前的熱點(diǎn)研究領(lǐng)域.現(xiàn)實(shí)世界中的大量數(shù)據(jù)具有時間或順序上的關(guān)聯(lián)性,序列模式挖掘就是在時序數(shù)據(jù)庫中挖掘相對時間或其他模式出現(xiàn)頻率高的模式.序列模式挖掘的研究主要針對符號模式,而數(shù)字曲線模式屬于統(tǒng)計(jì)時序分析中的趨勢分析和預(yù)測范疇.序列模式發(fā)現(xiàn)是最重要的數(shù)據(jù)挖掘任務(wù)之一并有著廣闊的應(yīng)用前景

2、,比如交易數(shù)據(jù)庫中的客戶行為分析、Web訪問日志分析、科學(xué)實(shí)驗(yàn)過程的分析、文本分析、DNA分析和自然災(zāi)害預(yù)測等等.該文全面和較深入地探討了序列模式發(fā)現(xiàn)問題:討論了該領(lǐng)域的研究現(xiàn)狀、最新技術(shù)和進(jìn)展,研究了序列模式的更新問題、在分布式環(huán)境下的序列模式發(fā)現(xiàn)方法和模式約束與評估問題.在實(shí)際應(yīng)用中,時序數(shù)據(jù)庫往往是隨著時間的變化動態(tài)更新的.因此,我們必須使序列模式挖掘結(jié)果反映時序數(shù)據(jù)庫的動態(tài)更新.序列模式更新問題由此產(chǎn)生.我們對數(shù)據(jù)庫更新所產(chǎn)生的

3、新序列模式進(jìn)行分析,根據(jù)其所具有的特殊性質(zhì),提出了一種新的序列模式更新算法,該算法增量式的更新序列模式,有效降低了數(shù)據(jù)庫的掃描次數(shù)和候選序列的生成數(shù),并且我們對算法的效率進(jìn)行了理論分析和實(shí)驗(yàn)評估.在分布式系統(tǒng)中,數(shù)據(jù)庫往往呈分布式狀態(tài).在各單機(jī)上執(zhí)行挖掘算法所得到的序列模式只對局部數(shù)據(jù)有效,我們需要獲得對分布式系統(tǒng)中所有數(shù)據(jù)有效的全局序列模式.我們分析分布式環(huán)境中序列模式的特殊性質(zhì),提出了一種分布式方法來解決分布式環(huán)境下的序列模式挖掘問

4、題.該方法采用數(shù)據(jù)庫的前綴劃分、選舉站點(diǎn)和多線程等技術(shù),由局部有效序列模式獲得全局有效的序列模式.并且,我們對該方法的效率進(jìn)行了理論分析和實(shí)驗(yàn)評估.在處理具有海量數(shù)據(jù)的大型數(shù)據(jù)庫時,往往所生成的模式的數(shù)量也很龐大,而且其中的許多模式是用戶已知的或不感興趣的.我們針對模式的約束和評估問題進(jìn)行研究,討論了關(guān)聯(lián)規(guī)則和序列模式的約束問題;提出和實(shí)現(xiàn)了針對關(guān)聯(lián)規(guī)則和序列模式的后處理方法,消除了大量冗余模式,并且根據(jù)模式之間的關(guān)系將其組織起來,向用