序列模式的增量式挖掘算法研究.pdf

1、隨著信息技術(shù)的發(fā)展,許多領(lǐng)域積累了大量的數(shù)據(jù),迫切需要一種技術(shù)從中及時(shí)發(fā)現(xiàn)有用的知識(shí),提高信息利用率,KDD技術(shù)應(yīng)運(yùn)而生.通常KDD包括數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘、解釋與評(píng)價(jià)等步驟.其中數(shù)據(jù)挖掘是KDD的核心環(huán)節(jié).目前,數(shù)據(jù)挖掘的研究主要集中在分類(lèi)、關(guān)聯(lián)規(guī)則、序列模式挖掘等方面.序列模式挖掘作為數(shù)據(jù)挖掘領(lǐng)域的研究熱點(diǎn)之一,其任務(wù)是從序列數(shù)據(jù)庫(kù)中挖掘出最大頻繁序列供決策者做出決策.目前的挖掘算法主要分為兩種,即一般的挖掘算法和增量式的挖掘算法.一

2、般的挖掘算法如AprioriAll等以關(guān)聯(lián)規(guī)則挖掘的相關(guān)算法為基礎(chǔ),當(dāng)大型數(shù)據(jù)庫(kù)需要加入新的數(shù)據(jù)時(shí)需要重新挖掘,降低了挖掘的效率,不能滿(mǎn)足要求.于是序列模式的增量式挖掘算法被提出,現(xiàn)有的算法有MFS、ISM、ISE、IUS等,它們?cè)谠袛?shù)據(jù)庫(kù)挖掘結(jié)果的基礎(chǔ)上,往往只需遍歷新增加的數(shù)據(jù),或者只需較少次數(shù)的遍歷原有數(shù)據(jù)庫(kù)就能挖掘出新的序列模式,提高了挖掘的效率,其中IUS算法是最為先進(jìn)的算法.該文通過(guò)對(duì)IUS及其它算法的研究,發(fā)現(xiàn)這些算法往

3、往都只考慮了向數(shù)據(jù)庫(kù)中增加數(shù)據(jù)的情況,而很少有考慮大型數(shù)據(jù)庫(kù)也有刪除數(shù)據(jù)的情況,這是問(wèn)題一.而且,這些算法都是基于"數(shù)據(jù)庫(kù)的更新",沒(méi)有考慮到增量式挖掘的另一情況"算法參數(shù)的改變",這是問(wèn)題二.該文首先改正了IUS算法中的錯(cuò)誤之處,然后分別針對(duì)這兩個(gè)問(wèn)題,結(jié)合序列模式的增量式挖掘算法的設(shè)計(jì)原則,以IUS算法為基礎(chǔ),提出了一種序列模式的更新式算法USP(Updating Sequential Patterns)用來(lái)解決問(wèn)題一.該算法以原數(shù)