數(shù)據(jù)倉(cāng)庫(kù)增量維護(hù)技術(shù)的研究.pdf

1、數(shù)據(jù)倉(cāng)庫(kù)中包含著從各種獨(dú)立自治的數(shù)據(jù)源中抽取出來(lái)的信息,當(dāng)數(shù)據(jù)源發(fā)生變化時(shí),數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)也必須被更新以反映這種變化,面對(duì)如此大量的數(shù)據(jù),采用完全重載的方法顯然是不可行的,因而有必要提出一種高效的增量式維護(hù)的方法,也就是只將數(shù)據(jù)源中發(fā)生變化的數(shù)據(jù)捕獲并刷新到數(shù)據(jù)倉(cāng)庫(kù)中.建立在數(shù)據(jù)倉(cāng)庫(kù)上的一些應(yīng)用,如OLAP分析和數(shù)據(jù)挖掘等,通常會(huì)涉及到大批量數(shù)據(jù)的檢索,為了能夠提高查詢的效率,在數(shù)據(jù)倉(cāng)庫(kù)中會(huì)建立一定數(shù)量的實(shí)視圖.目前關(guān)于數(shù)據(jù)倉(cāng)庫(kù)的增量

2、式刷新的討論,大部分都集中在實(shí)視圖的維護(hù)上.該文提出了一個(gè)實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)增量刷新的體系框架,它將不再局限于實(shí)視圖的維護(hù),而涉及到了一個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)運(yùn)行的整個(gè)過(guò)程,包括對(duì)數(shù)據(jù)源變化的監(jiān)控,將捕獲到的變化數(shù)據(jù)傳送和集成到數(shù)據(jù)倉(cāng)庫(kù)、對(duì)數(shù)據(jù)倉(cāng)庫(kù)的刷新和歷史數(shù)據(jù)的保存等主要部分.當(dāng)采用傳統(tǒng)的方法對(duì)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行維護(hù)時(shí),所捕獲到的變化信息將被直接應(yīng)用到倉(cāng)庫(kù)中相應(yīng)的表或?qū)嵰晥D上.文中提出了一種Delta表的方法,變化的數(shù)據(jù)先被抽取到Delta表中,然后再

3、利用Delta表對(duì)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行增量維護(hù),該方法能夠?qū)?fù)雜的維護(hù)過(guò)程進(jìn)行分解,使可控制性和正確性得到進(jìn)一步的保證.由于數(shù)據(jù)源的更新和數(shù)據(jù)倉(cāng)庫(kù)的維護(hù)是兩個(gè)分離的過(guò)程,這有可能導(dǎo)致異常數(shù)據(jù)的出現(xiàn).該文提出了一種補(bǔ)償算法,它能夠有效的消除異常數(shù)據(jù),該算法借用了ECA算法的核心思想,但是針對(duì)我們所提出的框架,該算法在實(shí)現(xiàn)上做了很大改進(jìn).在刷新過(guò)程中,數(shù)據(jù)倉(cāng)庫(kù)通常是不可訪問(wèn)的,為了減少數(shù)據(jù)倉(cāng)庫(kù)不可見(jiàn)的時(shí)間,我們將實(shí)視圖的維護(hù)過(guò)程分成了數(shù)據(jù)傳送和刷新