多源異構(gòu)增量數(shù)據(jù)抽取方法研究與設(shè)計(jì).pdf

1、隨著信息管理系統(tǒng)的應(yīng)用,從異構(gòu)的多源數(shù)據(jù)中挖掘隱藏信息的難度越來越大。數(shù)據(jù)挖掘的前提是將數(shù)據(jù)抽取到指定的數(shù)據(jù)倉庫,ETL(Extract-Transformation-Loading,即數(shù)據(jù)的抽取-轉(zhuǎn)換-加載)過程完成了這一部分的工作。在ETL過程中,數(shù)據(jù)抽取是關(guān)鍵的一個(gè)階段,因此,提高數(shù)據(jù)抽取的效率是建立數(shù)據(jù)倉庫的重要工作。
　　本文研究了多種增量數(shù)據(jù)抽取捕獲機(jī)制,分析了每種捕獲機(jī)制的優(yōu)點(diǎn)與劣勢,提出了異構(gòu)環(huán)境下基于數(shù)據(jù)庫事務(wù)日

2、志文件的全表比對方式,簡稱L-C增量抽取方式。在研究了數(shù)據(jù)庫事務(wù)日志的記錄過程,分析了事務(wù)日志可靠性,并詳細(xì)研究全表比對與MD5校驗(yàn)碼結(jié)合的思想之后,構(gòu)建了L-C增量抽取方式模型。在理論上與其他增量捕獲機(jī)制進(jìn)行了時(shí)間復(fù)雜度比較,在實(shí)踐中進(jìn)行了設(shè)計(jì)、實(shí)現(xiàn)與比較分析。
　　分析結(jié)果與實(shí)踐結(jié)果都表明,L-C增量抽取方式相對現(xiàn)有的增量抽取機(jī)制在效率上更加高效,在性能上也較為穩(wěn)定。解決了分布式異構(gòu)環(huán)境下數(shù)據(jù)庫間的數(shù)據(jù)抽取,提高了數(shù)據(jù)抽取的效