基于區(qū)段查詢的增量數(shù)據(jù)抽取器的設(shè)計與實現(xiàn).pdf

1、高速發(fā)展的信息時代，給我們帶來了機(jī)遇也帶來了挑戰(zhàn)。信息量的爆炸式增長，給我們在數(shù)據(jù)的集成、數(shù)據(jù)倉庫的更新、維護(hù)等方面帶來了問題。因此從位于不同的數(shù)據(jù)源捕獲數(shù)據(jù)的變化，把更新同步到其他地方（如數(shù)據(jù)倉庫），是當(dāng)前需解決的一大難題。ETL(Extraction Transformation Loading)是創(chuàng)建數(shù)據(jù)倉庫的重要環(huán)節(jié)，負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進(jìn)行處理，最后加載到數(shù)據(jù)倉庫中。

2、r>　　本文主要研究在不同數(shù)據(jù)庫上實現(xiàn)統(tǒng)一的增量數(shù)據(jù)抽取，特別是目前存在的多種增量數(shù)據(jù)抽取方法。通過對幾種常見的增量抽取機(jī)制，例如觸發(fā)器方式、時間戳方式、表對比方式、日志方式以及CDC(Change Data Capture)方式進(jìn)行對比，總結(jié)出各種機(jī)制的特性并分析它們的優(yōu)劣，并且在深入分析時間戳方式執(zhí)行過程的基礎(chǔ)上，設(shè)計出一種解決方案:根據(jù)使用頻率較高的傳統(tǒng)型數(shù)據(jù)庫，通過利用某些字段作為時間戳屬性，對指定的數(shù)據(jù)表進(jìn)行連續(xù)的區(qū)段查詢，克