ETL中數(shù)據(jù)增量抽取與數(shù)據(jù)質(zhì)量控制的研究與實(shí)現(xiàn).pdf

1、隨著信息技術(shù)的快速發(fā)展,企業(yè)用戶的數(shù)據(jù)量在近年來得到了爆炸式的增長(zhǎng),想要從海量的數(shù)據(jù)中提取出有價(jià)值的信息變的越發(fā)困難,為了充分利用現(xiàn)有的數(shù)據(jù)資源,從而為企業(yè)決策提供有效的科學(xué)依據(jù),數(shù)據(jù)倉庫技術(shù)運(yùn)應(yīng)而生。作為構(gòu)建數(shù)據(jù)倉庫的重要環(huán)節(jié), ETL承擔(dān)著整合處理數(shù)據(jù)的重要職責(zé)。
　　本文基于合勝科技決策支持系統(tǒng)（項(xiàng)目管理模塊），結(jié)合SQLserver2012 R2提供的BI套件，對(duì)ETL過程中數(shù)據(jù)的增量抽取及數(shù)據(jù)質(zhì)量控制進(jìn)行了深入研究。

2、r>　　論文主要的工作如下：
　　第一，首先本文對(duì)數(shù)據(jù)質(zhì)量概念和SQL Server Data Quality Services的工作原理進(jìn)行了介紹，然后在對(duì)目前比較流行的增量抽取方案進(jìn)行分析比較的同時(shí)，還對(duì)SSIS提供的SCD的工作原理進(jìn)行介紹。
　　第二，本文從項(xiàng)目管理的需求出發(fā)，建立數(shù)據(jù)倉庫，設(shè)計(jì)各層ETL數(shù)據(jù)模型以及mapping中源與目標(biāo)的對(duì)應(yīng)關(guān)系，利用SQL ServerSSIS提供的漸變維度組件并結(jié)合其他的增量

3、抽方案設(shè)計(jì)增量抽取機(jī)制。
　　第三，本文挖掘了項(xiàng)目的數(shù)據(jù)質(zhì)量需求，制訂了數(shù)據(jù)清洗方案，并在 ETL過程中使用了DQS提供的數(shù)據(jù)清洗組件。對(duì)于項(xiàng)目中并未出現(xiàn)的數(shù)據(jù)質(zhì)量問題，通過舉例，進(jìn)一步介紹如何使用SQL Server Data Quality Services對(duì)其進(jìn)行處理。
　　已經(jīng)取得的成果如下：
　　第一，分析了數(shù)據(jù)倉庫在企業(yè)決策分析時(shí)重要地位，由此引出了數(shù)據(jù)質(zhì)量控制及數(shù)據(jù)的增量抽取問題。作者深入理解并為讀者闡述