淺談數(shù)據(jù)整合技術(shù)在稅收業(yè)務(wù)系統(tǒng)中的應(yīng)用

1、計(jì)算機(jī)光盤軟件與應(yīng)用信息技術(shù)應(yīng)用研究ComputerCDSoftwareApplications2010年第5期—8—淺談數(shù)據(jù)整合技術(shù)在稅收業(yè)務(wù)系統(tǒng)中的應(yīng)用胡恒卿（同濟(jì)大學(xué)軟件學(xué)院，上海200092）摘要：摘要：由于計(jì)算機(jī)應(yīng)用的飛速發(fā)展，很多單位都存在多個(gè)業(yè)務(wù)處理系統(tǒng)。這些業(yè)務(wù)處理系統(tǒng)是在不同時(shí)期因不同業(yè)務(wù)需要獨(dú)立建立起來的，不可避免地產(chǎn)生“信息孤島”現(xiàn)象。這種情況下，改變原有的異構(gòu)、分散和孤立的基礎(chǔ)架構(gòu)、重新構(gòu)筑一個(gè)全新的技術(shù)架構(gòu)的“

2、信息整合戰(zhàn)略”應(yīng)運(yùn)而生。關(guān)鍵詞：關(guān)鍵詞：數(shù)據(jù)倉庫；數(shù)據(jù)整合技術(shù)；物化視圖中圖分類號：中圖分類號：TP31文獻(xiàn)標(biāo)識碼：文獻(xiàn)標(biāo)識碼：A文章編號：文章編號：10079599（2010）05000801ApplicationofDataIntegrationTechnologyinIntegratedManagementSystemHuHengqing（SchoolofSoftwareEngineeringTongjiUniversitySha

3、nghai200092China）Abstract:Withtheflyingdevelopmentofcomputerapplicationtheinfmationtechniquedevelopingtilltodayalotofbusinessenterprisesallexistmethantenbusinessprocessingsystem.Thesesystemsbuildupindependentlyindifferen

4、tperiodfdifferentbusinessneedswhichcause“infmationisolatedisl“inevitably.Inthiscaseitrequeststhebusinessenterprisechangeiginallyisomerismdispersionisolatedofthefoundationstructurereconstructsanew“integrationstrategy“ofth

5、etechniquestructuretoemergewiththetideofthetimes.Keywds:DatawarehouseDataintegrationtechnologyMaterializedview隨著我國稅收信息化建設(shè)水平的不斷提高，在部門內(nèi)部，依據(jù)不同的稅收業(yè)務(wù)開發(fā)了各種稅收業(yè)務(wù)系統(tǒng)，分散的系統(tǒng)和數(shù)據(jù)不便于對稅收活動(dòng)的管理和決策，如何高效的集中整合稅收數(shù)據(jù)，客觀反映稅收情況，增強(qiáng)管理手段，提高決策能力，成為擺在

6、稅務(wù)部門面前的重要任務(wù)。一、數(shù)據(jù)整合技術(shù)的概念數(shù)據(jù)整合并不是對企業(yè)原有技術(shù)和模式的顛覆，而是把企業(yè)中各種各樣的資源整合起來為業(yè)務(wù)服務(wù)。整合包括硬件和軟件的整合，企業(yè)內(nèi)部和跨企業(yè)的整合，操作環(huán)境和業(yè)務(wù)流程的整合等等。整合的首要問題是數(shù)據(jù)源的整合。整合后統(tǒng)一的數(shù)據(jù)平臺(tái)可以用于業(yè)務(wù)分析和領(lǐng)導(dǎo)決策等。二、數(shù)據(jù)技術(shù)在稅收業(yè)務(wù)系統(tǒng)中應(yīng)用的步驟數(shù)據(jù)整合包括數(shù)據(jù)的收集、整理、分析、變換以及刷新等步驟。（一）數(shù)據(jù)收集：根據(jù)項(xiàng)目規(guī)劃和任務(wù)目標(biāo)以及對數(shù)據(jù)分析

7、的需求，確定選擇哪些數(shù)據(jù)源作為分析目標(biāo)。幫助理解數(shù)據(jù)源的資料有源系統(tǒng)的數(shù)據(jù)字典（這是最重要也是最易獲得的資料），數(shù)據(jù)庫設(shè)計(jì)說明書，ER圖，概要設(shè)計(jì)，系統(tǒng)需求分析報(bào)告，系統(tǒng)運(yùn)行情況報(bào)告等。數(shù)據(jù)收集的越充分越有利于對數(shù)據(jù)的理解以及后續(xù)數(shù)據(jù)整合操作的準(zhǔn)確性。（二）數(shù)據(jù)的整理：收集到的數(shù)據(jù)資料可能來自企業(yè)內(nèi)部也可能來自企業(yè)外部，數(shù)據(jù)源存儲(chǔ)的平臺(tái)和格式也不一定相同。對于不同的數(shù)據(jù)來源需要有不同的匯集和處理方式。（三）數(shù)據(jù)的分析：做數(shù)據(jù)分析的時(shí)候首

8、先要看懂?dāng)?shù)據(jù)字典，了解數(shù)據(jù)庫表中各字段的含義及作用，撇開純操作型的數(shù)據(jù)，保留分析型的數(shù)據(jù)。對于欲保留的數(shù)據(jù)又可以根據(jù)源系統(tǒng)的實(shí)體以及整合后欲應(yīng)用的分析內(nèi)容進(jìn)行分類。另外，各個(gè)操作型系統(tǒng)由于業(yè)務(wù)需要設(shè)計(jì)上可能會(huì)產(chǎn)生一些重疊的數(shù)據(jù)，即同一筆記錄在不同的系統(tǒng)中都存在，這都是些冗余數(shù)據(jù)，需進(jìn)行處理。處理的時(shí)候可以對各個(gè)源系統(tǒng)設(shè)置一個(gè)優(yōu)先級，首先從最高優(yōu)先級——一般是核心業(yè)務(wù)系統(tǒng)從中提取數(shù)據(jù)，如果數(shù)據(jù)不存在就從次優(yōu)先級系統(tǒng)中提取數(shù)據(jù)，以此類推。在

9、數(shù)據(jù)分析的同時(shí)可以根據(jù)源系統(tǒng)的運(yùn)行情況評估數(shù)據(jù)的質(zhì)量及其可用程度。有些數(shù)據(jù)庫表中有的字段在使用的時(shí)候并沒有數(shù)據(jù)，如果做新系統(tǒng)需要把這些數(shù)據(jù)找到。不應(yīng)將有用的但是沒有值或數(shù)據(jù)不準(zhǔn)確的記錄隨便丟棄，正確的做法是將它們另外存儲(chǔ)在一張錯(cuò)誤信息表中以備對帳用。很多字段在不同的系統(tǒng)中具有相同的名字卻是不同含義和類型，也有很多不同類型及名字的字段卻表示的是同一個(gè)意思。因此這一步還要消除數(shù)據(jù)歧異和不一致的問題。（四）數(shù)據(jù)轉(zhuǎn)換：數(shù)據(jù)轉(zhuǎn)換的過程實(shí)際上就是數(shù)

10、據(jù)映射的過程。在數(shù)據(jù)源分析工作做好的前提下，可以按照分析主題級、數(shù)據(jù)源實(shí)體級、屬性級映射進(jìn)行。數(shù)據(jù)映射時(shí)需要注意的地方是，新系統(tǒng)數(shù)據(jù)庫表中的字段名盡量不要沿用數(shù)據(jù)源系統(tǒng)中的字段名，以免發(fā)生誤解和錯(cuò)誤；必須預(yù)留足夠再生以及衍生的變量有的字段數(shù)據(jù)可能來自幾個(gè)源表的綜合；主鍵的設(shè)置是基于對源系統(tǒng)和新系統(tǒng)的深刻理解之上，設(shè)置不當(dāng)會(huì)導(dǎo)致數(shù)據(jù)轉(zhuǎn)換實(shí)現(xiàn)過程中的錯(cuò)誤或者數(shù)據(jù)粒度的不準(zhǔn)確；考慮數(shù)據(jù)變化時(shí)的應(yīng)對策略。以上的各個(gè)階段都要形成最后的文檔資料存檔

11、備查。三、數(shù)據(jù)整合技術(shù)在稅收業(yè)務(wù)系統(tǒng)中應(yīng)用的意義通過研究針對數(shù)據(jù)倉庫的數(shù)據(jù)整合問題，提出數(shù)據(jù)整合整體方案，并應(yīng)用在數(shù)據(jù)相對復(fù)雜的稅收系統(tǒng)中，為數(shù)據(jù)整合技術(shù)的應(yīng)用提供了案例價(jià)值，也為類似稅務(wù)系統(tǒng)的各級企事業(yè)單位的數(shù)據(jù)整合提供了參考價(jià)值，其具體的意義如下：（一）提出了一個(gè)適合于數(shù)據(jù)倉庫中數(shù)據(jù)整合的設(shè)計(jì)方案。此方案綜合現(xiàn)有的數(shù)據(jù)整合方案中的優(yōu)點(diǎn)，結(jié)合系統(tǒng)中已建立的數(shù)據(jù)倉庫模型，實(shí)現(xiàn)增量數(shù)據(jù)的加載，具有較強(qiáng)的實(shí)用價(jià)值。（二）主要針對不同數(shù)據(jù)庫、

12、不同平臺(tái)的異構(gòu)環(huán)境進(jìn)行分析，提出在特定應(yīng)用環(huán)境下更適合的數(shù)據(jù)整合方案，使得在特定范圍內(nèi)數(shù)據(jù)采集對象能夠進(jìn)行清洗和遷移，使得數(shù)據(jù)倉庫的ETL過程的質(zhì)量和速度有所提高。研究的問題具有一定的創(chuàng)新性。（三）研究過程中基于數(shù)據(jù)倉庫的體系架構(gòu)，提出應(yīng)用數(shù)據(jù)整合技術(shù)的四層數(shù)據(jù)倉庫體系架構(gòu)，在該架構(gòu)中增加數(shù)據(jù)操作層完成增量數(shù)據(jù)的整理和遷移，這對目前普遍存在的分布式網(wǎng)絡(luò)數(shù)據(jù)的整合利用提供了參考方案，真正有效的處理了跨平臺(tái)跨區(qū)域的數(shù)據(jù)整合和集中處理，并及時(shí)

13、的做到了數(shù)據(jù)的更新和分析處理。參考文獻(xiàn)：[1]余曉平甕正科張振宇胡宇光.數(shù)據(jù)整合技術(shù)研究[J].兵團(tuán)教育學(xué)學(xué)報(bào)2006（2）[2]彭木根.數(shù)據(jù)倉庫技術(shù)與實(shí)現(xiàn)[J].電子工業(yè)出版社20026作者簡介胡恒卿，男，江西省新余市人，職稱：助理工程師，學(xué)歷：大學(xué)本科，主要研究方向?yàn)椋簲?shù)據(jù)整合技術(shù)計(jì)算機(jī)光盤軟件與應(yīng)用信息技術(shù)應(yīng)用研究ComputerCDSoftwareApplications2010年第5期—8—淺談數(shù)據(jù)整合技術(shù)在稅收業(yè)務(wù)系統(tǒng)中的應(yīng)

14、用胡恒卿（同濟(jì)大學(xué)軟件學(xué)院，上海200092）摘要：摘要：由于計(jì)算機(jī)應(yīng)用的飛速發(fā)展，很多單位都存在多個(gè)業(yè)務(wù)處理系統(tǒng)。這些業(yè)務(wù)處理系統(tǒng)是在不同時(shí)期因不同業(yè)務(wù)需要獨(dú)立建立起來的，不可避免地產(chǎn)生“信息孤島”現(xiàn)象。這種情況下，改變原有的異構(gòu)、分散和孤立的基礎(chǔ)架構(gòu)、重新構(gòu)筑一個(gè)全新的技術(shù)架構(gòu)的“信息整合戰(zhàn)略”應(yīng)運(yùn)而生。關(guān)鍵詞：關(guān)鍵詞：數(shù)據(jù)倉庫；數(shù)據(jù)整合技術(shù)；物化視圖中圖分類號：中圖分類號：TP31文獻(xiàn)標(biāo)識碼：文獻(xiàn)標(biāo)識碼：A文章編號：文章編號：10

15、079599（2010）05000801ApplicationofDataIntegrationTechnologyinIntegratedManagementSystemHuHengqing（SchoolofSoftwareEngineeringTongjiUniversityShanghai200092China）Abstract:Withtheflyingdevelopmentofcomputerapplicationtheinf

16、mationtechniquedevelopingtilltodayalotofbusinessenterprisesallexistmethantenbusinessprocessingsystem.Thesesystemsbuildupindependentlyindifferentperiodfdifferentbusinessneedswhichcause“infmationisolatedisl“inevitably.Inth

17、iscaseitrequeststhebusinessenterprisechangeiginallyisomerismdispersionisolatedofthefoundationstructurereconstructsanew“integrationstrategy“ofthetechniquestructuretoemergewiththetideofthetimes.Keywds:DatawarehouseDatainte

18、grationtechnologyMaterializedview隨著我國稅收信息化建設(shè)水平的不斷提高，在部門內(nèi)部，依據(jù)不同的稅收業(yè)務(wù)開發(fā)了各種稅收業(yè)務(wù)系統(tǒng)，分散的系統(tǒng)和數(shù)據(jù)不便于對稅收活動(dòng)的管理和決策，如何高效的集中整合稅收數(shù)據(jù)，客觀反映稅收情況，增強(qiáng)管理手段，提高決策能力，成為擺在稅務(wù)部門面前的重要任務(wù)。一、數(shù)據(jù)整合技術(shù)的概念數(shù)據(jù)整合并不是對企業(yè)原有技術(shù)和模式的顛覆，而是把企業(yè)中各種各樣的資源整合起來為業(yè)務(wù)服務(wù)。整合包括硬件和軟件的

19、整合，企業(yè)內(nèi)部和跨企業(yè)的整合，操作環(huán)境和業(yè)務(wù)流程的整合等等。整合的首要問題是數(shù)據(jù)源的整合。整合后統(tǒng)一的數(shù)據(jù)平臺(tái)可以用于業(yè)務(wù)分析和領(lǐng)導(dǎo)決策等。二、數(shù)據(jù)技術(shù)在稅收業(yè)務(wù)系統(tǒng)中應(yīng)用的步驟數(shù)據(jù)整合包括數(shù)據(jù)的收集、整理、分析、變換以及刷新等步驟。（一）數(shù)據(jù)收集：根據(jù)項(xiàng)目規(guī)劃和任務(wù)目標(biāo)以及對數(shù)據(jù)分析的需求，確定選擇哪些數(shù)據(jù)源作為分析目標(biāo)。幫助理解數(shù)據(jù)源的資料有源系統(tǒng)的數(shù)據(jù)字典（這是最重要也是最易獲得的資料），數(shù)據(jù)庫設(shè)計(jì)說明書，ER圖，概要設(shè)計(jì)，系統(tǒng)需

20、求分析報(bào)告，系統(tǒng)運(yùn)行情況報(bào)告等。數(shù)據(jù)收集的越充分越有利于對數(shù)據(jù)的理解以及后續(xù)數(shù)據(jù)整合操作的準(zhǔn)確性。（二）數(shù)據(jù)的整理：收集到的數(shù)據(jù)資料可能來自企業(yè)內(nèi)部也可能來自企業(yè)外部，數(shù)據(jù)源存儲(chǔ)的平臺(tái)和格式也不一定相同。對于不同的數(shù)據(jù)來源需要有不同的匯集和處理方式。（三）數(shù)據(jù)的分析：做數(shù)據(jù)分析的時(shí)候首先要看懂?dāng)?shù)據(jù)字典，了解數(shù)據(jù)庫表中各字段的含義及作用，撇開純操作型的數(shù)據(jù)，保留分析型的數(shù)據(jù)。對于欲保留的數(shù)據(jù)又可以根據(jù)源系統(tǒng)的實(shí)體以及整合后欲應(yīng)用的分析內(nèi)容

21、進(jìn)行分類。另外，各個(gè)操作型系統(tǒng)由于業(yè)務(wù)需要設(shè)計(jì)上可能會(huì)產(chǎn)生一些重疊的數(shù)據(jù)，即同一筆記錄在不同的系統(tǒng)中都存在，這都是些冗余數(shù)據(jù)，需進(jìn)行處理。處理的時(shí)候可以對各個(gè)源系統(tǒng)設(shè)置一個(gè)優(yōu)先級，首先從最高優(yōu)先級——一般是核心業(yè)務(wù)系統(tǒng)從中提取數(shù)據(jù)，如果數(shù)據(jù)不存在就從次優(yōu)先級系統(tǒng)中提取數(shù)據(jù)，以此類推。在數(shù)據(jù)分析的同時(shí)可以根據(jù)源系統(tǒng)的運(yùn)行情況評估數(shù)據(jù)的質(zhì)量及其可用程度。有些數(shù)據(jù)庫表中有的字段在使用的時(shí)候并沒有數(shù)據(jù)，如果做新系統(tǒng)需要把這些數(shù)據(jù)找到。不應(yīng)將有用

22、的但是沒有值或數(shù)據(jù)不準(zhǔn)確的記錄隨便丟棄，正確的做法是將它們另外存儲(chǔ)在一張錯(cuò)誤信息表中以備對帳用。很多字段在不同的系統(tǒng)中具有相同的名字卻是不同含義和類型，也有很多不同類型及名字的字段卻表示的是同一個(gè)意思。因此這一步還要消除數(shù)據(jù)歧異和不一致的問題。（四）數(shù)據(jù)轉(zhuǎn)換：數(shù)據(jù)轉(zhuǎn)換的過程實(shí)際上就是數(shù)據(jù)映射的過程。在數(shù)據(jù)源分析工作做好的前提下，可以按照分析主題級、數(shù)據(jù)源實(shí)體級、屬性級映射進(jìn)行。數(shù)據(jù)映射時(shí)需要注意的地方是，新系統(tǒng)數(shù)據(jù)庫表中的字段名盡量不要

23、沿用數(shù)據(jù)源系統(tǒng)中的字段名，以免發(fā)生誤解和錯(cuò)誤；必須預(yù)留足夠再生以及衍生的變量有的字段數(shù)據(jù)可能來自幾個(gè)源表的綜合；主鍵的設(shè)置是基于對源系統(tǒng)和新系統(tǒng)的深刻理解之上，設(shè)置不當(dāng)會(huì)導(dǎo)致數(shù)據(jù)轉(zhuǎn)換實(shí)現(xiàn)過程中的錯(cuò)誤或者數(shù)據(jù)粒度的不準(zhǔn)確；考慮數(shù)據(jù)變化時(shí)的應(yīng)對策略。以上的各個(gè)階段都要形成最后的文檔資料存檔備查。三、數(shù)據(jù)整合技術(shù)在稅收業(yè)務(wù)系統(tǒng)中應(yīng)用的意義通過研究針對數(shù)據(jù)倉庫的數(shù)據(jù)整合問題，提出數(shù)據(jù)整合整體方案，并應(yīng)用在數(shù)據(jù)相對復(fù)雜的稅收系統(tǒng)中，為數(shù)據(jù)整合技術(shù)

24、的應(yīng)用提供了案例價(jià)值，也為類似稅務(wù)系統(tǒng)的各級企事業(yè)單位的數(shù)據(jù)整合提供了參考價(jià)值，其具體的意義如下：（一）提出了一個(gè)適合于數(shù)據(jù)倉庫中數(shù)據(jù)整合的設(shè)計(jì)方案。此方案綜合現(xiàn)有的數(shù)據(jù)整合方案中的優(yōu)點(diǎn)，結(jié)合系統(tǒng)中已建立的數(shù)據(jù)倉庫模型，實(shí)現(xiàn)增量數(shù)據(jù)的加載，具有較強(qiáng)的實(shí)用價(jià)值。（二）主要針對不同數(shù)據(jù)庫、不同平臺(tái)的異構(gòu)環(huán)境進(jìn)行分析，提出在特定應(yīng)用環(huán)境下更適合的數(shù)據(jù)整合方案，使得在特定范圍內(nèi)數(shù)據(jù)采集對象能夠進(jìn)行清洗和遷移，使得數(shù)據(jù)倉庫的ETL過程的質(zhì)量和速度

25、有所提高。研究的問題具有一定的創(chuàng)新性。（三）研究過程中基于數(shù)據(jù)倉庫的體系架構(gòu)，提出應(yīng)用數(shù)據(jù)整合技術(shù)的四層數(shù)據(jù)倉庫體系架構(gòu)，在該架構(gòu)中增加數(shù)據(jù)操作層完成增量數(shù)據(jù)的整理和遷移，這對目前普遍存在的分布式網(wǎng)絡(luò)數(shù)據(jù)的整合利用提供了參考方案，真正有效的處理了跨平臺(tái)跨區(qū)域的數(shù)據(jù)整合和集中處理，并及時(shí)的做到了數(shù)據(jù)的更新和分析處理。參考文獻(xiàn)：[1]余曉平甕正科張振宇胡宇光.數(shù)據(jù)整合技術(shù)研究[J].兵團(tuán)教育學(xué)學(xué)報(bào)2006（2）[2]彭木根.數(shù)據(jù)倉庫技術(shù)與實(shí)