數(shù)據(jù)倉庫技術(shù)在企業(yè)信息系統(tǒng)建設(shè)中的應(yīng)用

1、數(shù)據(jù)倉庫技術(shù)在企業(yè)信息系統(tǒng)建設(shè)中的應(yīng)用數(shù)據(jù)倉庫技術(shù)在企業(yè)信息系統(tǒng)建設(shè)中的應(yīng)用謝新建宋曄(北京理工大學(xué)計(jì)算機(jī)科學(xué)系北京100081)摘要：本文從建設(shè)原則、體系結(jié)構(gòu)、關(guān)鍵環(huán)節(jié)等幾個(gè)方面并結(jié)合某電信運(yùn)營商的具體案例說明了數(shù)據(jù)倉庫技術(shù)在國內(nèi)電信業(yè)的應(yīng)用其中重點(diǎn)說明了異種數(shù)據(jù)源集成、ODS層的設(shè)計(jì)、ETL過程的設(shè)計(jì)、倉庫模型設(shè)計(jì)、元數(shù)據(jù)管理以及專題數(shù)據(jù)挖掘等關(guān)鍵環(huán)節(jié)，對(duì)企業(yè)數(shù)據(jù)倉庫項(xiàng)目的工程實(shí)施有一定的參考價(jià)值。關(guān)鍵詞：數(shù)據(jù)倉庫；ETL；元數(shù)據(jù)；

2、遺留系統(tǒng)中圖分類號(hào)：TP311文獻(xiàn)標(biāo)識(shí)碼：A1、引言引言數(shù)據(jù)倉庫技術(shù)是經(jīng)過了十幾年的研究與發(fā)展，在理論與工程實(shí)踐上都取得了顯著的成果。國際上許多重要的學(xué)術(shù)會(huì)議，如超大型數(shù)據(jù)庫國際會(huì)議（VLDB），數(shù)據(jù)工程國際會(huì)議（DataEngineering）等，都出現(xiàn)了大量專門研究數(shù)據(jù)倉庫（DataWarehousing）、聯(lián)機(jī)分析處理（OnLineAnalyticalProcessing）、數(shù)據(jù)挖掘（DataMining）[1]的論文，同時(shí)各大數(shù)

3、據(jù)庫廠商紛紛推出相應(yīng)產(chǎn)品支持?jǐn)?shù)據(jù)倉庫，比如NCR、SAS、acle、IBM、Infmix、Sybase等都提出了相應(yīng)的數(shù)據(jù)倉庫解決方案；另一方面，隨著信息技術(shù)的飛速發(fā)展，企業(yè)內(nèi)部產(chǎn)生了越來越多的數(shù)據(jù)，但這些數(shù)據(jù)并沒有產(chǎn)生應(yīng)有的信息，為此出現(xiàn)了“數(shù)據(jù)爆炸，知識(shí)貧乏”的窘迫局面，有效地整合與充分利用現(xiàn)有的信息資源成為企業(yè)提高核心競爭力的關(guān)鍵。本文以電信行業(yè)為例分析了企業(yè)經(jīng)營分析與決策支持系統(tǒng)的建設(shè)應(yīng)用，重點(diǎn)闡述數(shù)據(jù)倉庫相關(guān)技術(shù)。2、數(shù)據(jù)倉庫

4、系統(tǒng)的設(shè)計(jì)數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)2.1、系統(tǒng)設(shè)計(jì)原則、系統(tǒng)設(shè)計(jì)原則（1）通用化性原則企業(yè)各地分支機(jī)構(gòu)在組織構(gòu)架、業(yè)務(wù)劃分與側(cè)重、其所運(yùn)行的OLTP系統(tǒng)所依賴RDBMS、電信數(shù)據(jù)綜合分析與決策支持系統(tǒng)所需要的數(shù)據(jù)源的類型與格式等不盡相同，這些都在企業(yè)數(shù)據(jù)綜合分析與決策支持系統(tǒng)通用化設(shè)計(jì)的考慮范圍之內(nèi)。（2）可擴(kuò)展性原則隨著業(yè)務(wù)內(nèi)容的變化，業(yè)務(wù)系統(tǒng)的信息范圍會(huì)發(fā)生變化，而對(duì)于作為統(tǒng)一信息服務(wù)平臺(tái)應(yīng)設(shè)計(jì)性能良好的體系結(jié)構(gòu)，保證系統(tǒng)靈活的功能可擴(kuò)展

5、性。即在保持系統(tǒng)架構(gòu)與原業(yè)務(wù)分析邏輯的前提下，系統(tǒng)能實(shí)現(xiàn)簡潔的分析主題與功能性擴(kuò)充。（3）技術(shù)開放性原則為保護(hù)用戶投資，通過透明訪問技術(shù)，要保證系統(tǒng)能夠獨(dú)立于具體平臺(tái)工具，對(duì)用戶形成統(tǒng)一的功能和界面。在工具和平臺(tái)的選擇上給用戶提供自由選擇的最大余地。（4）兼容性原則企業(yè)在信息化建設(shè)的過程所積累的信息資源是企業(yè)最為寶貴的財(cái)富，新建的經(jīng)營決策分析系統(tǒng)應(yīng)有效的兼容原系統(tǒng)，尤其兼容原系統(tǒng)的數(shù)據(jù)資源。2.2、系統(tǒng)體系結(jié)構(gòu)、系統(tǒng)體系結(jié)構(gòu)根據(jù)上述的設(shè)

6、計(jì)原則，并結(jié)合系統(tǒng)設(shè)計(jì)目標(biāo)，提出電信經(jīng)營分析與決策系統(tǒng)的總體結(jié)構(gòu)如下：表、即席查詢（AdHoc）、OLAP分析、業(yè)務(wù)挖掘分析報(bào)告、企業(yè)經(jīng)營指標(biāo)監(jiān)控Ptal等，滿足企業(yè)經(jīng)營分析與決策支持的需要。系統(tǒng)實(shí)現(xiàn)了基于元數(shù)據(jù)的全程管理，涉及數(shù)據(jù)獲取層、數(shù)據(jù)整合層以及數(shù)據(jù)展現(xiàn)層的全過程，支持分析模型的維護(hù)以及數(shù)據(jù)源的結(jié)構(gòu)性變化，通過經(jīng)營分析與決策支持監(jiān)控門戶提供包括展現(xiàn)報(bào)表定制、元數(shù)據(jù)維護(hù)、門戶定制、統(tǒng)一安全管理等管理服務(wù)。2.3、系統(tǒng)關(guān)鍵環(huán)節(jié)、系統(tǒng)

7、關(guān)鍵環(huán)節(jié)2.3.1異種數(shù)據(jù)源集成異種數(shù)據(jù)源集成企業(yè)在進(jìn)行經(jīng)營分析與決策支持系統(tǒng)建設(shè)時(shí)必須將遺留系統(tǒng)（LegacySystem）[3]進(jìn)行高效全面地集成，由于遺留系統(tǒng)是在企業(yè)發(fā)展的不同時(shí)期建設(shè)的，往往缺乏全局的規(guī)劃，所以常表現(xiàn)為不同的操作系統(tǒng)平臺(tái)、不同的數(shù)據(jù)庫平臺(tái)、不同的網(wǎng)絡(luò)通信機(jī)制等等，形成了所謂的“信息孤島”；系統(tǒng)中采用異種數(shù)據(jù)源的企業(yè)應(yīng)用集成接口來實(shí)現(xiàn)對(duì)異種數(shù)據(jù)源的透明訪問，包括數(shù)據(jù)源元數(shù)據(jù)訪問以及業(yè)務(wù)操作數(shù)據(jù)訪問。數(shù)據(jù)源分為在線數(shù)

8、據(jù)源和離線數(shù)據(jù)源，在線數(shù)據(jù)源是指允許在線抽取的業(yè)務(wù)數(shù)據(jù)源，如營業(yè)數(shù)據(jù)，離線數(shù)據(jù)源是指不允許直接在線抽取的數(shù)據(jù)源，如計(jì)費(fèi)樣單數(shù)據(jù)，采用以脫機(jī)平面文件數(shù)據(jù)的格式以FTP方式集成進(jìn)本系統(tǒng)。對(duì)數(shù)據(jù)源實(shí)現(xiàn)元數(shù)據(jù)級(jí)的管理，數(shù)據(jù)源的連接類型（ODBC、OLEDB、JDBC、Native）、連接字符串以及該數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)信息都以技術(shù)元數(shù)據(jù)的形式存儲(chǔ)于元數(shù)據(jù)庫中，通過控制臺(tái)對(duì)其進(jìn)行業(yè)務(wù)語義定義，使用戶對(duì)整個(gè)企業(yè)的信息系統(tǒng)有了全面的掌握。2.3.2ODS

9、層的設(shè)計(jì)層的設(shè)計(jì)操作數(shù)據(jù)存儲(chǔ)ODS（OperationDataStage）是一個(gè)集成了來自不同數(shù)據(jù)庫數(shù)據(jù)的環(huán)境。其目的是為終端用戶提供一致的企業(yè)數(shù)據(jù)集成視圖。它可以幫助用戶輕松應(yīng)對(duì)跨多個(gè)商業(yè)功能的操作挑戰(zhàn)。它是面向主題的、集成的、近實(shí)時(shí)的數(shù)據(jù)存儲(chǔ)。設(shè)計(jì)ODS層的目的在于：改善了對(duì)關(guān)鍵操作數(shù)據(jù)庫的存??；用戶能獲得對(duì)于收益、客戶等主題的企業(yè)級(jí)的完整視圖，有利于更好地通觀全局；近實(shí)時(shí)的數(shù)據(jù)存儲(chǔ)提供了查詢產(chǎn)品與服務(wù)的能力；以更高的性能生成操作報(bào)

10、告。設(shè)計(jì)ODS的核心是實(shí)現(xiàn)焦點(diǎn)主題全局試圖應(yīng)用，如企業(yè)的客戶管理系統(tǒng)，可以CRM的理念建立以客戶為中心的ODS客戶主題視圖，向上層提供高效的服務(wù)。而對(duì)于話費(fèi)結(jié)算則采取了從綜合結(jié)算系統(tǒng)中直接抽取到數(shù)據(jù)倉庫的方式，抽取周期為結(jié)算周期，能完全滿足決策分析的時(shí)間窗要求。2.3.3ETL過程的設(shè)計(jì)過程的設(shè)計(jì)數(shù)據(jù)抽取、轉(zhuǎn)換和加載，是數(shù)據(jù)倉庫實(shí)現(xiàn)過程中，進(jìn)行數(shù)據(jù)由數(shù)據(jù)源系統(tǒng)向數(shù)據(jù)倉庫加載的主要方法，對(duì)于整個(gè)數(shù)據(jù)處理過程，實(shí)現(xiàn)如下：數(shù)據(jù)抽?。簭臄?shù)據(jù)源系

11、統(tǒng)抽取數(shù)據(jù)倉庫系統(tǒng)需要的數(shù)據(jù)。數(shù)據(jù)抽取采用統(tǒng)一的接口，可以從數(shù)據(jù)庫抽取數(shù)據(jù)，也可以從文件抽取，對(duì)于不同數(shù)據(jù)平臺(tái)、不同的源數(shù)據(jù)形式、不同性能要求的業(yè)務(wù)系統(tǒng)以及不同數(shù)據(jù)量的源數(shù)據(jù)，可能采用的接口方式不同。為保證抽取效率，同時(shí)減少對(duì)生產(chǎn)運(yùn)營系統(tǒng)的影響，對(duì)于大數(shù)據(jù)量的抽取，采取“數(shù)據(jù)分割、縮短抽取周期”的原則，對(duì)于直接的數(shù)據(jù)庫抽取，采取協(xié)商接口表的方式，保障生產(chǎn)系統(tǒng)數(shù)據(jù)庫的安全。為了滿足經(jīng)營分析系統(tǒng)進(jìn)行分析、挖掘的需要，同時(shí)保證不能影響業(yè)務(wù)系統(tǒng)