ETL系統(tǒng)在保險行業(yè)ODS中的設(shè)計和實現(xiàn).pdf

1、建立操作性數(shù)據(jù)存儲是解決在保險業(yè)中大量業(yè)務(wù)數(shù)據(jù)處理、匯總和分析的一個重要技術(shù)，而ETL過程對操作性數(shù)據(jù)存儲的建設(shè)有著極其重要的意義。本文通過對ETL相關(guān)研究和技術(shù)的分析，結(jié)合某保險公司的一個實際ETL系統(tǒng)項目，對ETL的設(shè)計和實現(xiàn)進行了研究。主要內(nèi)容如下： ⑴設(shè)計建模方面。基于公共數(shù)據(jù)倉庫元模型標準并結(jié)合項目實際情況提出了ETL系統(tǒng)的設(shè)計模型框架，然后通過分析處理調(diào)度單元之間的邏輯關(guān)系建立了作業(yè)調(diào)度管理元模型，在具體實現(xiàn)設(shè)計過程

2、中利用ETL工具和腳本技術(shù)實現(xiàn)了對整個ETL系統(tǒng)中各險種數(shù)據(jù)處理的復(fù)雜調(diào)度。 ⑵數(shù)據(jù)抽取方面。針對分布式異構(gòu)多數(shù)據(jù)源的環(huán)境，給出了抽?。瓊鬏敚彌_－合并的抽取方法來有效地解決數(shù)據(jù)的抽取問題。 ⑶ETL系統(tǒng)的效能方面。利用流水和分區(qū)化的思想來對單個處理調(diào)度單元提高并行度，同時利用業(yè)務(wù)規(guī)則對多個處理調(diào)度單元并行地處理來提高整體處理效能。 ⑷重復(fù)記錄一致化方面。給出了排序-等值匹配算法，證明了存在匹配鍵的情況下該方法可

3、以有效地檢測重復(fù)記錄，以往的研究對檢測出重復(fù)記錄后的沖突處理上未見有相關(guān)的討論，論文提出了基于業(yè)務(wù)規(guī)則的沖突處理算法。錯誤數(shù)據(jù)檢測方面?；陬I(lǐng)域知識提出了建立錯誤檢測規(guī)則的方法，從理論和實驗論證了該方法的有效性。 ⑸數(shù)據(jù)質(zhì)量方面。通過一套量化體系來統(tǒng)一在數(shù)據(jù)質(zhì)量維度和重要性權(quán)重，利用權(quán)重對數(shù)據(jù)質(zhì)量指標值加權(quán)平均的方法來對整個系統(tǒng)的數(shù)據(jù)質(zhì)量進行綜合評估。以往的研究都是將數(shù)據(jù)質(zhì)量獨立于ETL系統(tǒng)來討論的，論文將數(shù)據(jù)質(zhì)量模型框架其融入