對(duì)提高企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)即時(shí)性的研究.pdf

1、隨著計(jì)算機(jī)技術(shù)和信息技術(shù)的飛速發(fā)展，電子信息數(shù)據(jù)在企業(yè)的日常運(yùn)營(yíng)中越來(lái)越重要，企業(yè)迫切需要高效、精確、及時(shí)地分析數(shù)據(jù)。傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)加載周期較長(zhǎng)，往往只能提供對(duì)歷史數(shù)據(jù)的分析與查詢，不能實(shí)時(shí)地反應(yīng)企業(yè)商業(yè)信息變。實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)作為傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的擴(kuò)展，有效地縮短了信息延時(shí)，為企業(yè)提供了更有價(jià)值的戰(zhàn)術(shù)型決策支持。數(shù)據(jù)倉(cāng)庫(kù)建模，ETL實(shí)現(xiàn)，前端查詢是實(shí)現(xiàn)整個(gè)數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵環(huán)節(jié)，要在數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中，提高實(shí)現(xiàn)實(shí)時(shí)性，數(shù)據(jù)建模，設(shè)計(jì)相應(yīng)的ETL數(shù)

2、據(jù)抽取方案。
　　 本文在全面分析實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的研究現(xiàn)狀和數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的基礎(chǔ)上，給出了實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)，并且討論了實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用。本文通過(guò)對(duì)企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)的架構(gòu)研究和提出改進(jìn)的架構(gòu)開(kāi)始，通過(guò)對(duì)實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵技術(shù)，重點(diǎn)分析了實(shí)時(shí)的實(shí)現(xiàn)難點(diǎn)：針對(duì)與企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)體系中存在的結(jié)構(gòu)單一性導(dǎo)致的開(kāi)發(fā)和性能的問(wèn)題提出一個(gè)較合理的改進(jìn)方案；針對(duì)企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型中的設(shè)計(jì)步驟和技術(shù)提出一些優(yōu)化性能的方案，包括數(shù)據(jù)聚簇的使用

3、、針對(duì)數(shù)據(jù)倉(cāng)庫(kù)特殊模型的表劃分設(shè)計(jì)、數(shù)據(jù)模型的約束一致性的設(shè)計(jì)和數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)庫(kù)索引的優(yōu)化設(shè)計(jì)；針對(duì)于傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)中的ETL中的變更數(shù)據(jù)捕獲和匯總數(shù)據(jù)更新的運(yùn)行效率較低導(dǎo)致的數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)不即時(shí)性問(wèn)題，提出企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)的ETL的優(yōu)化設(shè)計(jì)方案。
　　 通過(guò)針對(duì)這些問(wèn)題的分析、研究和解決過(guò)程，本文提出了企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)的基本架構(gòu)方案來(lái)解決企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)的可拓展性和節(jié)約開(kāi)發(fā)的成本；通過(guò)對(duì)企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)模型技術(shù)的研究提出一套數(shù)據(jù)

4、倉(cāng)庫(kù)建模的優(yōu)化方案從數(shù)據(jù)模型上來(lái)優(yōu)化數(shù)據(jù)倉(cāng)庫(kù)的被訪問(wèn)實(shí)時(shí)性能；通過(guò)對(duì)ETL技術(shù)的改進(jìn)和數(shù)據(jù)庫(kù)相關(guān)技術(shù)的分析提出了基于數(shù)據(jù)庫(kù)復(fù)制技術(shù)的變更數(shù)據(jù)捕獲方案和基于ODS實(shí)時(shí)分區(qū)的匯總數(shù)據(jù)更新解決方案來(lái)從數(shù)據(jù)抽取、捕捉和轉(zhuǎn)換的過(guò)程中縮短時(shí)間窗口來(lái)減少ETL時(shí)間窗口在整個(gè)數(shù)據(jù)倉(cāng)庫(kù)的占用時(shí)間，并詳細(xì)闡述了設(shè)計(jì)過(guò)程及實(shí)現(xiàn)。最后以汽車(chē)行業(yè)“EDS實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)”項(xiàng)目為背景，實(shí)現(xiàn)了所提出的實(shí)時(shí)的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)解決方案，結(jié)果證明了方案的合理性與有效性。