分布式環(huán)境下元數(shù)據(jù)驅(qū)動增量ETL的設(shè)計與實現(xiàn).pdf

1、現(xiàn)代企業(yè)每天會產(chǎn)生大量異構(gòu)日志，以統(tǒng)一模型建立數(shù)據(jù)倉庫是一個迫切的需求。建立數(shù)據(jù)倉庫的核心任務(wù)是設(shè)計ETL過程，由于不同業(yè)務(wù)系統(tǒng)中日志內(nèi)容和形式各異，目前每種ETL系統(tǒng)都只能適配特定的業(yè)務(wù)場景，因此實際應(yīng)用中存在諸多不便。本文提出了一套普適性的元數(shù)據(jù)存儲模型，并以此為基礎(chǔ)設(shè)計了具備很強可移植性的ETL系統(tǒng)，它可以對不同業(yè)務(wù)系統(tǒng)的海量數(shù)據(jù)進(jìn)行增量ETL處理，實現(xiàn)了統(tǒng)一數(shù)據(jù)存儲，并為接下來的數(shù)據(jù)分析提供標(biāo)準(zhǔn)化的維度。
　　本文主要工作

2、如下:
　　1)采用雪花模式進(jìn)行數(shù)據(jù)倉庫建模，實現(xiàn)維度規(guī)范化;簡化元數(shù)據(jù)管理的組織方式，按功能將元數(shù)據(jù)劃分為資源元數(shù)據(jù)、映射元數(shù)據(jù)和數(shù)據(jù)倉庫元數(shù)據(jù)。
　　2)設(shè)計數(shù)據(jù)字典，建立維度管理系統(tǒng);歸納映射種類，表達(dá)映射規(guī)則;歸納數(shù)據(jù)倉庫中的存儲對象;以前三項工作為基礎(chǔ)建立一套普適性的元數(shù)據(jù)存儲模型，其具備統(tǒng)一列式存儲、緩慢漸變維度支持、實體關(guān)系解耦、操作存儲支持等諸多優(yōu)點。
　　3)以Flume-ng，Kakfa，Hbase