數(shù)據(jù)抽取、轉(zhuǎn)換、加載描述規(guī)范的研究與應(yīng)用.pdf

1、隨著大數(shù)據(jù)時(shí)代的到來(lái)，數(shù)據(jù)倉(cāng)庫(kù)的重要性日益凸顯。ETL(Extraction、Transformation、Loading)工具可將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，進(jìn)而加載到數(shù)據(jù)倉(cāng)庫(kù)中。然而，傳統(tǒng)的ETL系統(tǒng)的開(kāi)發(fā)方式需耗費(fèi)大量人力物力，通用性較差。
　　 為此，本文采用基于元數(shù)據(jù)驅(qū)動(dòng)的方法，針對(duì)現(xiàn)有的元數(shù)據(jù)描述沒(méi)有完整的定義和統(tǒng)一的描述方法的問(wèn)題，提出了一種簡(jiǎn)潔、通用的基于XML的ETL描述規(guī)

2、范，利用動(dòng)態(tài)內(nèi)存管理、動(dòng)態(tài)數(shù)據(jù)庫(kù)連接池等技術(shù)優(yōu)化了海量數(shù)據(jù)的處理，通過(guò)對(duì)行列轉(zhuǎn)置等問(wèn)題的研究實(shí)現(xiàn)了多維數(shù)據(jù)的處理。本文主要內(nèi)容包括:
　　 1.提出了一套簡(jiǎn)潔、通用數(shù)據(jù)抽取、轉(zhuǎn)換、加載的描述規(guī)范，為ETL每個(gè)功能模塊的元數(shù)據(jù)模型描述提供規(guī)范。
　　 2.以XML為規(guī)范描述方式，設(shè)計(jì)并實(shí)現(xiàn)了對(duì)ETL描述規(guī)范的解析系統(tǒng)。該系統(tǒng)通過(guò)對(duì)規(guī)范中的實(shí)體定義相應(yīng)方法，實(shí)現(xiàn)了對(duì)規(guī)范文檔的讀取、解析，并能按照文檔內(nèi)容進(jìn)行數(shù)據(jù)抽取、轉(zhuǎn)換和加