數(shù)據(jù)倉庫架構設計及其緩存管理策略研究.pdf

1、最近幾年，商業(yè)智能、數(shù)據(jù)倉庫技術的研究和應用已引起了研究人員、開發(fā)人員和用戶的普遍注意。它己經(jīng)成為近年來在計算機應用領域中發(fā)展最為迅速的幾項新技術之一。隨著國內(nèi)信息化建設程度的日益提高，國內(nèi)對商業(yè)智能、數(shù)據(jù)倉庫解決方案的需求日益迫切。 目前世界上已經(jīng)出現(xiàn)了許多領先的數(shù)據(jù)倉庫產(chǎn)品供應商，但是這些商業(yè)產(chǎn)品價格高昂，并不適合國內(nèi)絕大多數(shù)中小企事業(yè)單位或政府機關的使用，且由于其源碼封閉，不利于研究。與此同時，數(shù)據(jù)倉庫領域的開源項目也得到

2、了迅速的發(fā)展，ETL、OLAP、DataMining等方面均出現(xiàn)了一些優(yōu)秀的開源產(chǎn)品。本文便基于開源產(chǎn)品對數(shù)據(jù)倉庫系統(tǒng)的架構設計進行了研究。 數(shù)據(jù)倉庫有著不同于傳統(tǒng)數(shù)據(jù)庫的分析處理和超大容量的特點，因此，如何建立一個高性能的數(shù)據(jù)倉庫系統(tǒng)正成為當前數(shù)據(jù)倉庫領域研究的熱點。數(shù)據(jù)倉庫系統(tǒng)的性能優(yōu)化涉及模式設計、并行處理、緩存管理等多個方面，本文主要對其中的緩存管理策略進行了研究。 本文首先介紹了數(shù)據(jù)倉庫的概念及其相關技術，討論

3、了數(shù)據(jù)倉庫領域商業(yè)產(chǎn)品及開源產(chǎn)品的開發(fā)現(xiàn)狀。然后提出了一個基于多層J2EE架構的開源數(shù)據(jù)倉庫架構，數(shù)據(jù)層為關系型數(shù)據(jù)庫MySql，數(shù)據(jù)采集基于CloverETL開發(fā)，OLAP引擎基于Mondrian開發(fā)，OLAP前端展現(xiàn)基于Jpivot開發(fā)，元數(shù)據(jù)管理基于Eclipse插件MondrianSchemaEditorPlugin開發(fā)，考慮到方案無須EJB支持，J2EE服務器采用Tomcat。 本文對Mondrian、Jpivot、C