分布式OLAP系統(tǒng)關(guān)鍵技術(shù)研究.pdf

1、選舉算法和分布式異構(gòu)數(shù)據(jù)庫同步技術(shù)是分布式多維聯(lián)機(jī)數(shù)據(jù)分析(On-Line Analytical Processing,OLAP)系統(tǒng)中的研究重點(diǎn)。選舉算法能夠保證系統(tǒng)在協(xié)調(diào)者崩潰的情況下,快速選舉出新的協(xié)調(diào)者,維持集群正常服務(wù),保證系統(tǒng)穩(wěn)定運(yùn)行。同時(shí),分布式異構(gòu)數(shù)據(jù)庫同步技術(shù)為OLAP分析的有效性提供了可靠的基礎(chǔ)數(shù)據(jù)。
　　論文的主要工作分為兩部分:研究一種適合分布式OLAP系統(tǒng)的選舉算法和提出一種分布式OLAP系統(tǒng)環(huán)境下的分布

2、式異構(gòu)數(shù)據(jù)庫同步模型。具體工作如下:
　　1)深入研究分布式 OLAP系統(tǒng)特點(diǎn),分析其資源占用特點(diǎn)和數(shù)據(jù)同步特點(diǎn)。為選舉算法的提出和數(shù)據(jù)同步模型設(shè)計(jì)提供依據(jù)。
　　2)針對分布式 OLAP系統(tǒng)中的 OLAP集群的資源占用特性和欺負(fù)算法存在的問題,提出一種基于欺負(fù)算法的改進(jìn)算法。該算法采用一對一的方式直接向性能最優(yōu)的節(jié)點(diǎn)發(fā)送選舉消息,以降低選舉過程中產(chǎn)生的通信量和選舉時(shí)間開銷;并通過循環(huán)選舉保證選舉出系統(tǒng)的最優(yōu)節(jié)點(diǎn)擔(dān)任系統(tǒng)協(xié)調(diào)

3、者。同時(shí),提出了一種分布式OLAP環(huán)境下優(yōu)先級(jí)判定標(biāo)準(zhǔn),為改進(jìn)算法的有效性提供前提保障。針對改進(jìn)算法,本文給出了算法的通信量和時(shí)間開銷性能分析,并進(jìn)行了算法實(shí)現(xiàn)和仿真測試。實(shí)驗(yàn)測試表明,該改進(jìn)算法有效地降低了消息通信量,減少了時(shí)間開銷,能更好的應(yīng)用于分布式 OLAP系統(tǒng)。
　　3)針對OLAP系統(tǒng)中的數(shù)據(jù)同步特點(diǎn)和現(xiàn)有異構(gòu)數(shù)據(jù)庫同步技術(shù)不足,提出一種分布式異構(gòu)數(shù)據(jù)庫同步模型。模型采用客戶端-服務(wù)器分層設(shè)計(jì)思想,提供了OLAP環(huán)境下

4、的整體數(shù)據(jù)同步的解決方案,更便于部署和調(diào)試;其采用XML作為數(shù)據(jù)交換格式,確保同步客戶端和服務(wù)器端的自治性;其采用AES加密技術(shù)和Gzip壓縮技術(shù)實(shí)現(xiàn)端到端的傳輸,滿足高安全性需求,增強(qiáng)了同步負(fù)載能力。針對提出的同步模型,采用java語言進(jìn)行實(shí)現(xiàn),并針對不同數(shù)據(jù)庫平臺(tái)對同步模型進(jìn)行了測試分析。
　　本文的改進(jìn)選舉算法能夠以較少的通信量和時(shí)間開銷選舉出性能最好的節(jié)點(diǎn)成為協(xié)調(diào)者,保障了分布式 OLAP系統(tǒng)的連續(xù)穩(wěn)定工作。此外,本文提出