基于數(shù)據(jù)庫集群的海洋環(huán)境數(shù)據(jù)優(yōu)化存儲(chǔ)與分布式管理.pdf

1、由于衛(wèi)星遙感等海洋探測(cè)技術(shù)的快速發(fā)展，所獲得的海洋數(shù)據(jù)呈爆炸趨勢(shì)增長(zhǎng)，數(shù)據(jù)量高達(dá)幾百GB甚至于TB級(jí)的海量海洋數(shù)據(jù)庫應(yīng)用已經(jīng)出現(xiàn)。海洋環(huán)境數(shù)據(jù)存在著多源多格式、數(shù)據(jù)量大的特點(diǎn)，而基于互聯(lián)網(wǎng)或局域網(wǎng)對(duì)這些數(shù)據(jù)的訪問又有速度、效率、可用性等方面的要求。本文針對(duì)這些問題，研究海量數(shù)據(jù)優(yōu)化存儲(chǔ)方法以及基于數(shù)據(jù)庫集群的分布式數(shù)據(jù)管理技術(shù)，提高海洋數(shù)據(jù)管理的整體性能和系統(tǒng)的可靠性。論文的主要研究?jī)?nèi)容和成果如下： 1．海洋環(huán)境數(shù)據(jù)優(yōu)化存儲(chǔ)研究

2、 由于海洋環(huán)境數(shù)據(jù)應(yīng)用具有面向查詢的特點(diǎn)，查詢效率和存儲(chǔ)空間占用量是進(jìn)行海洋環(huán)境數(shù)據(jù)庫建設(shè)所要考慮的最重要的因素。基于這種實(shí)際需求，對(duì)海洋數(shù)據(jù)優(yōu)化存儲(chǔ)進(jìn)行研究，研究包括三個(gè)方面：改造傳統(tǒng)關(guān)系存儲(chǔ)模式；研究數(shù)據(jù)分片方法；研究相應(yīng)的數(shù)據(jù)操作方法。 本文提出了一種新的類似網(wǎng)格結(jié)構(gòu)的關(guān)系模式Grid_R來管理海洋數(shù)據(jù)，該結(jié)構(gòu)類似數(shù)據(jù)采集的實(shí)際地理經(jīng)緯度網(wǎng)格，除了時(shí)間，緯度，將所有的經(jīng)度直接作為屬性列。數(shù)據(jù)分片方法以及相應(yīng)的數(shù)據(jù)操

3、作方法研究均基于Grid_R數(shù)據(jù)組織結(jié)構(gòu)。通過存儲(chǔ)與組織的優(yōu)化減少了數(shù)據(jù)庫的數(shù)據(jù)冗余，磁盤空間占用量不到傳統(tǒng)方法的1/4，減少了網(wǎng)絡(luò)傳輸時(shí)的數(shù)據(jù)量，在某種意義上實(shí)現(xiàn)了數(shù)據(jù)壓縮。單表查詢效率比傳統(tǒng)方法提高了4倍以上。 2．基于數(shù)據(jù)庫集群技術(shù)的海量數(shù)據(jù)分布式管理研究 傳統(tǒng)的集中式數(shù)據(jù)庫系統(tǒng)難以有效支持基于WEB的海洋地理信息系統(tǒng)功能。隨著數(shù)據(jù)庫請(qǐng)求不斷增加，查詢方式的日益復(fù)雜，數(shù)據(jù)庫服務(wù)器的負(fù)載增加，響應(yīng)單個(gè)請(qǐng)求的速度越來越

4、慢，對(duì)系統(tǒng)的穩(wěn)定運(yùn)行帶來了不利影響。海量數(shù)據(jù)也對(duì)單服務(wù)器的存儲(chǔ)能力提出挑戰(zhàn)。 本文將數(shù)據(jù)庫集群技術(shù)應(yīng)用于海洋環(huán)境數(shù)據(jù)的管理，提出使用基于中間件的數(shù)據(jù)庫集群實(shí)現(xiàn)海量數(shù)據(jù)的分布式管理，將數(shù)據(jù)分布于不同的數(shù)據(jù)庫節(jié)點(diǎn)上，集群中間件系統(tǒng)負(fù)責(zé)各節(jié)點(diǎn)的協(xié)作與并行處理，可以獲得高性能、高可用性、高可擴(kuò)展性，突破傳統(tǒng)的集中式數(shù)據(jù)庫服務(wù)器上的DBMS所固有的性能瓶頸限制。 3．海洋環(huán)境數(shù)據(jù)庫集群關(guān)鍵技術(shù)研究 基于優(yōu)化存儲(chǔ)結(jié)構(gòu)和分布式

5、管理策略，對(duì)數(shù)據(jù)庫集群數(shù)據(jù)分布、負(fù)載均衡以及并行查詢等關(guān)鍵技術(shù)進(jìn)行研究： 提出了一種新的數(shù)據(jù)分布算法：兩步分布法，將數(shù)據(jù)集分為分片數(shù)據(jù)集和復(fù)制數(shù)據(jù)集，兩步分布法即先均勻分布分片數(shù)據(jù)集、再按異構(gòu)節(jié)點(diǎn)資源權(quán)值分布復(fù)制數(shù)據(jù)集，在保證相鄰數(shù)據(jù)分布在不同節(jié)點(diǎn)的基礎(chǔ)上，使數(shù)據(jù)分布盡量達(dá)到均衡； 提出了一種基于數(shù)據(jù)復(fù)制的動(dòng)態(tài)負(fù)載均衡算法來平衡集群的負(fù)載，以達(dá)到提高整體性能的目標(biāo)，并解決了局部節(jié)點(diǎn)過熱和集群可用性問題； 提出了一

6、種并行查詢算法來實(shí)現(xiàn)用戶對(duì)集群的透明查詢，將用戶的全局查詢進(jìn)行解析，根據(jù)元數(shù)據(jù)將全局查詢轉(zhuǎn)化對(duì)各節(jié)點(diǎn)的本地查詢，調(diào)用負(fù)載均衡獲得最佳查詢節(jié)點(diǎn)，然后在各節(jié)點(diǎn)并行執(zhí)行查詢，最后進(jìn)行重構(gòu)得到最終結(jié)果，并將結(jié)果返回用戶。 根據(jù)研究成果，基于海洋大氣地理信息系統(tǒng)MAGIS(MarineandAtmosphericGeographicalInformationSystem)平臺(tái)軟件，建設(shè)了多節(jié)點(diǎn)海洋環(huán)境數(shù)據(jù)庫集群，并開發(fā)了集群中間件分布式海