集群式并行計算機的數(shù)據(jù)分布中間件的研究與開發(fā).pdf

1、隨著各大企業(yè)的數(shù)據(jù)集中及網(wǎng)絡技術的發(fā)展,信息量越來越龐大,而從數(shù)據(jù)庫管理系統(tǒng)本身的應用來講,即使運行在性能極高的大型主機上,在處理大量并發(fā)用戶和大規(guī)模數(shù)據(jù)量時,也很難滿足I/O和CPU方面的性能要求.在這種情況下,數(shù)據(jù)庫管理系統(tǒng)采用并行技術就成為一種強烈的需要.并行數(shù)據(jù)庫系統(tǒng)作為提高系統(tǒng)性能的強有力工具越來越受到人們的重視.本課題的目的是希望通過開發(fā)一個針對集群計算機并支持數(shù)據(jù)并行處理的中間件系統(tǒng),重點是中間件系統(tǒng)中數(shù)據(jù)分布技術的研究和

2、開發(fā),實現(xiàn)利用集群計算機中的多個單機數(shù)據(jù)庫來獲得接近并行數(shù)據(jù)庫的性能.本課題中所研究的數(shù)據(jù)分布技術指的是無共享(SN)結構并行數(shù)據(jù)庫的數(shù)據(jù)分布技術.不同的系統(tǒng)它的數(shù)據(jù)分布的方法與策略也是不同的,沒有絕對通用的數(shù)據(jù)分布的方法與策略,我的工作主要就是找到適合本系統(tǒng)的數(shù)據(jù)分布方法與策略.通過對SN結構并行數(shù)據(jù)庫數(shù)據(jù)分布技術進行全面的研究和比較,提出了適合本系統(tǒng)的改進的Range劃分方法,并設計實現(xiàn)了一個數(shù)據(jù)建立工具;通過對數(shù)據(jù)傾斜的研究判斷,

3、設計了一個數(shù)據(jù)重分布的算法,依此算法開發(fā)了一個數(shù)據(jù)重分布工具;根據(jù)研究結果和本系統(tǒng)的實際情況確定了采用基于容量的數(shù)據(jù)分布策略,并對劃分屬性的自動選擇進行了嘗試,設計實現(xiàn)了一個劃分屬性選擇工具,具有一定的創(chuàng)新性.同時還對無共享結構并行數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)傾斜、數(shù)據(jù)復制、"小表"的處理等數(shù)據(jù)分布相關問題進行了研究,提出了本系統(tǒng)中相應的解決辦法,在對"小表"的處理的研究中,確定了小表在本系統(tǒng)中的應用.目前,國內的各大企業(yè)集團都在進行群集及并行數(shù)據(jù)