基于數(shù)據(jù)關(guān)聯(lián)性聚類的數(shù)據(jù)布局算法.pdf

1、隨著云計算的迅猛發(fā)展,海量的數(shù)據(jù)被集中到云服務(wù)器上,為用戶提供存儲、檢索、計算等遠(yuǎn)程應(yīng)用服務(wù)。在云服務(wù)器上,海量數(shù)據(jù)的存取操作往往是性能瓶頸,所以設(shè)計并優(yōu)化數(shù)據(jù)布局算法,以提升存儲器利用率和數(shù)據(jù)訪問速度,是云計算的一個重要研究課題?？紤]到海量數(shù)據(jù)的爆炸式發(fā)展和防災(zāi)的安全需求,使得數(shù)據(jù)不可能只集中于一個數(shù)據(jù)中心,所以數(shù)據(jù)布局算法不僅要研究在同一個數(shù)據(jù)中心的本地服務(wù)器集群中的分配問題,還要研究跨數(shù)據(jù)中心的數(shù)據(jù)布局,以及跨數(shù)據(jù)中心數(shù)據(jù)訪問業(yè)務(wù)

2、的效率問題。前一個可看成是戰(zhàn)術(shù)層面的數(shù)據(jù)布局優(yōu)化,后一個可看成是戰(zhàn)略層面的數(shù)據(jù)布局優(yōu)化,本文主要針對后一個戰(zhàn)略層面問題,設(shè)計了相應(yīng)的數(shù)據(jù)布局算法。論文的主要工作如下:
　　(1)設(shè)計了一個基于數(shù)據(jù)關(guān)聯(lián)性聚類的數(shù)據(jù)布局算法(DPBDD Data Placement Based On Data Dependence)。云服務(wù)器上的眾多應(yīng)用往往會使用多種來源的數(shù)據(jù),也會相互之間共享某一類數(shù)據(jù),這種應(yīng)用與數(shù)據(jù)之間的多對多關(guān)系導(dǎo)致了數(shù)據(jù)之間

3、存在復(fù)雜的關(guān)聯(lián)性?，F(xiàn)有的只考慮數(shù)據(jù)中心負(fù)載均衡的數(shù)據(jù)布局算法不考慮數(shù)據(jù)之間的關(guān)聯(lián)性,當(dāng)執(zhí)行某個跨數(shù)據(jù)中心的應(yīng)用時,往往會產(chǎn)生大量的數(shù)據(jù)遷移,降低數(shù)據(jù)訪問的效率。本文首先定義了不可被分割執(zhí)行的元應(yīng)用,同一個元應(yīng)用所使用的數(shù)據(jù)單元被認(rèn)為是有關(guān)聯(lián)的,從而建立數(shù)據(jù)關(guān)聯(lián)矩陣,再通過運(yùn)用BEA算法對數(shù)據(jù)關(guān)聯(lián)矩陣進(jìn)行變換得到聚類關(guān)聯(lián)矩陣,使得關(guān)聯(lián)度高的數(shù)據(jù)在矩陣中排列得比較靠近,然后通過分割聚類關(guān)聯(lián)矩陣把數(shù)據(jù)類分配給各個數(shù)據(jù)中心。通過仿真實驗,與一致

4、hash算法和基于數(shù)據(jù)中心容量聚類的布局算法進(jìn)行了比較,結(jié)果表明DPBDD算法在數(shù)據(jù)遷移量指標(biāo)上明顯改善。
　　(2)考慮到增量數(shù)據(jù)的布局問題,基于K-means算法設(shè)計了一個DPBDD-k算法。云服務(wù)器上的海量數(shù)據(jù)始終在高速增長,DPBDD算法適合用于云系統(tǒng)的初始靜態(tài)規(guī)劃和結(jié)構(gòu)性升級規(guī)劃,云系統(tǒng)運(yùn)行時的動態(tài)規(guī)劃則必須研究如何將新增數(shù)據(jù)合理的布局到各個數(shù)據(jù)中心。DPBDD-k算法以DPBDD算法得到的k個分類作為K-means算法