基于網(wǎng)格計算的分布式數(shù)據(jù)管理關(guān)鍵技術(shù)研究.pdf

1、隨著信息技術(shù)的發(fā)展，大規(guī)模數(shù)據(jù)共享與協(xié)同工作環(huán)境已經(jīng)成為主流應(yīng)用普遍采用的工作模式。同時，以網(wǎng)格計算為基礎(chǔ)的科學(xué)活動環(huán)境已經(jīng)成為當(dāng)前國際計算機技術(shù)研究的熱點和前沿領(lǐng)域。其中網(wǎng)格數(shù)據(jù)管理屬于網(wǎng)格計算技術(shù)的基礎(chǔ)架構(gòu)，并且在一定程度上成為連接以網(wǎng)格計算為基礎(chǔ)的科學(xué)活動各部分之間的橋梁。但是，當(dāng)前網(wǎng)格環(huán)境下的數(shù)據(jù)管理存在著管理效率低下、用戶體驗不友好、數(shù)據(jù)操作效率不高等諸多問題；同時因為網(wǎng)格系統(tǒng)構(gòu)建技術(shù)而人為制造的技術(shù)鴻溝仍然存在，從而造成了新

2、的信息孤島的出現(xiàn)。因此，針對這些問題，需要對基于網(wǎng)格計算的分布式數(shù)據(jù)管理中的關(guān)鍵技術(shù)進行研究，具體包括元數(shù)據(jù)管理、數(shù)據(jù)傳輸管理、數(shù)據(jù)的量化評價以及網(wǎng)格間的數(shù)據(jù)互操作幾個方面。
　　 在基于網(wǎng)格計算的分布式數(shù)據(jù)管理的最大特征是元數(shù)據(jù)與數(shù)據(jù)是分開存放的。由于所有的數(shù)據(jù)操作首先需要對相應(yīng)元數(shù)據(jù)信息進行操作，因此元數(shù)據(jù)管理是構(gòu)建整個網(wǎng)格環(huán)境下透明數(shù)據(jù)訪問的基礎(chǔ)，同時它能影響數(shù)據(jù)操作的執(zhí)行效率，從而進一步影響整個網(wǎng)格系統(tǒng)的執(zhí)行效率。為了充

3、分利用數(shù)據(jù)的空間局部性的特征，可以通過構(gòu)建一種兩層結(jié)構(gòu)的元數(shù)據(jù)管理方式，并將為實現(xiàn)透明數(shù)據(jù)訪問而設(shè)置的兩次數(shù)據(jù)地址轉(zhuǎn)換分別映射到所提出的兩層結(jié)構(gòu)（也即數(shù)據(jù)邏輯域和數(shù)據(jù)域）中，同時利用數(shù)據(jù)的空間局限性，使得數(shù)據(jù)的存放位置不再是隨機選擇存儲資源，而是盡量靠近訪問者的位置（也即數(shù)據(jù)邏輯域中所指定存儲資源），從而提高數(shù)據(jù)訪問效率。
　　 單一集中的元數(shù)據(jù)管理與組織方式難以適應(yīng)元數(shù)據(jù)在存儲容量以及訪問數(shù)量方面不斷增長的需求。在兩層結(jié)構(gòu)的元

4、數(shù)據(jù)管理方式的基礎(chǔ)上，可以通過基于副本的元數(shù)據(jù)以提高元數(shù)據(jù)管理的可擴展性，同時在一定程度上提高元數(shù)據(jù)的可用性。這種基于副本的元數(shù)據(jù)擴展技術(shù)對網(wǎng)格系統(tǒng)中的虛擬數(shù)據(jù)視圖按照其樹狀結(jié)構(gòu)進行完整、互斥劃分，并以此為最小單位對元數(shù)據(jù)進行復(fù)制。同時提出相應(yīng)的元數(shù)據(jù)副本創(chuàng)建、讀寫等操作；并提出一種副本更新策略，用以維護不同元數(shù)據(jù)副本之間的一致性，從而提高整個系統(tǒng)元數(shù)據(jù)的可用性。進一步地，通過緩存的方式，將頻繁訪問的元數(shù)據(jù)緩存到本地，從而可以進一步提升

5、元數(shù)據(jù)管理的效率，降低元數(shù)據(jù)操作的執(zhí)行時間。
　　 為了提高整個數(shù)據(jù)管理的效率，需要盡量在現(xiàn)有網(wǎng)絡(luò)條件下提高數(shù)據(jù)的傳輸效率。并行傳輸是一種常用的提高數(shù)據(jù)傳輸效率的方式，但是通常的并行傳輸方式需要基于數(shù)據(jù)副本或者數(shù)據(jù)分片來完成，而這會相應(yīng)地增加管理成本。另一方面，網(wǎng)格環(huán)境中的兩點間的網(wǎng)絡(luò)資源往往并不是唯一的，而是會有冗余鏈路的存在?；谶@種情況，可以通過基于多路徑的數(shù)據(jù)優(yōu)化傳輸技術(shù)對數(shù)據(jù)進行并行傳輸，它在不改變現(xiàn)有網(wǎng)絡(luò)協(xié)議的基礎(chǔ)上

6、，通過選擇不同的中轉(zhuǎn)節(jié)點以形成中轉(zhuǎn)路徑而充分利用網(wǎng)絡(luò)資源中的冗余鏈路，并將數(shù)據(jù)通過多條選擇出來的中轉(zhuǎn)路徑進行并行傳輸，以達到提高數(shù)據(jù)傳輸效率的目的。
　　 相對于龐大的數(shù)據(jù)尺寸而言，網(wǎng)格環(huán)境中高性能的存儲資源的存儲容量總是有限的，因此需要將那些重要的、訪問需求高的數(shù)據(jù)放置在高端存儲資源之上；而那些極少訪問的數(shù)據(jù)則需要遷移至低端存儲資源之上。定量的數(shù)據(jù)評價正是反映數(shù)據(jù)在當(dāng)前系統(tǒng)中的重要程度，從而可以為數(shù)據(jù)的存儲資源分配及相關(guān)數(shù)據(jù)管

7、理操作提供量化依據(jù)。借鑒經(jīng)濟學(xué)領(lǐng)域中的價值規(guī)律，可以采用一種定量的數(shù)據(jù)評價模型，它將影響數(shù)據(jù)定量評價結(jié)構(gòu)的影響因素分為三個方面，即數(shù)據(jù)本身屬性，數(shù)據(jù)訪問狀況及存儲設(shè)備所能提供的數(shù)據(jù)訪問能力，分別對應(yīng)價值規(guī)律中的商品使用價值、商品需求狀況和商品供給能力等商品屬性。該量化模型在考慮數(shù)據(jù)上述三方面特性的基礎(chǔ)上，提出了量化模型的具體公式，其結(jié)果反映了數(shù)據(jù)在系統(tǒng)中的重要程度，從而為制定數(shù)據(jù)存放策略提供參考。另一方面，可以通過改變數(shù)據(jù)的某些屬性而達

8、到調(diào)整數(shù)據(jù)量化結(jié)果的目的，而這種改變在實質(zhì)上就是進行某種數(shù)據(jù)管理操作，例如數(shù)據(jù)遷移、數(shù)據(jù)復(fù)制等，因此可以依據(jù)該模型進行數(shù)據(jù)管理操作，實現(xiàn)優(yōu)化數(shù)據(jù)管理方式、提高數(shù)據(jù)及存儲資源使用效率等目的。
　　 為了在更大范圍內(nèi)實現(xiàn)數(shù)據(jù)的共享與協(xié)作，同時避免新的信息孤島的出現(xiàn)，需要構(gòu)建網(wǎng)格系統(tǒng)間的數(shù)據(jù)互操作機制，以實現(xiàn)不同網(wǎng)格系統(tǒng)之間的數(shù)據(jù)相互訪問能力。ChinaGrid是在中國網(wǎng)格領(lǐng)域有著重大影響的網(wǎng)格系統(tǒng)；而SRB (Storage Res

9、ource Broker)則是一種中間件平臺，為通過網(wǎng)格鏈接異構(gòu)數(shù)據(jù)資源提供接口；同時它也可以作為網(wǎng)格環(huán)境中用于數(shù)據(jù)管理的分布式文件系統(tǒng)，可以實現(xiàn)數(shù)據(jù)緩存、數(shù)據(jù)同步和備份、異構(gòu)存儲等數(shù)據(jù)管理功能。由于SRB是一種被眾多網(wǎng)格系統(tǒng)廣泛采用的數(shù)據(jù)管理中間件，因此在實現(xiàn)ChinaGrid與SRB兩者之間的數(shù)據(jù)互操作的基礎(chǔ)之上，可以實現(xiàn)在ChinaGrid和國際眾多主流網(wǎng)格系統(tǒng)的數(shù)據(jù)互操作功能；同時ChinaGrid與SRB間數(shù)據(jù)互操作的方法也可

10、用于其它網(wǎng)格數(shù)據(jù)管理系統(tǒng)與SRB系統(tǒng)的數(shù)據(jù)互操作中。整個互操作分為ChinaGrid訪問SRB數(shù)據(jù)資源與SRB訪問ChinaGrid數(shù)據(jù)資源兩個部分。其中，ChinaGrid訪問SRB數(shù)據(jù)資源方面，采用內(nèi)建SRB訪問接口的方式實現(xiàn)ChinaGrid透明訪問SRB數(shù)據(jù)資源的數(shù)據(jù)互操作；而SRB訪問ChinaGrid數(shù)據(jù)資源，則將ChinaGrid數(shù)據(jù)管理看成SRB的一個文件系統(tǒng)，通過建立合符SRB規(guī)范的數(shù)據(jù)訪問接口，透明的訪問ChinaG

11、rid中的數(shù)據(jù)資源。通過這樣的設(shè)置，將分布在異構(gòu)資源上的數(shù)據(jù)共享從單個網(wǎng)格系統(tǒng)推廣到了多網(wǎng)格系統(tǒng)，從而達到在最大程度上的數(shù)據(jù)共享的目的。
　　 綜上所述，在深入分析網(wǎng)格環(huán)境下數(shù)據(jù)管理以及圍繞數(shù)據(jù)共享與數(shù)據(jù)協(xié)作而展開的科學(xué)活動的行為特征與應(yīng)用需求的基礎(chǔ)上，圍繞構(gòu)建透明、高效的網(wǎng)格數(shù)據(jù)管理服務(wù)的目的，通過重點研究網(wǎng)格環(huán)境下的元數(shù)據(jù)管理技術(shù)、元數(shù)據(jù)管理的擴展技術(shù)、基于多鏈路的并行數(shù)據(jù)傳輸技術(shù)、量化的數(shù)據(jù)評價模型以及多網(wǎng)格環(huán)境下的數(shù)據(jù)互