數(shù)據(jù)網(wǎng)格QoS保障與資源優(yōu)化關(guān)鍵技術(shù)研究.pdf

1、網(wǎng)格是一種先進的信息技術(shù)基礎設施，目的是有效整合Internet上廣泛分布的各種計算資源、存儲資源、通信資源、信息資源等，向用戶提供虛擬、統(tǒng)一、透明的計算環(huán)境。數(shù)據(jù)網(wǎng)格作為網(wǎng)格計算領域的一個分支，已經(jīng)得到學術(shù)界的極大關(guān)注。數(shù)據(jù)網(wǎng)格是指廣域范圍內(nèi)，對大規(guī)模的數(shù)據(jù)集進行分布式管理、分析及使用的一個綜合體系結(jié)構(gòu)。數(shù)據(jù)網(wǎng)格實現(xiàn)了安全、可靠和有效的數(shù)據(jù)傳輸、訪問、存儲和副本管理等操作，并提供到不同存儲系統(tǒng)的統(tǒng)一的接口，從而使得數(shù)據(jù)密集型高性能計算

2、及科學研究成為可能。
　　Ian foster指出網(wǎng)格最基本的一個特征就是“提供非凡的服務質(zhì)量（QoS）”。為了保障數(shù)據(jù)網(wǎng)格具有較高的QoS，需要克服網(wǎng)絡以及網(wǎng)格節(jié)點的諸多不穩(wěn)定因素，而資源（能力）預留、副本部署、緩沖區(qū)機制、并行數(shù)據(jù)傳輸和數(shù)據(jù)存儲與恢復是解決這類問題的主要手段和當下研究的熱點問題。海量數(shù)據(jù)存儲和傳輸導致大量網(wǎng)絡傳輸、存儲資源、節(jié)點資源的不必要浪費，致使高峰時刻網(wǎng)格服務接納率的急劇降低，帶來整體QoS的下降。目前多

3、數(shù)研究更關(guān)注于從某方面提升服務質(zhì)量，而較少的考慮資源的優(yōu)化調(diào)度問題，從而在保證QoS的同時一定程度上降低了網(wǎng)格系統(tǒng)整體資源的使用率。
　　本文從“保障QoS是基礎，優(yōu)化資源的使用是目標”這一宗旨出發(fā)，深入研究了如何在保障數(shù)據(jù)網(wǎng)格QoS的同時對使用的資源進行有效優(yōu)化的問題。論文將數(shù)據(jù)網(wǎng)格最基本的功能（數(shù)據(jù)存儲和數(shù)據(jù)傳輸）在服務級QoS層面分解為5個主要子服務（傳輸、存儲、緩存、節(jié)點選擇、資源預留），針對不同的子服務采用了特定手段達到

4、了QoS保障與資源優(yōu)化的雙重目標。具體為：
　　(1)多副本部署可以提升數(shù)據(jù)的可靠性和數(shù)據(jù)服務帶寬，降低網(wǎng)絡負載，基于多副本的并行傳輸算法可以極大提升傳輸速度，保障數(shù)據(jù)服務的QoS，但是多個完整副本部署對存儲空間和網(wǎng)絡傳輸?shù)南臉O大。本文首先提出了一個數(shù)據(jù)的分布式存儲模型，存儲模型在存儲空間使用上具有較大的優(yōu)勢（存儲優(yōu)化），同時具有P完整性，可以保證在任意P個節(jié)點失效時數(shù)據(jù)仍然完整；基于存儲模型給出了一并行傳輸調(diào)度器，在雙副本冗余

5、度時調(diào)度器可以適應節(jié)點間速度的較大差異，以調(diào)度器為基礎給出了一個并行傳輸算法，配置合理參數(shù)，算法可以達到基于多個完全副本的并行傳輸速度。
　　(2)為了保障數(shù)據(jù)存儲的可靠性，基于并行傳輸?shù)膭討B(tài)數(shù)據(jù)恢復是數(shù)據(jù)網(wǎng)格應具備的能力。在優(yōu)化使用存儲空間前提下，不但要保障數(shù)據(jù)存儲的基本QoS指標：可靠性和可用性，同時還必須兼顧數(shù)據(jù)的易用性。本文基于分布式存儲模型，結(jié)合節(jié)點失效性、動態(tài)恢復過程和數(shù)據(jù)交換中心策略，以本文提出的調(diào)度器、并行傳輸算法

6、并結(jié)合泊松分布定理，提出了一個動態(tài)的數(shù)據(jù)恢復模型。數(shù)據(jù)恢復模型較雙副本存儲具有更低的數(shù)據(jù)失效概率，較糾刪碼策略具有更強的易用性。
　　(3)為了克服網(wǎng)絡的不穩(wěn)定性，數(shù)據(jù)緩存是網(wǎng)絡應用較為常用的一個主要策略。考慮數(shù)據(jù)的海量特性以及資源有限性，在數(shù)據(jù)緩存服務中需要優(yōu)化配置緩沖區(qū)大小，并應考慮諸多因素，包括：數(shù)據(jù)源節(jié)點的失效性、參與服務的節(jié)點集合、各節(jié)點的傳輸速度、任務對數(shù)據(jù)失效時間的約束以及對整體失效的要求等。本文通過引入有限緩沖區(qū)模

7、型，從數(shù)據(jù)消耗者角度出發(fā)，以多副本存儲和并行傳輸模式為基礎，推導出一個服務失效模型，該模型有效表述了影響服務失效的各種參數(shù)間的量化關(guān)系，進行了仿真實驗，將模型理論值與實驗值進行了對比分析，取得了較好的結(jié)果，達到了緩沖區(qū)和服務節(jié)點的優(yōu)化配置，緩存服務QoS保障的目標。
　　(4)基于多副本進行并行數(shù)據(jù)傳輸?shù)囊粋€重要問題是：在滿足服務可靠性、傳輸時間等QoS約束的前提下，如何能夠合理選擇節(jié)點資源。本文提出了兩個模型，模型能夠?qū)W(wǎng)格節(jié)點

8、的傳輸速度、可靠性、傳輸距離、網(wǎng)絡狀態(tài)、帶寬約束等因素進行綜合決策，從而給出最優(yōu)的服務節(jié)點集合，使達到合理使用節(jié)點資源、降低網(wǎng)絡負載、降低服務請求的容忍度、提升高峰時網(wǎng)格系統(tǒng)的接納率與服務質(zhì)量并保證一次服務代價最小的多重優(yōu)化目標。
　　(5)資源預留是保障數(shù)據(jù)網(wǎng)格任務順利完成的基本前提，預留請求的接納率直接影響到服務的QoS。資源能力從宏觀上更好的描述了資源的數(shù)量和使用情況，對于資源的預留服務提供了強有力的支撐。合理的調(diào)配資源能力

9、，可以降低資源能力碎片，提升高峰時刻網(wǎng)格系統(tǒng)的吞吐量和接納率，使達到優(yōu)化資源、保障QoS的雙重目標。本文提出了基于并行加速比和四元法資源能力預留策略，與先前機制相比使網(wǎng)格系統(tǒng)可以根據(jù)預留請求的綜合信息進行主動決策，并對預留請求進行一定的資源能力變換，進一步優(yōu)化資源的使用，有效降低資源能力碎片，提升高峰時刻服務接納率。
　　個體服務QoS保障與資源優(yōu)化可以提升網(wǎng)格系統(tǒng)整體資源的利用率，從而可以在高峰時刻提升服務請求的接納率和個體服務