分布式服務(wù)系統(tǒng)基于分層的存儲資源管理研究.pdf

1、隨著通信技術(shù)和計算機科學(xué)的發(fā)展,互聯(lián)網(wǎng)逐漸形成以多媒體為核心的服務(wù)平臺。內(nèi)容分發(fā)網(wǎng)絡(luò)和對等網(wǎng)絡(luò)廣泛應(yīng)用于交互式視頻點播(VideoonDemand,VoD)系統(tǒng)的開發(fā),以提高服務(wù)質(zhì)量、增大系統(tǒng)吞吐量、降低內(nèi)容提供商的部署成本等。盡管這兩類網(wǎng)絡(luò)具有良好的可擴展性、容災(zāi)性,但其節(jié)點組織松散,故要求必須采取適當(dāng)?shù)牟呗怨芾硐到y(tǒng)資源。用戶隨機的VCR操作行為以及流媒體對服務(wù)質(zhì)量的嚴(yán)格要求加劇了VoD系統(tǒng)的復(fù)雜性。本文以實現(xiàn)高效的緩存性能為目的,研

2、究分布式VoD系統(tǒng)的存儲資源管理。由于用戶規(guī)模的膨脹,存儲資源管理已成為網(wǎng)絡(luò)服務(wù)的關(guān)鍵。本文所提出的緩存策略對VoD系統(tǒng)的研制和發(fā)展有著實際的指導(dǎo)意義,對云計算等分布式系統(tǒng)的研究具有一定的參考價值。
　　 本文將VoD系統(tǒng)的存儲資源分為代理緩存、服務(wù)器內(nèi)存(RandomAccessMemory,RAM)以及客戶端緩存三層,并分別針對各層的緩存特點和優(yōu)化目標(biāo)進行討論,其創(chuàng)新性主要體現(xiàn)在以下四個方面:
　　 第一,本文提出了

3、基于窗口的熱度統(tǒng)計算法。熱度是視頻緩存的重要參數(shù),它反映了用戶對不同視頻內(nèi)容的偏好程度,并直接影響緩存策略的性能。固定周期的熱度統(tǒng)計方法不能實時地反映用戶行為的變化,本文通過統(tǒng)計視頻數(shù)據(jù)段的請求率得到其熱度。該方法能夠靈活、及時地跟蹤熱度的真實變化。
　　 第二,本文給出了用戶點播延遲期望的表達式,并提出了相應(yīng)的代理緩存策略。由于VoD系統(tǒng)服務(wù)器節(jié)點間的傳輸延遲較大,在傳統(tǒng)的緩存算法下,若點播存在大量VCR行為,用戶將難以獲得良

4、好的服務(wù)體驗。本文定義了視頻數(shù)據(jù)段間的點播跳轉(zhuǎn)概率,結(jié)合數(shù)據(jù)預(yù)取機制研究了點播的起始延遲和網(wǎng)絡(luò)抖動延遲,給出一個較優(yōu)的代理緩存策略,并通過在線調(diào)整逼近最優(yōu)解。同時在代理緩存己知的情況下,我們提出了相應(yīng)的數(shù)據(jù)預(yù)取算法,利用緩存和預(yù)取兩種數(shù)據(jù)獲取方法的相互協(xié)作,減小用戶的點播延遲,提高代理緩存效率。
　　 第三,本文研究了減小流媒體服務(wù)器磁盤I/O的內(nèi)存緩存策略,并建立其部分可觀Markov決策過程(PartlyObservable

5、MarkovDecisionProcess,POMDP)模型。相對于其它RAM緩存算法,流媒體系統(tǒng)可以利用視頻的統(tǒng)計信息預(yù)測并調(diào)整緩存部署。我們定義了平均磁盤I/O,并提出一種簡單的貪心算法,然后給出了基于POMDP的緩存策略。在該POMDP模型中,磁盤I/O被轉(zhuǎn)化為Markov鏈的長期運行平均代價,基于觀測的隨機策略被用于優(yōu)化該模型。
　　 第四,本文針對客戶節(jié)點的不穩(wěn)定特性,提出一種以二次規(guī)劃為基礎(chǔ)的客戶端緩存置換算法。為了