大規(guī)模流媒體服務(wù)系統(tǒng)存儲調(diào)度研究.pdf

1、隨著多媒體技術(shù)、網(wǎng)絡(luò)技術(shù)和計算機(jī)技術(shù)的不斷進(jìn)步，流媒體服務(wù)的應(yīng)用和研究取得了飛速的發(fā)展。流媒體服務(wù)的特點是一邊下載一邊觀看，以流的形式進(jìn)行媒體數(shù)據(jù)的傳輸和服務(wù)，使用戶可以在線欣賞到連續(xù)不斷的媒體內(nèi)容。由于流媒體服務(wù)數(shù)據(jù)量大、實時性高，對存儲設(shè)備、網(wǎng)絡(luò)設(shè)備以及服務(wù)器的資源調(diào)度都提出了很高的要求。 流媒體服務(wù)系統(tǒng)的資源調(diào)度問題主要指服務(wù)資源的調(diào)度和存儲資源的調(diào)度，本文針對大規(guī)模流媒體服務(wù)系統(tǒng)中存儲調(diào)度問題，圍繞流媒體服務(wù)器集群的副本

2、管理問題和層次化流媒體服務(wù)系統(tǒng)的存儲調(diào)度問題展開研究，通過建立問題的數(shù)學(xué)模型進(jìn)行分析，提出相應(yīng)的存儲調(diào)度策略，并對存儲調(diào)度策略進(jìn)行性能分析，最后討論存儲調(diào)度系統(tǒng)在工程實現(xiàn)中的若干問題。 現(xiàn)有針對流媒體服務(wù)器集群內(nèi)的副本管理問題的研究，模型的主要目標(biāo)是服務(wù)器間的負(fù)載均衡，然而，考慮到工程實際中存儲調(diào)度的代價也是影響系統(tǒng)性能的重要因素，本文把副本調(diào)整的代價也作為存儲調(diào)度的目標(biāo)，進(jìn)而可以更好地分析存儲調(diào)度問題，發(fā)現(xiàn)現(xiàn)有算法的局限性，提

3、出相應(yīng)的改進(jìn)方案。 針對基于zipf分布副本產(chǎn)生算法總副本數(shù)有限的問題，本文提出了A)使用比例因子直接放大Zipf算法決定的副本數(shù)，B)放大Zipf產(chǎn)生算法的區(qū)間劃分?jǐn)?shù)目兩種改進(jìn)方案，可以產(chǎn)生更大的總副本數(shù)，進(jìn)而充分利用系統(tǒng)的存儲資源，為更多的用戶提供服務(wù)。 在流媒體服務(wù)器集群中副本放置問題中，由于現(xiàn)有的基于最小負(fù)載優(yōu)先(Smallest Load First，SLF)的副本放置過程不能有效利用服務(wù)器中已經(jīng)存儲的副本資源

4、，可能會創(chuàng)建過多的副本而使存儲調(diào)度代價過高；而基于背包問題的算法(如MMPacking，Dynamic Repacking等)，雖然可以有效地利用服務(wù)器上已經(jīng)存儲的副本資源，但是由于其副本產(chǎn)生機(jī)制的局限性，不能有效地利用系統(tǒng)全部的服務(wù)能力和存儲能力。針對這個問題，本文基于最小負(fù)載優(yōu)先(SLF)算法提出改進(jìn)的副本放置策略，同時結(jié)合基于Zipf分布的副本產(chǎn)生策略，不僅可以滿足負(fù)載均衡的要求，而且可以在有效地利用系統(tǒng)存儲資源和服務(wù)資源的前提下

5、，成倍地減少需要創(chuàng)建的副本數(shù)，極大地降低了存儲調(diào)度的代價，使系統(tǒng)可以有更多的資源來服務(wù)用戶的請求。 針對層次化存儲架構(gòu)下的大規(guī)模流媒體服務(wù)系統(tǒng)，本文通過將子樹虛擬化為虛擬節(jié)點，使存儲調(diào)度問題變得更具一般性，進(jìn)而提出分為自頂而下副本分發(fā)和自底而上副本請求兩個過程的存儲調(diào)度策略，對存儲調(diào)度策略進(jìn)行了算法復(fù)雜度分析，并針對負(fù)載均衡程度、用戶接受概率等指標(biāo)通過仿真實驗進(jìn)行了驗證，結(jié)果表明該存儲調(diào)度策略可以使系統(tǒng)處于負(fù)載均衡的狀態(tài)，進(jìn)而充