文件分發(fā)系統(tǒng)的資源分配策略.pdf

1、文件分發(fā)系統(tǒng)是互聯(lián)網(wǎng)中信息傳播的重要平臺(tái)，由于網(wǎng)絡(luò)帶寬、存儲(chǔ)等資源有限，隨著用戶數(shù)和業(yè)務(wù)量的日益增加，系統(tǒng)資源緊缺與用戶需求之間的矛盾日益突出。這些矛盾不僅影響了服務(wù)質(zhì)量，增加了系統(tǒng)成本，也嚴(yán)重制約了網(wǎng)絡(luò)業(yè)務(wù)的演進(jìn)與擴(kuò)展。本文對(duì)大規(guī)模文件分發(fā)系統(tǒng)（PPTV和QQ旋風(fēng)）的文件下載數(shù)據(jù)和用戶上下線數(shù)據(jù)進(jìn)行了分析，發(fā)現(xiàn)由副本和帶寬分配不合理導(dǎo)致的資源不足、由瞬時(shí)擁塞(Flash crowd)引起的資源匱乏和由用戶動(dòng)蕩(churn)引發(fā)的資源浪

2、費(fèi)等問題已經(jīng)異常嚴(yán)重，成為亟需解決的瓶頸問題。本文針對(duì)這些問題分別建立了理論模型，并且設(shè)計(jì)了相應(yīng)的資源分配策略，主要工作和創(chuàng)新點(diǎn)如下:
　　(1)在對(duì)文件分發(fā)系統(tǒng)用戶上下線數(shù)據(jù)的分析中，發(fā)現(xiàn)了用戶在線時(shí)長與用戶上線時(shí)刻相關(guān)，通過仿真證明了只有將二者聯(lián)合才能刻畫出用戶churn的日周期規(guī)律。并且建立了動(dòng)態(tài)離開概率模型，合理解釋了這一相關(guān)性。
　　(2)針對(duì)穩(wěn)定狀態(tài)的文件分發(fā)系統(tǒng)中資源分配與文件下載請(qǐng)求量不匹配的問題，設(shè)計(jì)了副本

3、和帶寬分配算法。首先綜合考慮文件下載請(qǐng)求量均值和方差的影響，從公平性的角度建立了最優(yōu)副本數(shù)分配的目標(biāo)函數(shù)并求解得到了分配算法，使得每個(gè)文件的資源與下載請(qǐng)求量之比盡量一致。仿真結(jié)果表明下載請(qǐng)求量的均值和方差大小相當(dāng)時(shí)，算法的公平性比傳統(tǒng)的按比例分配方式高出50％，方差更大時(shí)，可高出約87％。然后提出了副本放置策略的評(píng)判標(biāo)準(zhǔn)，發(fā)現(xiàn)混合放置流行文件和不流行文件可增大帶寬利用率并且減少帶寬爭搶，但是有損文件的公平性。最后以保證文件公平性為目標(biāo)，

4、提出了三種用戶上傳帶寬分配算法，包括最優(yōu)分配算法、集中式啟發(fā)算法以及分布式啟發(fā)算法。仿真結(jié)果證明分布式算法的公平性比目前廣泛應(yīng)用的平均分配算法高75％，而集中式算法的公平性更是接近于理論最優(yōu)值。
　　(3)針對(duì)Flash crowd發(fā)生時(shí)文件分發(fā)系統(tǒng)服務(wù)器帶寬消耗大的問題，提出了節(jié)點(diǎn)協(xié)助的預(yù)先副本分配策略。首先基于流體(Fluid)模型，得到了服務(wù)器所需帶寬與用戶到達(dá)速率、離開概率和下載速率之間的關(guān)系表達(dá)式，發(fā)現(xiàn)了服務(wù)器帶寬峰值的

5、產(chǎn)生是由于系統(tǒng)穩(wěn)定前缺少足夠的種子節(jié)點(diǎn)。然后提出了預(yù)先分配策略，將文件副本在正式發(fā)布之前分配給協(xié)助節(jié)點(diǎn)，以恰當(dāng)?shù)卦黾覨lash crowd時(shí)的種子節(jié)點(diǎn)數(shù)，緩解服務(wù)器的峰值帶寬消耗。策略將系統(tǒng)穩(wěn)定后的所需帶寬設(shè)為目標(biāo)峰值帶寬，設(shè)計(jì)協(xié)助節(jié)點(diǎn)到達(dá)速率、任務(wù)開始結(jié)束時(shí)刻等參數(shù)。數(shù)值仿真及實(shí)際系統(tǒng)中的測試均表明，策略可以顯著減少超過30％的服務(wù)器峰值帶寬。
　　(4)針對(duì)用戶churn導(dǎo)致預(yù)約型云下載系統(tǒng)的存儲(chǔ)資源利用率低的問題，提出了動(dòng)態(tài)