視頻點(diǎn)播系統(tǒng)層級(jí)式緩存優(yōu)化技術(shù)研究.pdf

1、隨著網(wǎng)絡(luò)的普及，互聯(lián)網(wǎng)已經(jīng)成為影響我國(guó)經(jīng)濟(jì)社會(huì)發(fā)展和人民生活的關(guān)鍵行業(yè)，而Web2.0技術(shù)的發(fā)展則促使網(wǎng)絡(luò)內(nèi)容從單純的文本發(fā)展成為包含圖像、聲音、文字等多種內(nèi)容的多媒體內(nèi)容，其中最典型的多媒體內(nèi)容就是在線視頻。為滿足廣大網(wǎng)絡(luò)用戶對(duì)在線視頻的觀看需求，視頻點(diǎn)播系統(tǒng)應(yīng)運(yùn)而生。由于視頻文件的大小遠(yuǎn)遠(yuǎn)高于傳統(tǒng)的文本文件，海量的視頻點(diǎn)播需求給互聯(lián)網(wǎng)帶來(lái)了巨大的數(shù)據(jù)傳輸壓力，由此導(dǎo)致互聯(lián)網(wǎng)出現(xiàn)大量的擁塞、丟包現(xiàn)象，嚴(yán)重影響了互聯(lián)網(wǎng)的整體性能，并極大

2、地降低了視頻點(diǎn)播系統(tǒng)的用戶體驗(yàn)。
　　本文從減輕互聯(lián)網(wǎng)數(shù)據(jù)傳輸壓力、提高視頻點(diǎn)播系統(tǒng)服務(wù)質(zhì)量的角度出發(fā)，研究視頻點(diǎn)播系統(tǒng)的層級(jí)式緩存的優(yōu)化問(wèn)題，以提高緩存系統(tǒng)的使用效率、降低緩存系統(tǒng)的部署成本。面對(duì)視頻點(diǎn)播系統(tǒng)層級(jí)式緩存具有的緩存節(jié)點(diǎn)眾多、緩存層次各異、存儲(chǔ)設(shè)備復(fù)雜、視頻流行度多變等挑戰(zhàn)，本文著重研究了其中的視頻流行度預(yù)測(cè)、混合存儲(chǔ)設(shè)備數(shù)據(jù)部署和多緩存節(jié)點(diǎn)相互協(xié)作等問(wèn)題。本文的主要工作與研究成果可歸結(jié)為如下三點(diǎn):
　　1)提

3、出了一種基于歷史訪問(wèn)信息指數(shù)加權(quán)的視頻流行度預(yù)測(cè)算法。由于視頻用戶的點(diǎn)播興趣總是不斷變化的，由此導(dǎo)致視頻的流行度也隨時(shí)間不斷變化。隨著當(dāng)前視頻總量的日益膨脹，視頻流行度的時(shí)變性日趨增強(qiáng)，基于傳統(tǒng)算法難以及時(shí)、準(zhǔn)確地預(yù)測(cè)視頻流行度。本文提出了一種基于歷史訪問(wèn)信息指數(shù)加權(quán)的視頻流行度預(yù)測(cè)算法，對(duì)視頻不同時(shí)刻的訪問(wèn)信息施加隨時(shí)間變化的動(dòng)態(tài)權(quán)重，越老舊的訪問(wèn)信息其權(quán)重越低。算法既能夠充分利用視頻的歷史訪問(wèn)信息來(lái)抑制用戶行為的隨機(jī)性對(duì)流行度預(yù)測(cè)的

4、影響，又能通過(guò)逐步降低歷史訪問(wèn)信息的權(quán)重來(lái)追蹤視頻流行度的動(dòng)態(tài)變化，并且計(jì)算復(fù)雜度較低，從而實(shí)現(xiàn)了對(duì)視頻流行度的準(zhǔn)確、快速預(yù)測(cè)。
　　2)提出了一種基于寫(xiě)負(fù)荷負(fù)反饋的混合存儲(chǔ)設(shè)備數(shù)據(jù)部署算法。緩存節(jié)點(diǎn)的存儲(chǔ)設(shè)備的硬件性能對(duì)緩存節(jié)點(diǎn)的響應(yīng)速度和并發(fā)服務(wù)能力有著重要的影響。傳統(tǒng)的普通硬盤(pán)容量大、成本低，但是讀寫(xiě)性能較差，而新興的固態(tài)硬盤(pán)讀性能較高，但是成本高、寫(xiě)壽命有限。由普通硬盤(pán)和固態(tài)硬盤(pán)結(jié)合而形成的混合存儲(chǔ)設(shè)備能夠充分利用兩種硬盤(pán)

5、的互補(bǔ)特性。本文提出了一種基于寫(xiě)負(fù)荷負(fù)反饋的混合存儲(chǔ)設(shè)備數(shù)據(jù)部署方法，把混合存儲(chǔ)設(shè)備的數(shù)據(jù)部署問(wèn)題描述成不同存儲(chǔ)設(shè)備之間的基于閾值的數(shù)據(jù)遷移問(wèn)題，并把固態(tài)硬盤(pán)的寫(xiě)負(fù)荷作為一種負(fù)反饋信息提供給遷移算法，從而使得遷移算法能夠動(dòng)態(tài)調(diào)整數(shù)據(jù)遷移的閾值，最終實(shí)現(xiàn)了在固態(tài)硬盤(pán)寫(xiě)壽命受限條件下的混合存儲(chǔ)設(shè)備的數(shù)據(jù)部署優(yōu)化。
　　3)提出了一種基于存儲(chǔ)收益的層級(jí)式緩存分布式協(xié)作算法。在層級(jí)式緩存系統(tǒng)中，由于同一層緩存節(jié)點(diǎn)的服務(wù)區(qū)域位置鄰近而不同層

6、緩存節(jié)點(diǎn)的服務(wù)區(qū)域相互覆蓋，不同緩存節(jié)點(diǎn)觀測(cè)到的視頻流行度具有很強(qiáng)的相似性。因此，各個(gè)緩存節(jié)點(diǎn)需要相互協(xié)作來(lái)降低存儲(chǔ)內(nèi)容的冗余。層級(jí)式緩存系統(tǒng)的最優(yōu)協(xié)作問(wèn)題是一個(gè)復(fù)雜的全局最優(yōu)化問(wèn)題。本文首先提出了視頻在緩存節(jié)點(diǎn)上的存儲(chǔ)收益的概念，進(jìn)而利用存儲(chǔ)收益把多緩存節(jié)點(diǎn)協(xié)作的全局優(yōu)化問(wèn)題轉(zhuǎn)化成單個(gè)緩存節(jié)點(diǎn)上的存儲(chǔ)收益排序問(wèn)題和不同層級(jí)緩存節(jié)點(diǎn)之間的數(shù)據(jù)遷移問(wèn)題，極大地降低了層級(jí)式緩存系統(tǒng)緩存協(xié)作的復(fù)雜度，同時(shí)提高了緩存系統(tǒng)的使用效率。