視頻點播系統(tǒng)層級式緩存優(yōu)化技術研究.pdf

1、隨著網絡的普及，互聯(lián)網已經成為影響我國經濟社會發(fā)展和人民生活的關鍵行業(yè)，而Web2.0技術的發(fā)展則促使網絡內容從單純的文本發(fā)展成為包含圖像、聲音、文字等多種內容的多媒體內容，其中最典型的多媒體內容就是在線視頻。為滿足廣大網絡用戶對在線視頻的觀看需求，視頻點播系統(tǒng)應運而生。由于視頻文件的大小遠遠高于傳統(tǒng)的文本文件，海量的視頻點播需求給互聯(lián)網帶來了巨大的數(shù)據(jù)傳輸壓力，由此導致互聯(lián)網出現(xiàn)大量的擁塞、丟包現(xiàn)象，嚴重影響了互聯(lián)網的整體性能，并極大

2、地降低了視頻點播系統(tǒng)的用戶體驗。
　　本文從減輕互聯(lián)網數(shù)據(jù)傳輸壓力、提高視頻點播系統(tǒng)服務質量的角度出發(fā)，研究視頻點播系統(tǒng)的層級式緩存的優(yōu)化問題，以提高緩存系統(tǒng)的使用效率、降低緩存系統(tǒng)的部署成本。面對視頻點播系統(tǒng)層級式緩存具有的緩存節(jié)點眾多、緩存層次各異、存儲設備復雜、視頻流行度多變等挑戰(zhàn)，本文著重研究了其中的視頻流行度預測、混合存儲設備數(shù)據(jù)部署和多緩存節(jié)點相互協(xié)作等問題。本文的主要工作與研究成果可歸結為如下三點:
　　1)提

3、出了一種基于歷史訪問信息指數(shù)加權的視頻流行度預測算法。由于視頻用戶的點播興趣總是不斷變化的，由此導致視頻的流行度也隨時間不斷變化。隨著當前視頻總量的日益膨脹，視頻流行度的時變性日趨增強，基于傳統(tǒng)算法難以及時、準確地預測視頻流行度。本文提出了一種基于歷史訪問信息指數(shù)加權的視頻流行度預測算法，對視頻不同時刻的訪問信息施加隨時間變化的動態(tài)權重，越老舊的訪問信息其權重越低。算法既能夠充分利用視頻的歷史訪問信息來抑制用戶行為的隨機性對流行度預測的

4、影響，又能通過逐步降低歷史訪問信息的權重來追蹤視頻流行度的動態(tài)變化，并且計算復雜度較低，從而實現(xiàn)了對視頻流行度的準確、快速預測。
　　2)提出了一種基于寫負荷負反饋的混合存儲設備數(shù)據(jù)部署算法。緩存節(jié)點的存儲設備的硬件性能對緩存節(jié)點的響應速度和并發(fā)服務能力有著重要的影響。傳統(tǒng)的普通硬盤容量大、成本低，但是讀寫性能較差，而新興的固態(tài)硬盤讀性能較高，但是成本高、寫壽命有限。由普通硬盤和固態(tài)硬盤結合而形成的混合存儲設備能夠充分利用兩種硬盤

5、的互補特性。本文提出了一種基于寫負荷負反饋的混合存儲設備數(shù)據(jù)部署方法，把混合存儲設備的數(shù)據(jù)部署問題描述成不同存儲設備之間的基于閾值的數(shù)據(jù)遷移問題，并把固態(tài)硬盤的寫負荷作為一種負反饋信息提供給遷移算法，從而使得遷移算法能夠動態(tài)調整數(shù)據(jù)遷移的閾值，最終實現(xiàn)了在固態(tài)硬盤寫壽命受限條件下的混合存儲設備的數(shù)據(jù)部署優(yōu)化。
　　3)提出了一種基于存儲收益的層級式緩存分布式協(xié)作算法。在層級式緩存系統(tǒng)中，由于同一層緩存節(jié)點的服務區(qū)域位置鄰近而不同層

6、緩存節(jié)點的服務區(qū)域相互覆蓋，不同緩存節(jié)點觀測到的視頻流行度具有很強的相似性。因此，各個緩存節(jié)點需要相互協(xié)作來降低存儲內容的冗余。層級式緩存系統(tǒng)的最優(yōu)協(xié)作問題是一個復雜的全局最優(yōu)化問題。本文首先提出了視頻在緩存節(jié)點上的存儲收益的概念，進而利用存儲收益把多緩存節(jié)點協(xié)作的全局優(yōu)化問題轉化成單個緩存節(jié)點上的存儲收益排序問題和不同層級緩存節(jié)點之間的數(shù)據(jù)遷移問題，極大地降低了層級式緩存系統(tǒng)緩存協(xié)作的復雜度，同時提高了緩存系統(tǒng)的使用效率。