基于多參數(shù)的文件存儲分配算法研究.pdf

1、伴隨著流媒體和網(wǎng)絡技術(shù)的飛速進步，采用高性能集群搭建的視頻點播服務系統(tǒng)正在快速發(fā)展，海量數(shù)據(jù)處理是其在實際應用中的主要任務，無論是影片的傳輸、存儲還是處理都涉及到TB級的數(shù)據(jù)吞吐量。因而一種流媒體系統(tǒng)專用的優(yōu)化分配算法可以提高系統(tǒng)的響應能力，改善目前普遍存在的I/O瓶頸現(xiàn)象。
　　 專用存儲分配算法應充分發(fā)掘流媒體系統(tǒng)特性，其核心目標是通過將大量的影片文件組以某種規(guī)則進行分劃，然后存儲到相應的磁盤上，使整個存儲系統(tǒng)中各磁盤在I/

2、O負載上呈均勻分布，獲得很好的并發(fā)處理能力。文件存儲分配算法的研究一直以來都是熱點問題也是難點問題，目前已經(jīng)提出的大部分算法都存在僅適用于小規(guī)模數(shù)據(jù)量或者僅考慮到部分系統(tǒng)特征的局限性，不能達到實際環(huán)境中的性能要求。
　　 針對上述問題本論文提出了基于特征加權(quán)和的偏移補償算法進行以下改進：
　　 首先，為了適應海量數(shù)據(jù)處理的實際要求，建立高性能集群和存儲硬盤集合的拓撲模型并提出各子系統(tǒng)的具體定義，通過在整個存儲系統(tǒng)的前端加

3、入統(tǒng)一的存儲調(diào)度器，可利用半同步半異步的模式使指定目標磁盤和實際存儲數(shù)據(jù)的工作互相分離，使服務器、調(diào)度器和存儲設備各司其職，提高并行服務能力。
　　 然后，通過對模型的進一步分析，抽取出能夠表征系統(tǒng)存儲操作過程特性的決策變量和約束條件。根據(jù)多目標問題的求解方法，得到一個綜合各變量和條件的評價函數(shù)，使用該函數(shù)對文件進行評估，存儲調(diào)度器則根據(jù)不同文件的評估值進行偏移補償?shù)姆绞絹磉x擇它們所對應的目標磁盤，進而達到優(yōu)化文件在磁盤上存儲結(jié)

4、構(gòu)的目的。
　　 接下來，為了尋找目標函數(shù)中各個變量的加權(quán)系數(shù)的優(yōu)化配比方案，本文中采用了預先偏好選擇的策略，即對多種可能的系數(shù)組合進行反復嘗試。通過設定、多組典型的配比數(shù)值方案，代入目標函數(shù)對文件評估，依靠仿真實驗來模擬各個決策變量在磁盤上的分配結(jié)果，分析擬合曲線走向可以近似得到最優(yōu)系數(shù)配比。
　　 最后，為了驗證偏移補償算法是否更具優(yōu)勢，選擇了輪詢、隨機、容量均分等幾種算法作為性能參照。在完全相同的仿真實驗條件下，使