大規(guī)模視頻轉(zhuǎn)碼調(diào)度算法的研究與設(shè)計(jì).pdf

1、隨著國(guó)家大力推進(jìn)互聯(lián)網(wǎng)、廣播電視網(wǎng)、移動(dòng)網(wǎng)的三網(wǎng)融合，有越來(lái)越多的視頻數(shù)據(jù)需要暢游于三網(wǎng)之間。然而，三網(wǎng)間網(wǎng)絡(luò)帶寬、播放設(shè)備以及播放軟件各不相同，因此需要對(duì)視頻進(jìn)行轉(zhuǎn)碼。但三網(wǎng)間有著規(guī)模高達(dá)百億級(jí)的視頻文件，其轉(zhuǎn)碼任務(wù)的存儲(chǔ)量達(dá)到100PB級(jí)，轉(zhuǎn)碼任務(wù)的計(jì)算量也達(dá)到P級(jí)，如此大的存儲(chǔ)量和計(jì)算量，無(wú)法依靠單臺(tái)計(jì)算機(jī)來(lái)實(shí)現(xiàn)。
　　本文提出了一種通過(guò)計(jì)算機(jī)集群系統(tǒng)的解決方案。首先研究了集群的體系結(jié)構(gòu)，集群的特點(diǎn)，集群的分類和幾種常用的集

2、群調(diào)度算法，并針對(duì)視頻轉(zhuǎn)碼的特殊背景，選擇LVS（LinuxvirtualServer）作為集群的解決方案，通過(guò)剖析LVS的內(nèi)部機(jī)制、調(diào)度算法的比較和算法的分析，提出了一種針對(duì)視頻轉(zhuǎn)碼的改進(jìn)型動(dòng)態(tài)負(fù)載均衡算法：ADLBA算法（Advanced DynamicLoad Balance Algorithm）。
　　ADLBA算法分為調(diào)度器端和節(jié)點(diǎn)端兩個(gè)部分。調(diào)度器會(huì)定期收集各個(gè)計(jì)算節(jié)點(diǎn)實(shí)時(shí)的CPU信息和內(nèi)存信息，獲得每個(gè)計(jì)算節(jié)點(diǎn)的真實(shí)

3、負(fù)載。同時(shí)，根據(jù)視頻格式間相互轉(zhuǎn)換時(shí)所需的資源需求，制定轉(zhuǎn)碼系數(shù)表，確定視頻任務(wù)對(duì)資源的預(yù)期需求。最后調(diào)度器根據(jù)節(jié)點(diǎn)真實(shí)負(fù)載和任務(wù)的預(yù)期資源需求計(jì)算得出一個(gè)綜合負(fù)載需求，選擇綜合負(fù)載最小的計(jì)算節(jié)點(diǎn)來(lái)調(diào)度。在節(jié)點(diǎn)端，算法通過(guò)優(yōu)先級(jí)反饋隊(duì)列的設(shè)置，來(lái)進(jìn)行任務(wù)排隊(duì)隊(duì)列的管理，并選擇優(yōu)先級(jí)最高的任務(wù)到CPU上執(zhí)行。
　　最后，本文完整實(shí)現(xiàn)了ADLBA算法，并搭建了集群系統(tǒng)環(huán)境，通過(guò)與WLC算法在任務(wù)運(yùn)行時(shí)間、平均等待時(shí)間和平均CPU利用率