遠(yuǎn)程富媒體的呈現(xiàn).pdf

1、在最近的幾十年中，計(jì)算模型已經(jīng)從集中式大型機(jī)計(jì)算模型轉(zhuǎn)變?yōu)榉植际降淖烂嬗?jì)算模型。但是，隨著個(gè)人計(jì)算機(jī)廣泛使用并且保有量越來越大時(shí)，用于維護(hù)這些計(jì)算機(jī)的開銷變得越來越難以控制。由于存在這樣的問題并且變得越來越難解決時(shí)，人們又開始趨向于集中和更易于管理的計(jì)算模型。遠(yuǎn)程訪問計(jì)算模型就是這種趨勢(shì)的一個(gè)具體表現(xiàn)。
　　 雖然遠(yuǎn)程訪問計(jì)算模型類似于大型機(jī)時(shí)代的集中計(jì)算模型，但是如今的用戶已經(jīng)不滿足于只使用ASCⅡ文本來表示輸入與輸出。遠(yuǎn)程訪

2、問系統(tǒng)必須有效地支持富媒體環(huán)境來滿足客戶的需求。達(dá)到這樣的目的的關(guān)鍵技術(shù)就是遠(yuǎn)程富媒體呈現(xiàn)技術(shù)使得圖形顯示能夠通過網(wǎng)絡(luò)實(shí)時(shí)地傳輸并呈現(xiàn)在客戶端并且支持與用戶的可交互功能。
　　 隨著處理器計(jì)算速度和圖形芯片處理速度的快速發(fā)展，從早期簡(jiǎn)單的文本處理軟件到如今絢麗的3D游戲畫面和豐富的多媒體應(yīng)用，富媒體內(nèi)容越來越復(fù)雜，富媒體應(yīng)用與人的交互也越來越豐富。豐富的富媒體內(nèi)容與應(yīng)用使得其在計(jì)算資源受限或網(wǎng)絡(luò)帶寬受限條件下的實(shí)時(shí)低延時(shí)編碼、傳

3、輸與交互帶來了極大的挑戰(zhàn)。而且在目前互聯(lián)網(wǎng)上的異構(gòu)網(wǎng)絡(luò)環(huán)境下，遠(yuǎn)程富媒體呈現(xiàn)也面臨著不同網(wǎng)絡(luò)所引起的傳輸帶寬差異、傳輸延時(shí)差異和帶寬的波動(dòng)等所帶來的問題。并且，客戶端設(shè)備也在計(jì)算能力、接入帶寬和顯示分辨率方面存在廣泛的異構(gòu)性。設(shè)備的異構(gòu)性也給富媒體呈現(xiàn)服務(wù)的廣泛普及帶來了挑戰(zhàn)。
　　 本文從富媒體的特點(diǎn)出發(fā)，針對(duì)遠(yuǎn)程富媒體呈現(xiàn)系統(tǒng)的性能要求，創(chuàng)新性地提出了一個(gè)高性能的遠(yuǎn)程富媒體呈現(xiàn)系統(tǒng)，并且提出了若干技術(shù)來進(jìn)一步提高遠(yuǎn)程富媒體的

4、呈現(xiàn)性能、減少帶寬資源/計(jì)算資源損耗、提高系統(tǒng)對(duì)異構(gòu)網(wǎng)絡(luò)和設(shè)備的自適應(yīng)性和提高用戶的交互體驗(yàn)。本文具體的研究?jī)?nèi)容主要包括：
　　 首先，我們提出了一個(gè)完整的端到端的可交互的富媒體呈現(xiàn)系統(tǒng)。該系統(tǒng)能夠支持高性能的遠(yuǎn)程屏幕呈現(xiàn)以及桌面的遠(yuǎn)程使用，即使是在具有極大顯示量的多媒體應(yīng)用中。在該系統(tǒng)中，我們?yōu)檫h(yuǎn)程顯示提出了一個(gè)對(duì)壓縮友好(Compression friendly)的系統(tǒng)結(jié)構(gòu)。在這個(gè)系統(tǒng)結(jié)構(gòu)下，我們提出了一個(gè)有效的屏幕圖像編碼

5、方案。該編碼方案自動(dòng)地根據(jù)圖像塊的內(nèi)容使用合適的編碼方法來壓縮該塊。同時(shí)，我們針對(duì)不同的終端設(shè)備提出了一個(gè)自適應(yīng)的傳輸機(jī)制來減小網(wǎng)絡(luò)帶寬的消耗量而又不犧牲用戶體驗(yàn)；針對(duì)不同的網(wǎng)絡(luò)環(huán)境，我們提出動(dòng)態(tài)地調(diào)整發(fā)送緩沖區(qū)的方法來取得網(wǎng)絡(luò)吞吐量與數(shù)據(jù)延時(shí)之間的平衡。我們還提出了一些交互機(jī)制和網(wǎng)絡(luò)傳輸機(jī)制來提高系統(tǒng)的可交互體驗(yàn)。
　　 第二，針對(duì)多客戶端連接的屏幕共享系統(tǒng)，我們提出了一個(gè)有效的屏幕圖像編碼方法。對(duì)多客戶端連接時(shí)所需要的多碼率

6、碼流編碼時(shí)，我們提出了一個(gè)一次化編碼算法(one-pass encoding)。一次化編碼算法使得遠(yuǎn)程主機(jī)端編碼生成多個(gè)碼率時(shí)只需要一次編碼過程，使得主機(jī)端的編碼復(fù)雜度極大的降低。特別是當(dāng)遠(yuǎn)程的計(jì)算資源受限時(shí)，一次化編碼算法能夠較大地提高屏幕共享系統(tǒng)的性能?；谖覀兲岢龅钠聊粓D像編解碼方案，我們還為基于以數(shù)據(jù)中心為基礎(chǔ)的大規(guī)模桌面網(wǎng)絡(luò)會(huì)議提出了一個(gè)快速的屏幕圖像轉(zhuǎn)碼方案。
　　 第三，我們提出了使用GPU來加速屏幕圖像編碼的算法

7、，以加快遠(yuǎn)程主機(jī)端的編碼速度。在這個(gè)算法中，我們將屏幕圖像編碼端除熵編碼以外的所有計(jì)算模塊都轉(zhuǎn)移至GPU中以有效的利用GPU強(qiáng)大的并行計(jì)算能力。實(shí)驗(yàn)結(jié)果表明，GPU加速能夠大幅度地提高遠(yuǎn)程主機(jī)端的編碼速度。
　　 第四，針對(duì)富媒體中的視頻媒體類型，根據(jù)視頻內(nèi)容的特點(diǎn)，我們使用視頻轉(zhuǎn)碼來達(dá)到對(duì)視頻內(nèi)容的有效傳輸并且減少網(wǎng)絡(luò)帶寬的消耗。我們提出了一個(gè)基于功率譜密度的率失真優(yōu)化(Rate-distortion optimization

8、，RDO)模型來加速視頻轉(zhuǎn)碼的過程。在這個(gè)模型中，運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)誤差不是由塊內(nèi)的SAD或者SSD之和計(jì)算出來而是由輸入輸出運(yùn)動(dòng)矢量之差和預(yù)測(cè)信號(hào)的功率譜密度計(jì)算猜測(cè)出來。該方法不僅能夠應(yīng)用于時(shí)域的視頻轉(zhuǎn)碼，包括對(duì)碼率、分辨率、幀率的轉(zhuǎn)碼，而且還適用于在頻域上的視頻轉(zhuǎn)碼。本文中，我們以H.264/AVC編碼標(biāo)準(zhǔn)為例，將所提出的率失真模型用在對(duì)P幀的時(shí)域轉(zhuǎn)碼和對(duì)B幀的頻域轉(zhuǎn)碼。由于該模型省掉了運(yùn)動(dòng)估計(jì)中計(jì)算量最大的SAD/SSD計(jì)算，該率失

9、真優(yōu)化模型能夠大幅度地加速視頻轉(zhuǎn)碼的過程。
　　 第五，基于我們所提的遠(yuǎn)程富媒體呈現(xiàn)技術(shù)，我們構(gòu)建了一個(gè)高性能的基于Proxy的手機(jī)網(wǎng)頁瀏覽器。該手機(jī)網(wǎng)頁瀏覽器可以提供給用戶在無線和移動(dòng)網(wǎng)絡(luò)下高質(zhì)量的網(wǎng)頁顯示和豐富的交互體驗(yàn)。我們的瀏覽器系統(tǒng)提供了一個(gè)完整的端到端的方案，該方案把網(wǎng)頁格式轉(zhuǎn)換成位圖和網(wǎng)頁對(duì)象的組合來解決原始網(wǎng)頁對(duì)手機(jī)設(shè)備的不兼容性。為了提高用戶的交互體驗(yàn)，我們?yōu)椴煌愋偷木W(wǎng)頁對(duì)象設(shè)計(jì)了不同的交互機(jī)制。對(duì)象級(jí)的交互