海量視頻的分布式協(xié)作處理與檢索研究.pdf

1、隨著視頻分享網(wǎng)站的迅猛發(fā)展，視頻的數(shù)量在近些年急劇地增加。如何有效地對海量視頻進(jìn)行處理與檢索已經(jīng)成為多媒體應(yīng)用領(lǐng)域中亟待研究和解決的問題。
　　 海量視頻的分布式協(xié)作處理與檢索中存在的主要問題包括:
　　 (1)多媒體內(nèi)容處理中的計算任務(wù)與計算資源的協(xié)同調(diào)度問題，即對任務(wù)的資源需求進(jìn)行預(yù)測并匹配合適的計算資源;
　　 (2)海量相似視頻的快速檢索問題;
　　 (3)海量視頻的快速拷貝檢測問題。
　　

2、 針對上述問題，本論文的主要研究工作和創(chuàng)新點如下:
　　 1.提出了一種面向多媒體內(nèi)容處理的分布式計算中間件
　　 針對多媒體內(nèi)容處理中的計算任務(wù)與計算資源的協(xié)同調(diào)度問題，設(shè)計與實現(xiàn)了一種面向多媒體內(nèi)容處理的分布式計算中間件。該中間件自動的管理計算資源與計算任務(wù)，通過基于極限學(xué)習(xí)機(jī)的執(zhí)行時間估計算法優(yōu)化系統(tǒng)的性能。該中間件可以作為一個標(biāo)準(zhǔn)的組件應(yīng)用于多種多媒體內(nèi)容制作業(yè)務(wù)，通過復(fù)用該中間件，可以有效地簡化分布式環(huán)境下實

3、現(xiàn)多媒體內(nèi)容處理的難度。該中間件已經(jīng)被應(yīng)用于一個多媒體內(nèi)容處理平臺，針對渲染、轉(zhuǎn)碼和特效合成這3種任務(wù)的實驗結(jié)果表明提出的基于極限學(xué)習(xí)機(jī)的時間估計算法相對于隨機(jī)負(fù)載均衡算法最大完成時間減少26％以上。
　　 2.提出了一種基于分布式LSH的海量視頻快速檢索方法
　　 針對海量相似視頻的快速檢索問題，提出一種基于分布式LSH的海量視頻快速檢索方法。該方法采用基于內(nèi)存約束的分布式哈希結(jié)構(gòu)，稱為MD-LSH，有效地解決了快速與

4、可擴(kuò)展性問題。本方法首先從視頻序列中提取出特征向量集合，然后使用MD-LSH對高維特征向量建立索引，根據(jù)返回的相似幀集合對相關(guān)的視頻進(jìn)行相似度計算，最后排序得到相似視頻的查詢結(jié)果。該方法支持在分布式多節(jié)點環(huán)境下對海量視頻進(jìn)行快速檢索，實驗結(jié)果表明本文的方法查詢時間比現(xiàn)有對比方法快4倍以上，同時采用分布式的架構(gòu)，具有可擴(kuò)展性。
　　 3.提出了一種快速有效的海量視頻拷貝檢測方法
　　 針對海量視頻的拷貝檢測問題，提出了一種

5、基于SimHash的快速有效的視頻拷貝檢測方法。該方法首先將視頻表示為基于離散余弦變換的時空特征，然后基于SimHash建立魯棒的壓縮簽名，通過在多張簽名表中進(jìn)行高效的漢明距離檢索完成視頻拷貝檢測。該方法支持在分布式多節(jié)點環(huán)境下對海量視頻進(jìn)行快速拷貝檢測，針對包含10335個視頻，大小為272.48GB的數(shù)據(jù)集的實驗結(jié)果表明本文的方法F值達(dá)到0.952，平均檢索時間比現(xiàn)有對比方法快15.2倍以上。
　　 上述研究成果(1)已應(yīng)用