支持多層表示的海量視頻快速檢索及反饋學習.pdf

1、隨著網(wǎng)絡視頻應用的普及和發(fā)展,海量視頻檢索需求強烈,其中的核心技術(shù)是海量高維向量的快速檢索。如何快速的發(fā)現(xiàn),檢索并結(jié)合用戶相關(guān)反饋信息處理海量視頻數(shù)據(jù)成為行業(yè)和領(lǐng)域中亟待研究和解決的問題。
　　 本文針對視頻信息內(nèi)容的數(shù)據(jù)特點和實際應用中海量,高維,語義,快速的需求,研究了基于哈希的近似最近鄰搜索,相關(guān)反饋學習,多媒體內(nèi)容的多層表示,海量數(shù)據(jù)的分布式檢索,視頻拷貝檢測問題,視頻檢索中的反饋學習等方面國內(nèi)外科研的最新成果,分析了目

2、前多層高維向量快速檢索的關(guān)鍵問題與發(fā)展方向。本文主要的研究工作和創(chuàng)新點包括如下幾個方面:
　　 1.提出了局部敏感哈希與對等網(wǎng)絡結(jié)合的分布式海量高維向量檢索方法。針對海量高維數(shù)據(jù)的快速檢索問題,首先研究了近似最近鄰搜索的局部敏感哈希算法索引數(shù)據(jù)分布特點以及基于分布式哈希表的對等網(wǎng)絡協(xié)議,然后提出一種非均勻的Hilbert曲線算法,將索引數(shù)據(jù)從哈希桶標簽空間映射到對等網(wǎng)絡的節(jié)點命名空間。進一步提出一種有效的分布式海量高維數(shù)據(jù)快速檢

3、索計算框架,用來完成索引數(shù)據(jù)的和計算負載的分布式處理。實驗結(jié)果表明在5000節(jié)點的網(wǎng)絡規(guī)模,本文算法相比SHA-1算法減少了約40％處理路由跳數(shù)和約30％的參與節(jié)點數(shù)。
　　 2.研究了采用虛擬節(jié)點算法對分布式海量高維向量檢索負載均衡的優(yōu)化。針對海量高維數(shù)據(jù)分布式檢索的負載均衡問題,研究了對等網(wǎng)絡的動態(tài)負載均衡算法和索引結(jié)構(gòu)的數(shù)據(jù)分布特點,設(shè)計了一種基于虛擬節(jié)點的動態(tài)調(diào)度算法。在物理節(jié)點與索引數(shù)據(jù)之間引入虛擬節(jié)點層,將數(shù)據(jù)關(guān)鍵字

4、空間從映射到物理節(jié)點命名空間優(yōu)化為映射到虛擬節(jié)點命名空間,并提出了兩層網(wǎng)絡結(jié)構(gòu)中負載動態(tài)遷移調(diào)度的算法。通過在對等協(xié)議中附加負載信息數(shù)據(jù)結(jié)構(gòu)和負載探測與遷移方法,保證分布式檢索效率的同時優(yōu)化了系統(tǒng)的負載均衡,在仿真平臺OverSim的實驗結(jié)果表明算法在付出13％額外網(wǎng)絡通訊負載的同時負載均衡效果改善50％以上。
　　 3.提出了基于多層表示的重復視頻檢測算法。重復視頻檢測是多媒體應用的一個熱點問題,本文研究了視頻的多層表示,即通

5、過鏡頭分割,關(guān)鍵幀提取,局部特征向量提取將視頻內(nèi)容的檢索轉(zhuǎn)化為海量高維向量檢索問題。提出了基于多層表示的重復視頻檢測計算框架,設(shè)計了一種自適應局部敏感哈希算法,通過樣本學習參數(shù),預估哈希表中桶內(nèi)數(shù)據(jù)的總數(shù),突破了桶內(nèi)距離計算的性能瓶頸,并提出了特征過濾和基于投票機制的兩層匹配算法。在標準數(shù)據(jù)集MUSCLE-VCD上的實驗表明本文的快速檢測算法相比國內(nèi)外最新算法,消耗3％存儲負載的同時獲得了3.6-5.1倍的速度提升。
　　 4.

6、提出了視頻檢索中基于典型關(guān)聯(lián)分析的反饋學習算法。
　　 基于內(nèi)容的視頻檢索問題不同于重復視頻檢測問題,需要更多的語義信息來判定相似的概念,本文研究了目前相似視頻檢索的主要算法,指出了基于二進制編碼和度量學習的算法無法增量式更新索引,依賴學習樣本,檢索過程維護代價高的問題。在視頻內(nèi)容多層表示基礎(chǔ)上,提出了基于典型關(guān)聯(lián)分析的反饋學習算法,利用用戶的相關(guān)反饋,將視頻級別的樣本信息回溯到特征向量級別,通過典型關(guān)聯(lián)分析學習集合于集合之間的