基于嵌入學(xué)習(xí)的近重復(fù)視頻檢索和跨域情感分類研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)和智能硬件設(shè)備的高速發(fā)展，豐富的多媒體數(shù)據(jù)出現(xiàn)在網(wǎng)絡(luò)上。視頻和文本作為兩類重要的媒體信息載體，是多媒體信息處理領(lǐng)域中的重要研究對(duì)象。嵌入學(xué)習(xí)在多媒體數(shù)據(jù)存儲(chǔ)、檢索和分類等領(lǐng)域已被廣泛應(yīng)用，其旨在發(fā)掘并利用數(shù)據(jù)的本質(zhì)特性生成其對(duì)應(yīng)的低維向量表示。論文以近重復(fù)視頻檢索和跨域情感分類為研究課題，提出一些新穎的基于嵌入學(xué)習(xí)的視頻和文本表示方法，挖掘數(shù)據(jù)的內(nèi)容信息并生成準(zhǔn)確的數(shù)據(jù)簽名。
　　近重復(fù)視頻檢索主要研究如何搜索與查詢

2、視頻相同或相近的視頻，其核心任務(wù)是視頻信息的準(zhǔn)確提取與表示。它是多媒體信息處理領(lǐng)域中一個(gè)重要的研究課題，其相關(guān)應(yīng)用包括視頻搜索、視頻推薦和版權(quán)保護(hù)等。隨著網(wǎng)絡(luò)視頻數(shù)量的增加，除了傳統(tǒng)的準(zhǔn)確性指標(biāo)外，許多近重復(fù)視頻檢索系統(tǒng)越來(lái)越關(guān)注系統(tǒng)的高效性和可擴(kuò)展性?？缬蚯楦蟹诸惖娜蝿?wù)是通過(guò)依靠源域中的監(jiān)督數(shù)據(jù)來(lái)獲得能夠適用于目標(biāo)域的情感分類器，其主要研究如何減小不同領(lǐng)域間單詞分布的差異和如何生成準(zhǔn)確描述文本數(shù)據(jù)的簽名。
　　為了解決上述問(wèn)題，

3、同時(shí)考慮視頻和文本數(shù)據(jù)的特性，論文提出了基于嵌入學(xué)習(xí)的數(shù)據(jù)表示方法，包括三種用于近重復(fù)視頻檢索的哈希方法和一種用于跨域情感分類的嵌入方法。本論文的主要工作總結(jié)如下:
　　1.基于高斯分布的隨機(jī)多視角哈希方法
　　為了提高大規(guī)模近重復(fù)視頻檢索的準(zhǔn)確率和速度，論文采用基于高斯分布的隨機(jī)多視角哈希方法將多種視頻關(guān)鍵幀的底層特征進(jìn)行融合，并結(jié)合關(guān)鍵幀間的結(jié)構(gòu)信息和可利用的監(jiān)督信息，生成視頻的最終哈希碼序列表示。該方法通過(guò)最大化廣義的

4、檢索準(zhǔn)確率和召回率來(lái)學(xué)習(xí)可靠的映射函數(shù)。并且，方法采用復(fù)合的Kullback-Leibler(KL)散度測(cè)度來(lái)近似估計(jì)此檢索分?jǐn)?shù)，其隨機(jī)地匹配了原始特征空間和準(zhǔn)哈希碼空間的近鄰結(jié)構(gòu)。實(shí)驗(yàn)結(jié)果表明，與其他近重復(fù)視頻檢索方法相比，本文的方法獲得了更好的檢索性能和更高的檢索效率。
　　2.基于t分布的隨機(jī)多視角哈希方法及其深度哈希擴(kuò)展
　　為了提升非監(jiān)督學(xué)習(xí)的魯棒性，論文提出基于t分布的隨機(jī)多視角哈希方法。該方法采用基于高斯估計(jì)獲

5、得的連續(xù)相似度和基于互惠鄰居獲得的離散相似度來(lái)融合多種視頻特征，并通過(guò)最小化原始特征空間和準(zhǔn)哈希碼空間的概率相似度結(jié)構(gòu)的KL散度來(lái)學(xué)習(xí)哈希函數(shù)。為了減小遠(yuǎn)距離映射對(duì)象對(duì)尺度變化的敏感性，方法采用學(xué)生t分布來(lái)估計(jì)關(guān)鍵幀的準(zhǔn)哈希碼向量間的相似度，以便將原始空間中的非監(jiān)督近鄰結(jié)構(gòu)更準(zhǔn)確地保存到準(zhǔn)哈希碼空間中。此外，為了思考非監(jiān)督深度學(xué)習(xí)的問(wèn)題和促進(jìn)大規(guī)模檢索的發(fā)展，論文將該方法擴(kuò)展到非監(jiān)督的深度學(xué)習(xí)上。通過(guò)應(yīng)用相同的優(yōu)化目標(biāo)方程和構(gòu)建基于一個(gè)

6、深度神經(jīng)網(wǎng)絡(luò)的哈希映射函數(shù)，開(kāi)發(fā)一種用于訓(xùn)練深度哈希網(wǎng)絡(luò)的魯棒非監(jiān)督的訓(xùn)練策略。
　　3.基于嵌入的跨域情感分類方法
　　為了實(shí)現(xiàn)跨域情感分類任務(wù)，論文提出一種基于嵌入的文本映射方法。該方法采用若干個(gè)軸點(diǎn)(pivot)連接源域和目標(biāo)域，通過(guò)構(gòu)建三個(gè)概率相似度匹配模型來(lái)學(xué)習(xí)文本數(shù)據(jù)的映射函數(shù)，并最終生成兩個(gè)領(lǐng)域中單詞和文檔數(shù)據(jù)的嵌入向量表示。軸點(diǎn)被用來(lái)減小源域和目標(biāo)域中單詞分布的差異，而三個(gè)概率相似度匹配模型則被用來(lái)保存文本數(shù)