跨媒體數(shù)據(jù)的語義分類與檢索.pdf

1、隨著信息技術(shù)和社交網(wǎng)絡(luò)的迅猛發(fā)展，數(shù)字圖像、文本、音頻、視頻等跨媒體數(shù)據(jù)正在改變著人們的生活和工作方式。如何使計算機理解跨媒體數(shù)據(jù)的語義內(nèi)容和分析跨媒體數(shù)據(jù)之間的關(guān)聯(lián)，已經(jīng)成為跨媒體和模式識別領(lǐng)域的重要研究課題。本文以跨媒體數(shù)據(jù)為研究對象，針對跨媒體語義增強、跨媒體檢索和多標(biāo)簽屬性學(xué)習(xí)等關(guān)鍵問題開展了深入的研究工作，論文的主要創(chuàng)新性研究成果包括:
　　1.提出一種跨媒體語義增強框架，并應(yīng)用于基于內(nèi)容的圖像檢索?？缑襟w語義增強的目標(biāo)

2、是通過利用視覺特征和文本特征之間的對應(yīng)關(guān)系，尋求一種有效的映射機制?；谶@種映射，視覺特征的雜亂分布特性可以通過具有顯著判別分布特性的文本特征進(jìn)行改善。實驗結(jié)果表明該方法可以有效地提升圖像檢索任務(wù)的性能。
　　2.提出一種任務(wù)驅(qū)動的跨媒體檢索算法(Task-specific Cross-media Retrieval，簡稱TSCR)。TSCR通過聯(lián)合優(yōu)化成對圖像和文本之間的相關(guān)性以及某種模態(tài)（文本或圖像）特征向其對應(yīng)語義空間的線性

3、回歸，從而獲得兩組將文本和圖像原始特征投影到同構(gòu)空間中的映射矩陣，分別用于圖像檢索文本和文本檢索圖像。實驗結(jié)果驗證了TSCR算法的有效性。
　　3.提出一種深度語義匹配(deep Semantic Matching，簡稱deep-SM)算法用來解決跨媒體檢索問題。deep-SM通過兩種不同的深度神經(jīng)網(wǎng)絡(luò)將圖像和文本映射到同構(gòu)的語義空間中，進(jìn)而實現(xiàn)兩種模態(tài)數(shù)據(jù)之間的跨媒體檢索。同時對比分析深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional

4、 Neural Network，簡稱CNN)的視覺特征對跨媒體檢索的影響。實驗結(jié)果驗證了deep-SM算法和CNN視覺特征對跨媒體檢索的有效性。
　　4.提出一種HCP(Hypotheses-CNN-Pooling)深度學(xué)習(xí)框架用于解決多標(biāo)簽屬性分類問題。HCP利用一種似物性推薦框(Hypotheses)篩選方法對每張多標(biāo)簽圖片選取了少量具有代表性的Hypotheses，并通過共享的CNN和跨Hypotheses的池化(Pooli