基于隱藏層語義關聯(lián)的跨媒體檢索方法研究.pdf

1、伴隨著計算機網(wǎng)絡和多媒體技術的發(fā)展，人們不僅僅滿足于用單模態(tài)數(shù)據(jù)來描述一篇文檔，包含多種模態(tài)的多媒體文檔越來越頻繁的出現(xiàn)在網(wǎng)絡中,因此跨媒體檢索也越來越受到人們的關注。
　　由于直接把不同模態(tài)底層特征映射到同維空間會損失大量信息，并且同維的不同模態(tài)特征所表達的意義也差異巨大，據(jù)此提出了基于隱藏層語義關聯(lián)的跨媒體檢索方法。該方法首先借鑒了深度學習的思想，通過深度網(wǎng)絡模型來完成底層特征到隱藏層特征的映射，其中深度網(wǎng)絡模型通過棧式自編碼

2、以及誤差反向傳播技術構建。接著引入典型相關性分析來關聯(lián)不同模態(tài)的隱藏層特征，典型相關性分析能夠在保持不同模態(tài)特征最大相關性的基礎上把不同模態(tài)的特征映射到一個同維空間，使得通過典型相關性分析關聯(lián)后的不同模態(tài)的隱藏層特征具有同維度，且具有相近的意義表達。然后通過Softmax回歸模型對關聯(lián)后的隱藏層特征進行語義分類學習。最后通過特征與語義相結合的檢索算法來進行跨媒體檢索。
　　為了驗證方法的有效性及可行性，在wiki百科數(shù)據(jù)集上進行了