基于哈希學(xué)習(xí)的跨媒體檢索關(guān)鍵技術(shù)研究及系統(tǒng)實(shí)現(xiàn).pdf

1、近年來，伴隨著科技的快速發(fā)展，各種媒體類型的數(shù)據(jù)有了海量式的增加，我們稱之為“大數(shù)據(jù)”。用戶對(duì)多媒體數(shù)據(jù)的檢索需求也變得多樣化，以往人們可以通過搜索引擎如百度、谷歌或必應(yīng)等快速和便捷地檢索大量的多媒體數(shù)據(jù)（如文本，圖片，音頻和視頻），并拿來進(jìn)行數(shù)字娛樂。但是我們發(fā)現(xiàn)，這種檢索方式比較單一化，它只能檢索某一種媒體類型的數(shù)據(jù)，比如文本只檢索文本，圖片只檢索圖片?，F(xiàn)如今，人們更多的關(guān)注于不同的媒體類型之間互相檢索，對(duì)多個(gè)媒體類型數(shù)據(jù)進(jìn)行分析和

2、處理，可以更好地滿足我們的檢索需求，因此我們需要對(duì)傳統(tǒng)的檢索方式進(jìn)行革新，跨媒體檢索正逐漸的走入我們的視線，并被相關(guān)人員開始廣泛的研究。
　　近似最近鄰(Approximate Nearest Neighbor,ANN)查找，也稱相似性查找即找出一個(gè)與查找文件最為相似的項(xiàng)出來，這個(gè)項(xiàng)稱為最近鄰域。通過研究發(fā)現(xiàn)，近似最近鄰查找非常適合于多媒體數(shù)據(jù)的檢索，它可以快速地檢索出我們想要的媒體類型數(shù)據(jù)。目前，基于哈希近似最近鄰檢索引起了廣泛

3、的關(guān)注，一方面哈希算法使用低維緊湊的二值碼來表示高維的特征數(shù)據(jù)，使得數(shù)據(jù)在存儲(chǔ)占用上存在一定的優(yōu)勢。另一方面，哈希的檢索方式對(duì)維度不敏感，使得相似性計(jì)算非?？?，有利于海量媒體數(shù)據(jù)的檢索。
　　由于哈希技術(shù)具有低存儲(chǔ)開銷和快速檢索的優(yōu)勢，基于哈希的近似最近鄰檢索在多媒體數(shù)據(jù)的相似檢索中引起廣泛的關(guān)注。一般來說，現(xiàn)實(shí)應(yīng)用中的大多數(shù)數(shù)據(jù)都帶有語義標(biāo)簽信息，因此很多的監(jiān)督多模態(tài)哈希學(xué)習(xí)方法都借助了語義信息來提升檢索的準(zhǔn)確度。這其中一些方法

4、使用相似度矩陣去學(xué)習(xí)哈希函數(shù)，然而這將會(huì)丟失一些維持原始數(shù)據(jù)的有用信息;有一些方法的哈希函數(shù)對(duì)噪聲缺乏魯棒性，易受樣本中噪聲的影響;還有的方法為了繞過離散優(yōu)化的障礙而將哈希碼進(jìn)行松弛或者將哈希函數(shù)與哈希碼的學(xué)習(xí)變?yōu)閮蓚€(gè)獨(dú)立的過程，這都會(huì)使得哈希碼的質(zhì)量嚴(yán)重受損。考慮到以上缺陷，本文中設(shè)計(jì)了一個(gè)用于跨媒體檢索的多模態(tài)哈希學(xué)習(xí)方法，稱為監(jiān)督魯棒離散多模態(tài)哈希(Supervised Robust DiscreteMultimodal Hash

5、ing，SRDMH)。首先SRDMH使用傳統(tǒng)特征提取方法比如SIFT方法、GIST方法來抽取數(shù)據(jù)特征，學(xué)習(xí)過程中還加入了標(biāo)簽信息;為了保證二值碼的質(zhì)量我們摒棄了以往的松弛二值碼的方式，而是同時(shí)學(xué)習(xí)哈希函數(shù)和二值碼;然后我們又引入了一種新穎的ζ2，p(0＜p≤2)范數(shù)去克服樣本中的噪聲，使得我們的哈希函數(shù)具有更好的魯棒性;此外，為了優(yōu)化的方便，我們借助對(duì)每個(gè)樣本的中間表示把一個(gè)復(fù)雜的優(yōu)化問題變成了兩個(gè)子優(yōu)化問題。最后我們?cè)谌齻€(gè)基準(zhǔn)數(shù)據(jù)集上

6、進(jìn)行了大量的實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明我們提出的多模態(tài)哈希方法優(yōu)于目前已提出用于跨媒體檢索的哈希方法，具有很好地學(xué)術(shù)參考價(jià)值。
　　我們還設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)跨媒體檢索系統(tǒng)。該系統(tǒng)采用瀏覽器/服務(wù)器模式提供以文本檢索圖片和以圖片檢索文本兩個(gè)跨媒體檢索功能。系統(tǒng)的結(jié)構(gòu)主要包含頁面展示層、業(yè)務(wù)核心層和數(shù)據(jù)存儲(chǔ)層。該系統(tǒng)的核心部分采用我們提出的多模態(tài)哈?？蚣苓M(jìn)行媒體信息的存儲(chǔ)和檢索，最終通過本系統(tǒng)展現(xiàn)了我們方法的有效性和高效性，并為實(shí)際的應(yīng)用提供了