跨媒體檢索技術(shù)的研究.pdf

1、在當前信息化和網(wǎng)絡(luò)化迅速發(fā)展的社會，對跨媒體內(nèi)容檢索已經(jīng)成為信息檢索領(lǐng)悟中比較重要的研究熱點。與傳統(tǒng)信息檢索不同的是，跨媒體信息檢索的對象不是單一類型的多媒體對象，往往包括圖像、聲音以及視頻等格式的數(shù)據(jù)。在研究跨媒體信息檢索領(lǐng)域中，對于不同類型的多媒體信息檢索處于尚不成熟的階段。人們在對信息進行識別的過程中，往往需要對不同類型的信息進行感性認識，包括視覺、聽覺等信息進行綜合分析，形成整體認知。要實現(xiàn)這一點，需要對多媒體信息檢索和管理的時

2、候利用跨媒體信息檢索方式進行比對。
　　 對于跨媒體檢索技術(shù)的發(fā)展，離不開傳統(tǒng)基于內(nèi)容的多媒體檢索技術(shù)。自從二十世紀九十年代以來，各種基于內(nèi)容的多媒體檢索技術(shù)將計算機視覺、模式識別、數(shù)據(jù)庫技術(shù)以及機器學習等技術(shù)綜合起來，形成多角度分析的機制，彌補了傳統(tǒng)單一類型多媒體信息檢索的弊端，大大提高了在大數(shù)據(jù)量情況下的信息檢索的效率?？缑襟w信息檢索最初基于內(nèi)容的檢索技術(shù)，應(yīng)用于對圖像的各種信息進行提取，例如顏色，紋理，形狀等特征向量作為圖

3、像索引的切入點?；谶@種技術(shù)，可以轉(zhuǎn)移到基于內(nèi)容的視頻和音頻數(shù)據(jù)檢索中，依然可以達到較為理想的效果。但是這些方法大多基于單一類型的多媒體數(shù)據(jù)作為檢索對象，對于不同類型之間的數(shù)據(jù)往往不能實現(xiàn)交叉檢索，例如利用音頻數(shù)據(jù)與圖像數(shù)據(jù)對比，可以實現(xiàn)人臉與語音雙重識別問題。
　　 論文中對媒體底層特征的提取進行了詳細研究，并利用PCA降維來縮小計算量。針對音頻例子，采用MPEG實現(xiàn)音頻數(shù)據(jù)的壓縮，利用基于模糊C-均值聚類算法對聚類質(zhì)心進行提

4、取分析，借助Mel倒譜系數(shù)比較和計算，得到相似度結(jié)果;針對圖像，利用小波變換提取圖像邊緣，分析圖像中的顏色特征、紋理特征等，通過計算其7個不變矩組成表達這幅圖像的特征向量，計算其距離函數(shù)得到相似度結(jié)果。
　　 本文的研究基于對單一類型多媒體數(shù)據(jù)的檢索技術(shù)，實現(xiàn)跨媒體數(shù)據(jù)的綜合檢索。針對圖像、音頻等多媒體數(shù)據(jù)進行交叉比對，把數(shù)據(jù)底層最小粒度的特征進行向量化，借助相關(guān)矩陣的收斂運算，研究了圖像與音頻數(shù)據(jù)的跨媒體相關(guān)性分析，并通過對多