面向多模態(tài)數據的多分類與檢索方法研究.pdf

1、隨著網絡技術的快速發(fā)展，包含有文本與圖像等數據的多模態(tài)文檔大規(guī)模地出現在人們的日常生活中。在信息的世界中，這些不同模態(tài)的數據資源可以無形地提升感覺器官接受知識的能力。盡管如此，由于多模態(tài)數據所呈現出的多樣性、復雜性與隨意性，人們很難從大量的數據資源中挖掘出對自己有用的信息。因此，為了更好地滿足人們日益增長的各種需求，本文從多分類與檢索的角度研究了多模態(tài)數據的智能化管理技術。
　　許多實際問題的解決方案均涉及到多分類技術，該技術可以

2、有效地縮減用戶與計算機的理解差異。在傳統(tǒng)的多類Boosting方法中，多類損耗函數不一定具有猜測背離性，且多類弱學習器的結合被限制為線性的加權和。為了獲得高準確率的最終分類器，多類損耗函數應該具有多類邊緣極大化、貝葉斯一致性與猜測背離性。除此之外，弱學習器的缺點可能會限制線性分類器的性能，然而它們的非線性結合可以提供較強的判別力。根據這兩個觀點，本文設計了一個自適應的多類Boosting分類器，即SOHP-MCBoost算法。在每次迭代

3、中，SOHP-MCBoot算法能夠利用向量加法或Hadamard乘積來集成最優(yōu)的多類弱學習器。這個自適應的過程可以產生弱學習的Hadamard乘積向量和，進而挖掘出數據集的隱藏結構。
　　對于一個多模態(tài)數據文檔，模態(tài)內損耗可以捕獲到每個模態(tài)數據的語義類信息，而模態(tài)間損耗可以挖掘到不同模態(tài)數據之間的語義相關性。傳統(tǒng)的單模態(tài)Boosting方法沒有考慮模態(tài)間損耗，這可能會增大相關數據的語義距離。為了共同地分析多模態(tài)數據，本文設計了一個

4、包含模態(tài)內損耗與模態(tài)間損耗的多模態(tài)多類Boosting框架。對于多維泛函空間內的優(yōu)化問題，這個框架可以利用梯度下降的策略來輪流地更新每個模態(tài)的預測器。在獲得最優(yōu)預測器之后，Sigmoid函數可以把相應的擬邊緣轉換成語義概念類的后驗概率。經過這樣的操作過程，語義空間的跨模態(tài)檢索能夠妥善地保存模態(tài)內的語義信息與模態(tài)間的語義相關性。
　　基于原始特征向量的內容相似性可以揭示每個模態(tài)數據集的內部結構，而基于語義特征向量的語義相似性反映了不

5、同模態(tài)數據之間的相關性，二者的結合能夠在一定程度上提高跨模態(tài)與多模態(tài)檢索的性能。在一階馬爾可夫鏈中，每個目標對象的內容特征與語義特征可以分別表示一個隱藏狀態(tài)及其對應的發(fā)射概率。根據多類邏輯回歸或隨機森林，具有一階馬爾可夫鏈的CCSS模型可以把每個模態(tài)數據的原始特征映射到一個共同的語義空間。通過在馬爾可夫鏈內尋找一條最優(yōu)的狀態(tài)路徑，CCSS模型能夠為每個查詢對象返回一條目標對象的索引序列。在這個序列中，相鄰的目標對象具有類似的內容信息與語

6、義信息。
　　不同模態(tài)的數據提供了互補的信息，它們的相互作用可以幫助人們在高層次上更好地理解多模態(tài)數據文檔。在跨模態(tài)檢索的過程中，具有兩條一階馬爾可夫鏈的圖模型（CCSSI）不僅考慮了不同模態(tài)數據的相互作用，而且結合了內容相似性與語義相似性。一條鏈中的對象可以轉移到該鏈的另一個對象，卻不能轉移到另一條鏈上的任意對象。當CCSSI模型檢索一條鏈中的對象時，另一條鏈中的對象能夠補充有用的信息。在某一個時間步，最相關對象的選擇同時依賴于