基于標記依賴關系的多標記學習算法研究.pdf

1、多標記分類是機器學習和數(shù)據(jù)挖掘中一個重要的研究問題，其目的是為了預測實例同時具有的多個標記。在大多實際應用中，實例的多個標記之間存在著潛在的依賴關系，發(fā)掘其中蘊含的有用信息往往能夠有效地提高分類模型的學習性能。因此，如何學習和利用標記間的依賴關系，已經(jīng)成為當前多標記分類學習領域的關鍵問題之一。
　　本文首先對研究現(xiàn)狀進行了總結，分析了現(xiàn)有方法的優(yōu)缺點。接著，探索了學習和利用不同類型和應用場景下的多標記間依賴關系的多種途徑，提出了多

2、種更加有效的多標記分類模型和算法。本文取得的研究成果主要如下:
　　(1)分類器鏈等模型往往隨機地為每個標記確定其所依賴的其它標記，因此可能獲得與實際不符的結果。為解決這一問題，本文提出了一種利用樹型貝葉斯網(wǎng)絡來表示標記間依賴關系的方法。該方法通過明確度量多標記間依賴程度的大小，來構建一個以標記為節(jié)點，標記間依賴程度大小為權重的網(wǎng)絡結構，從而能夠合理地確定多標記間的依賴關系。進一步，還利用集成學習技術構建了多個可能的標記間依賴結構

3、，從而能夠更充分地考慮多標記間的相互依賴關系。實驗結果驗證了該算法的有效性，這表明通過度量標記間的依賴程度大小并充分考慮標記間的相互依賴關系，能夠進一步提升分類模型的性能。
　　(2)提出了一種利用圖結構表示標記間的依賴程度，并將多標記間依賴關系的迭代傳播表示成在圖上的隨機游走過程的多標記學習算法。該方法首先構建了標記間的圖結構，并利用重啟動隨機游走模型來模擬標記間依賴關系在圖中的迭代傳播過程。對給定測試實例，該方法首先給出各標記

4、為其真實標記的初始概率，然后采用類似PageRank的方法迭代地更新各標記的值直到收斂為止。這種迭代重復更新的過程使得，各標記不僅能考慮和其有直接依賴關系的標記對其的影響，也能考慮其它間接的依賴關系。實驗結果表明，該算法在多種評價標準下都明顯優(yōu)于其它對比算法，尤其當數(shù)據(jù)集具有較多的標記時。這表明，考慮標記間依賴關系的迭代傳播，能夠更為有效地發(fā)掘和利用其中潛在的有用信息。
　　(3)在上一種方法的基礎上，進一步提出了一種能夠考慮多種

5、潛在因素，并通過最優(yōu)化給定的目標函數(shù)來學習多標記間最優(yōu)的依賴程度的多標記學習算法。該方法利用了多核學習的思想，首先基于不同的依賴關系定義，從不同方面給出了標記間依賴程度的多種度量結果，然后以這些度量為輸入利用線性模型學習標記間的最終依賴程度。該方法的優(yōu)勢包括:一是能夠綜合考慮從不同角度出發(fā)的標記間依賴程度的度量;二是其通過最小化分類模型所采用的損失函數(shù)來估計線性模型的參數(shù)，因此能夠學習到對當前分類任務最優(yōu)的標記間依賴程度。實驗結果表明，

6、通過優(yōu)化目標函數(shù)而學習到的標記間依賴關系和程度，和上一種方法等對比算法相比，該方法能明顯地提升相應分類模型的性能。
　　(4)針對弱標記和存在大量標記的問題，本文基于矩陣分解模型提出了一種學習最優(yōu)的標記排序的方法。該方法能夠將原標記空間映射到一個低維空間，從而能夠顯著地減少標記個數(shù)并因此降低計算量。對訓練集中的每個實例，都可以獲得兩個標記集合:已經(jīng)明確給出的標記，和其它沒有明確給出的標記?，F(xiàn)有方法中大多假設，若標記沒有明確給出則即

7、為實例的非相關標記（非1即0）。為避免該假設可能引入的錯誤信息，本文所提方法僅假設，對每個實例，和沒有明確給出的標記相比，那些明確給出的標記更應該是實例的相關標記。相應地，該方法設計了一種類似AUC曲線的損失函數(shù)，并通過優(yōu)化該損失函數(shù)使得在為實例預測的標記排序中，那些明確給出的標記都盡量排在沒有明確給出的標記之前。因此，該方法能夠在存在弱標記的情況下，充分利用標記間的依賴關系來產(chǎn)生一個更為合理的標記排序。實驗結果驗證了該方法在特定數(shù)據(jù)集