半監(jiān)督排序學習算法研究.pdf

1、排序學習是當前信息檢索與機器學習領域研究的熱點問題之一，它在諸如文檔檢索、協(xié)同過濾、自然語言解析等領域有廣泛的應用。排序學習的目標就是應用機器學習技術自動地從訓練數(shù)據(jù)中學習出一個排序函數(shù)對目標對象進行排序。針對排序學習問題，目前人們已經(jīng)提出了很多算法，根據(jù)輸入表示以及損失函數(shù)的不同，它們大致可分為點級方法(pointwise approach)、對級方法(pairwise approach)和列表級方法(listwise approac

2、h)三類方法。
　　排序學習是一種有監(jiān)督學習，因此需要提供一個帶標記訓練數(shù)據(jù)集。但是在實際問題中，獲取帶標記的數(shù)據(jù)是費時而且昂貴的。為了在排序問題中利用大量存在的未標記樣例，自然而然地產(chǎn)生了半監(jiān)督排序學習問題。借助半監(jiān)督學習技術從大量無標簽數(shù)據(jù)集中發(fā)現(xiàn)隱含的排序信息，對于減少標注代價，提高排序算法的性能具有非常重大的實際意義。因此本文旨在將半監(jiān)督學習技術應用于排序學習問題，從而開發(fā)出半監(jiān)督情況下的排序學習算法。本研究的主要工作如下

3、:
　　首先，本文提出了正則化提升(Regularized Boosting)學習方法的一般框架框?；谶@一框架設計了基于RankBoost算法的半監(jiān)督排序學習算法。正則化(regularization)是一種具有廣泛應用的半監(jiān)督學習技術，它通過使學習器優(yōu)化帶正則化懲罰項的損失函數(shù)，從而利用未標記樣例來輔助提高學習性能。提升(boosting)是一種簡單高效并且具有理論支持的集成學習方法，它通過漸進式地組合一系列簡單的模型得到一個

4、性能更優(yōu)的模型。通過結合這兩種重要的技術，把pairwise型排序學習算法RankBoost擴展到了半監(jiān)督情況下。具體而言，我們在原有的損失函數(shù)中引入基于“光滑性假設”(smooth assumption)的正則化懲罰項，保證相似的樣例獲得接近的排序得分。進一步，通過理論分析得出損失函數(shù)最小化的提升算法。最終設計出的算法既合理地利用了已有的半監(jiān)督學習假設又保留了boosting方法簡單高效的優(yōu)點。
　　其次，本文提出了把listw

5、ise型排序學習算法擴展到半監(jiān)督情況下的一般框架。在此框架下，首先用半監(jiān)督學習技術為一部分無標記樣例貼上偽標簽，然后運行傳統(tǒng)的listwise型的算法?；谶@一框架我們把典型的listwise型排序算法AdaRank擴展到了半監(jiān)督排序學習的情形。具體地，算法首先在每個查詢內部通過標記傳播(label propagation)算法給一部分無標記樣例附上標簽。然后在增加的數(shù)據(jù)集上運行改進的正則化形式的AdaRank算法。受益于listwis