排序?qū)W習(xí)中的領(lǐng)域自適應(yīng)研究.pdf

1、隨著監(jiān)督式機(jī)器學(xué)習(xí)技術(shù)在各個(gè)領(lǐng)域的廣泛應(yīng)用，研究人員逐漸意識(shí)到，訓(xùn)練數(shù)據(jù)的缺乏是阻礙學(xué)習(xí)模型快速部署的關(guān)鍵因素之一。最近幾年，如何解決訓(xùn)練數(shù)據(jù)缺乏的問(wèn)題，已經(jīng)成為機(jī)器學(xué)習(xí)，自然語(yǔ)言處理，信息檢索、多媒體等領(lǐng)域的研究熱點(diǎn)。
　　 排序?qū)W習(xí)是信息檢索的關(guān)鍵問(wèn)題之一。目前，基于監(jiān)督的機(jī)器學(xué)習(xí)技術(shù)被認(rèn)為是解決排序?qū)W習(xí)的最佳選擇。如同傳統(tǒng)監(jiān)督式學(xué)習(xí)技術(shù)，目標(biāo)領(lǐng)域缺乏訓(xùn)練數(shù)據(jù)也是排序?qū)W習(xí)正在面臨的實(shí)際問(wèn)題。針對(duì)排序?qū)W習(xí)，我們研究了如何利用其

2、他相關(guān)領(lǐng)域的已有訓(xùn)練數(shù)據(jù)，學(xué)習(xí)出適用于目標(biāo)領(lǐng)域的模型，即領(lǐng)域自適應(yīng)。
　　 本文的主要貢獻(xiàn)有以下幾個(gè)方面：
　　 1.提出了基于文檔權(quán)重的排序?qū)W習(xí)自適應(yīng)框架。首先，利用領(lǐng)域分隔超平面估計(jì)源領(lǐng)域文檔對(duì)目標(biāo)領(lǐng)域的重要性；然后，把這些文檔權(quán)重轉(zhuǎn)換成文檔對(duì)權(quán)重；最終，文檔對(duì)權(quán)重可以集成到基于文檔對(duì)的排序?qū)W習(xí)算法中。
　　 2.研究了著名的排序?qū)W習(xí)算法RankBoost的領(lǐng)域自適應(yīng)問(wèn)題。在基于文檔權(quán)重的排序自適應(yīng)框架下，提

3、出了三種基于文檔權(quán)重的RankBoost算法，并分別對(duì)它們進(jìn)行了理論分析和試驗(yàn)比較。
　　 3.提出了直接在查詢層次估計(jì)源領(lǐng)域查詢對(duì)目標(biāo)領(lǐng)域重要性的方法。在排序?qū)W習(xí)中，查詢是帶有相關(guān)性標(biāo)簽的文檔集合，是排序?qū)W習(xí)的基本對(duì)象。我們分別從兩個(gè)不同的角度進(jìn)行查詢權(quán)重估計(jì)：(1)將查詢壓縮成特征向量，然后采用傳統(tǒng)的權(quán)重估計(jì)方法進(jìn)行查詢權(quán)重估計(jì)。(2)對(duì)每個(gè)源領(lǐng)域的查詢，把它依次和目標(biāo)領(lǐng)域查詢進(jìn)行比較；通過(guò)集成這些兩兩比較的結(jié)果，估計(jì)源領(lǐng)域

4、查詢對(duì)于目標(biāo)領(lǐng)域的重要程度。
　　 4.提出了基于主動(dòng)學(xué)習(xí)的排序?qū)W習(xí)自適應(yīng)算法。為了獲得目標(biāo)領(lǐng)域特有的排序知識(shí)，采用主動(dòng)學(xué)習(xí)技術(shù)，選擇少量目標(biāo)領(lǐng)域具有信息量的查詢進(jìn)行標(biāo)注。這些查詢可以彌補(bǔ)源領(lǐng)域所缺失的目標(biāo)領(lǐng)域排序知識(shí)，同時(shí)，利用這些目標(biāo)查詢?cè)u(píng)估源查詢對(duì)目標(biāo)領(lǐng)域的重要性權(quán)重，從而充分利用源領(lǐng)域的訓(xùn)練數(shù)據(jù)。
　　 5.將領(lǐng)域自適應(yīng)技術(shù)應(yīng)用在語(yǔ)義實(shí)體識(shí)別中，提出了利用領(lǐng)域獨(dú)立特征來(lái)增強(qiáng)領(lǐng)域自適應(yīng)能力的方法。傳統(tǒng)實(shí)體識(shí)別僅僅使

5、用短文本特征，當(dāng)訓(xùn)練文檔和測(cè)試文檔在風(fēng)格上稍有差異時(shí)，性能便有明顯下降。為解決該問(wèn)題，我們?cè)O(shè)計(jì)了一個(gè)CRF與SVM的組合框架，通過(guò)該框架，短文本特征與領(lǐng)域獨(dú)立特征可以有效的集成，最終獲得的識(shí)別模型能夠更好地適用于目標(biāo)領(lǐng)域。
　　 針對(duì)不同的應(yīng)用場(chǎng)景，本文研究了排序?qū)W習(xí)中的領(lǐng)域自適應(yīng)問(wèn)題。在目標(biāo)領(lǐng)域沒有標(biāo)注數(shù)據(jù)的場(chǎng)景下，我們從樣本權(quán)重的角度，研究了基于權(quán)重的排序?qū)W習(xí)領(lǐng)域自適應(yīng)；在目標(biāo)領(lǐng)域存在少量標(biāo)注預(yù)算的場(chǎng)景下，我們研究了基于主動(dòng)