基于查詢相似性的直推式排序?qū)W習(xí)算法研究.pdf

1、在這個(gè)信息爆炸的時(shí)代，信息檢索系統(tǒng)的出現(xiàn)無疑給人們在因特網(wǎng)上尋找自己感興趣的內(nèi)容提供了莫大的幫助。對于系統(tǒng)返回的大量文檔來說，用戶們最關(guān)注的就是這些文檔的順序。一個(gè)好的檢索系統(tǒng)應(yīng)該把最接近用戶查詢意愿的文檔排在返回列表的最前面。
　　 隨著當(dāng)前互聯(lián)網(wǎng)上可得到的信息量快速增長，研究人員越來越意識到一個(gè)好的排序算法對檢索系統(tǒng)的重要性。在過去的幾十年里，各國學(xué)者提出了很多信息檢索的技術(shù)，但是與日趨龐大的信息量相比，這些技術(shù)存在著一些共

2、同的問題(如模型參數(shù)難以手工調(diào)整和過度擬合等現(xiàn)象)，而且也很難把不同的模型結(jié)合起來形成一個(gè)更有效的新模型。
　　 另一方面，機(jī)器學(xué)習(xí)領(lǐng)域的研究學(xué)者們已經(jīng)發(fā)展出了一套成熟的理論用于解決前面提到的這些問題。近年來，一些學(xué)者開始利用機(jī)器學(xué)習(xí)技術(shù)來指導(dǎo)信息檢索中的排序過程，并取得了比較大的突破。從而，“排序?qū)W習(xí)”作為信息檢索領(lǐng)域的一個(gè)新分支迅速成為了當(dāng)前熱門的研究方向。目前多數(shù)流行的排序?qū)W習(xí)算法都是采用全監(jiān)督的方式學(xué)習(xí)一個(gè)單一的排序模型

3、來進(jìn)行的，這種方法對于用戶提交的多種多樣的查詢來說存在著一定的局限性。因?yàn)榕判蛩惴ㄔ谟?xùn)練的過程中有可能會在不同的查詢之間采取折中的模型，從而導(dǎo)致排序準(zhǔn)確率的下降。
　　 在本文中我們提出了一種基于查詢之間相似性信息的直推式排序?qū)W習(xí)方法來為每一個(gè)查詢生成一個(gè)獨(dú)立的排序模型。首先，本文利用一個(gè)查詢的相應(yīng)文檔特征的標(biāo)準(zhǔn)差定義了一種全新的查詢特征，并提出了一種與Kendall'sΥ距離類似的方法來度量兩個(gè)查詢之間的相似性；其次，本文采用

4、這些方法從訓(xùn)練集中尋找與測試集上的查詢相似的那些查詢，并利用它們?yōu)橛?xùn)練集和測試集分別產(chǎn)生了多個(gè)額外特征。通過將這些特征添加到原來的訓(xùn)練集與測試集中得到新的數(shù)據(jù)集；最后，我們利用目前流行的多種全監(jiān)督排序?qū)W習(xí)算法在新的數(shù)據(jù)集上進(jìn)行訓(xùn)練與預(yù)測，并將實(shí)驗(yàn)所得的結(jié)果與原始的全監(jiān)督排序?qū)W習(xí)算法結(jié)果進(jìn)行了比較。由于這些新添加的特征能夠更好地表達(dá)出相應(yīng)的查詢，我們認(rèn)為這個(gè)新的直推式學(xué)習(xí)框架將有可能提高排序的準(zhǔn)確率。
　　 我們在LETOR數(shù)據(jù)集