基于文檔間相似性的Top-k排序?qū)W習(xí)方法.pdf

1、現(xiàn)在隨著人們對互聯(lián)網(wǎng)上的信息需求越來越大，能夠準確快捷的獲取到信息已經(jīng)成為了搜索引擎研究方面的熱點問題。在這其中，排序成為了搜索引擎技術(shù)中至關(guān)重要的一環(huán)。為了使得用戶滿意度提高，勢必就要提高返回結(jié)果的精度，把最為相關(guān)的若干頁面返回給用戶。如何實現(xiàn)這一目的便成為了對搜索引擎研究的熱點，最近若干年最為流行的熱點方法便是將搜索引擎中的排序過程使用機器學(xué)習(xí)的方法來研究解決，這是由于影響排序結(jié)果的特征因素十分繁雜，將這些因素都考慮進去勢必會得到一

2、個更加合理的排序結(jié)果。這種方法也就是Learning toRank方法。
　　在實際應(yīng)用中如信息檢索，推薦系統(tǒng)或者計算廣告等，對于大部分用戶來說，主要關(guān)心的是排序比較靠前的若干個結(jié)果，而對于排名靠后的結(jié)果，其準確度是可以適當忽略的。也就是說，靠前的若干結(jié)果對于用戶的用戶體驗和滿意度來說，這些結(jié)果是至關(guān)重要的。由此，一種叫做 Top-k排序的排序方法被提出來解決上述要求。
　　本課題在前人提出的模型的基礎(chǔ)上加以改進，首先是在層

3、次 Top-k排序模型中加入了文檔之間的相似性信息，這樣一來，模型在對Top-k數(shù)據(jù)建模的過程中考慮了文檔之間的相似性，并不是把文檔看做是互相獨立不相關(guān)的，而是有聯(lián)系的。我們將文檔之間的相似性作為每個文檔打分的加權(quán)加到對其他文檔的打分中。這樣一來便能充分利用這些附加的信息為我們的Top-k排序算法服務(wù)，使得最終的排序結(jié)果得以改進。
　　當加入文檔之間的相似性得到新的模型后，本課題又提出了不使用重新設(shè)計損失函數(shù)并令其最小化而直接使用

4、對排序概率進行最大化的方法來對模型參數(shù)進行優(yōu)化，這樣做的結(jié)果是使得訓(xùn)練模型的運算量大大降低，從組合級別降至多項式級別。這樣一來使得本課題提出的方法具有了現(xiàn)實的意義與應(yīng)用的價值。
　　而后又結(jié)合實驗結(jié)果對Top-k模型進行了改進，由于原 Top-k層次模型在第一層過程中有不少本應(yīng)排在前k個位置上的文檔被錯誤的放到位置k以后。這樣導(dǎo)致的問題是：由于第一層結(jié)束后模型提供給第二層的信息存在缺陷，所以不管第二層過程算法再復(fù)雜，使用的附加信息