一種基于主題的并行排序?qū)W習(xí)方法研究.pdf

1、在信息檢索領(lǐng)域排序?qū)W習(xí)方法是目前主流的排序技術(shù)，目前，排序?qū)W習(xí)方法的研究以文檔獨立性假設(shè)為前提，重點關(guān)注如何精準(zhǔn)預(yù)測單個文檔與查詢之間的相關(guān)性得分，忽略了對文檔之間的關(guān)系進(jìn)行考慮，這樣就導(dǎo)致了排序結(jié)果中冗余信息的產(chǎn)生。此外，現(xiàn)有的排序?qū)W習(xí)方法對于所有類型的查詢都用一個統(tǒng)一的排序模型來處理，忽視了查詢的差異性，不能夠有針對性的對查詢進(jìn)行處理，這樣就降低了排序結(jié)果的準(zhǔn)確率。
　　本文首先論述考慮查詢之間的差異性的必要性。然后在此基礎(chǔ)上

2、，研究如何在訓(xùn)練排序模型的過程，打破文檔獨立性假設(shè)，對文檔間的關(guān)系進(jìn)行建模，具體的研究內(nèi)容包括:
　　在離線階段，本文提出在訓(xùn)練排序模型過程中同時將文檔間的關(guān)系和查詢的差異性進(jìn)行考慮。首先提出將查詢表示為查詢特征向量的形式，采用聚類的方法，根據(jù)查詢之間的相似性對查詢集合進(jìn)行劃分，形成了不同的訓(xùn)練(子)集，針對每一個訓(xùn)練子集分別構(gòu)建排序模型。在體現(xiàn)查詢差異的子排序模型的訓(xùn)練過程中，將文檔間的關(guān)系進(jìn)行考慮，使得模型的創(chuàng)建更具有針對性和

3、適應(yīng)性，提出了關(guān)系排序?qū)W習(xí)模型。這樣，最終對于一個文檔的打分取決于其自身內(nèi)容與查詢的相關(guān)性，以及其與之前的所有已經(jīng)排序好的文檔之間的關(guān)系?；谝陨峡紤]，定義了相應(yīng)的排序函數(shù)和損失函數(shù)。
　　針對在線階段如何對新到來的查詢進(jìn)行處理，本文提出一種并行排序框架，首先提出一種排序模型選擇方法，該方法通過選擇k個最善于處理目標(biāo)查詢的排序模型，使用該k個排序模型對待處理查詢的相關(guān)文檔進(jìn)行打分，使用該方法能夠針對不同類型的查詢選擇出更加適合的候