基于列表級的相關文本排序學習算法研究.pdf

1、為了提高用戶檢索的精度，將更加相關有效的頁面返回給查詢用戶，如何提高搜索引擎排序的質量就顯得至關重要?？紤]對檢索模型有影響的因素時，我們考慮到網頁的重要度和相關度是兩個重要的特征；但是只有重要度和相關度也不夠，還要考慮其他的一些因素，比如網頁之間相似性。隨著搜索技術的發(fā)展和對搜索進行的研究，我們發(fā)現(xiàn)有太多的因素會影響到排序，把這些因素視作特征用一些方法綜合考慮得出一個最合理的排序，這就是當今搜索引擎排序研究領域中引入機器學習的方法所要解

2、決的問題，也即排序學習所要研究解決的問題。
　　由于本課題是在網頁上進行的排序研究，而網頁是經過特殊格式化了的文本，所以我們的研究主要集中在對文本排序的研究之上。
　　本課題介紹了現(xiàn)有的八種文本特征提取方法，提出了帶有位置信息的TFIDF，并且結合全局信息熵，這樣一個新的特征提取方法(WTE)。我們提出的特征提取方法由于結合了位置權重和信息熵，使得提取的特征詞能夠更好的代表一篇文本，又能最大限度的與其他文本相區(qū)分。重要的是，

3、這個方法能最佳的表示詞在文章中的重要度和相關性。同時，我們提出一種適用于列表級排序學習方法上的基準排序序列的構建方法，彌補了在列表級排序學習方法的研究上，基準序列不足的缺陷。
　　本課題在建立排序模型的時候提出了結合文本內容與查詢的相關性和文本之間的相似性關系應用在列表級排序學習模型上的排序方法。大多數(shù)的排序學習方法在建立排序模型的時候都只考慮了文本內容與查詢的相關性，而忽略了文本之間的相似性關系對排序可能給予的貢獻。為了解決這個

4、問題，本課題將文本之間的相似性關系表示成了一個相似性圖（AA），結合AA表示的文本之間的潛在關系以及文本本身內容與查詢的關系構建排序模型，引入監(jiān)督學習的方法優(yōu)化排序模型。對于文本的相關度函數(shù)的構建不僅僅依賴于文本本身內容而且也依賴于文本之間的相似性關系，這是本文的研究重點。
　　本課題在學習模型的構建上利用交叉熵和似然估計作為替代損失函數(shù)，利用增量型線性神經網絡和梯度下降算法來最小化本文定義的損失函數(shù)。本課題實現(xiàn)并分析了在上述兩種