搜索引擎排名算法及作弊檢測技術(shù)研究.pdf

1、隨著信息技術(shù)的發(fā)展，互聯(lián)網(wǎng)成為人們獲取信息的重要來源。搜索引擎作為互聯(lián)網(wǎng)信息檢索的入口，在信息獲取的過程中扮演著舉足輕重的角色。搜索引擎排名算法負責將最有價值的網(wǎng)頁優(yōu)先推薦給用戶，它在提高檢索服務(wù)質(zhì)量方面起著重要作用?；阪溄臃治龅呐琶惴ǎㄈ鏟ageRank）在今天的搜索引擎中取得了巨大的成功，這種排名思想可以應(yīng)用到很多其他的信息檢索系統(tǒng)中。
　　 然而搜索引擎排名算法目前面臨著一個嚴重問題，那就是搜索引擎作弊。搜索引擎作弊是

2、指通過不正當?shù)氖侄?，使某些網(wǎng)頁在搜索結(jié)果中獲得高于其實際價值的排名的欺騙行為。搜索引擎作弊不但會增加搜索引擎運行成本、降低搜索性能，而且嚴重影響用戶體驗。因此進行搜索引擎作弊檢測、剔除互聯(lián)網(wǎng)上的作弊內(nèi)容，不論對搜索引擎還是對搜索用戶都具有重要意義。
　　 本文工作主要包括兩個方面：1.將鏈接分析思想應(yīng)用到文獻檢索系統(tǒng)中，提出了一個基于PageRank的文獻質(zhì)量評價算法；2.提出了一個利用擴展策略和鏈接相似度檢測搜索引擎作弊的方法

3、。主要內(nèi)容概括如下：
　　 1.首先對搜索引擎排名算法做了詳細的總結(jié)分析。在深入研究了搜索引擎排名算法的相關(guān)理論和技術(shù)的基礎(chǔ)上，我們提出了搜索引擎排名算法在文獻檢索系統(tǒng)中的一個應(yīng)用：基于PageRank的科技文獻質(zhì)量評價算法。該算法將PageRank思想引入到引文分析中，并綜合考慮科技文獻發(fā)表機構(gòu)、作者、被引次數(shù)、發(fā)表時間等因素，改進了傳統(tǒng)的文獻質(zhì)量評價方法。實驗證實，該算法的評價結(jié)果比傳統(tǒng)方法更符合人們的期望。
　　

4、2.在對各類搜索引擎作弊技術(shù)及目前各種作弊檢測技術(shù)作了研究綜述的基礎(chǔ)上，提出了一個基于擴展策略和鏈接相似度的鏈接作弊檢測方法。我們的方法從一個較小的作弊網(wǎng)頁種子集合開始，利用網(wǎng)頁間的鏈接相似關(guān)系擴展種子集合，逐步發(fā)現(xiàn)更多的作弊網(wǎng)頁。目前網(wǎng)頁間的鏈接相似度直接沿用引文分析中的度量指標：Coeitation、Bibcoupling和Amsler。由于忽視了網(wǎng)頁間鏈接關(guān)系與論文間引文關(guān)系的區(qū)別，用這些指標度量網(wǎng)頁間鏈接相似度會出現(xiàn)問題。我們對

5、這些指標進行了修正，提出了三種適用于Web網(wǎng)頁的新鏈接相似度，并將這三種新鏈接相似度應(yīng)用到基于擴展策略的鏈接作弊檢測方法中。
　　 3.通過實驗驗證了提出的機遇擴展策略和鏈接相似度的作弊檢測方法。我們在一個公開數(shù)據(jù)集WEBSPAM-UK2006上測試了我們的方法，對結(jié)果進行了比較分析，并與其他檢測方法做了對比。首先比較了在基于擴展的方法中新提出的鏈接相似度與舊鏈接相似度的檢測效果，我們發(fā)現(xiàn)新鏈接相似度的檢測準確率更高，但檢測結(jié)果