Web Spam檢測技術研究與實現(xiàn).pdf

1、搜索質(zhì)量是搜索服務的核心，決定了搜索引擎的質(zhì)量。搜索引擎不但要搜索出相關性較高且符合用戶需求的目標頁面，同時也要針對低質(zhì)量，甚至是人為“高質(zhì)量”的作弊頁面進行甄別和處理。本文主要針對頁面作弊分類檢測中基于內(nèi)容的作弊分類檢測技術方法進行了研究，并將文本分類中樸素文本分類和KNN分類方法應用于頁面的二值分類檢測上。
　　論文將作弊頁面的甄別看作是正常和作弊的二值分類過程。首先論文將頁面的四個組成元素（標題、關鍵字、描述和正文）之間的相

2、似度作為網(wǎng)頁的文本特征并構建向量空間，然后應用樸素文本分類方法，在相似度的計算和閾值的確定上分別采用余弦值及歐式距離和迭代取值的方式，來達到最好的分類效果，實驗結(jié)果說明采用類樸素文本分類方法正負樣本無法同時取得較理想的召回率。為解決上述問題，論文分析了樣本中部分特征之間的2維散列圖，發(fā)現(xiàn)正負樣本的局部交錯分布導致無法根據(jù)某一個閾值來明確頁面的類別歸屬，為此采用基于有監(jiān)督的KNN分類方法，并增加了頁面的特征維度，而且對頁面特征進行了標準化

3、，以降低特征度量單位差異化導致的分類偏差問題，最終通過實驗結(jié)果表明該分類方法相比于類樸素文本分類方法在正負樣本召回率上能夠同時取得更滿意的效果。
　　應用上述分類方法，論文構建了一個新聞類的垂直搜索作弊分類檢測原型系統(tǒng)，并針對系統(tǒng)的各個模塊，如頁面爬取模塊、頁面特征抽取模塊、二值分類模塊等的設計和實現(xiàn)進行了簡略性的敘述。并對系統(tǒng)在使用分類檢測前后，spam頁面比例差異性情況，以及不同的頁面元素，如標題、關鍵字等激勵權重大小情況下的