Web Spam檢測(cè)技術(shù)研究與實(shí)現(xiàn).pdf

1、搜索質(zhì)量是搜索服務(wù)的核心，決定了搜索引擎的質(zhì)量。搜索引擎不但要搜索出相關(guān)性較高且符合用戶需求的目標(biāo)頁面，同時(shí)也要針對(duì)低質(zhì)量，甚至是人為“高質(zhì)量”的作弊頁面進(jìn)行甄別和處理。本文主要針對(duì)頁面作弊分類檢測(cè)中基于內(nèi)容的作弊分類檢測(cè)技術(shù)方法進(jìn)行了研究，并將文本分類中樸素文本分類和KNN分類方法應(yīng)用于頁面的二值分類檢測(cè)上。
　　論文將作弊頁面的甄別看作是正常和作弊的二值分類過程。首先論文將頁面的四個(gè)組成元素（標(biāo)題、關(guān)鍵字、描述和正文）之間的相

2、似度作為網(wǎng)頁的文本特征并構(gòu)建向量空間，然后應(yīng)用樸素文本分類方法，在相似度的計(jì)算和閾值的確定上分別采用余弦值及歐式距離和迭代取值的方式，來達(dá)到最好的分類效果，實(shí)驗(yàn)結(jié)果說明采用類樸素文本分類方法正負(fù)樣本無法同時(shí)取得較理想的召回率。為解決上述問題，論文分析了樣本中部分特征之間的2維散列圖，發(fā)現(xiàn)正負(fù)樣本的局部交錯(cuò)分布導(dǎo)致無法根據(jù)某一個(gè)閾值來明確頁面的類別歸屬，為此采用基于有監(jiān)督的KNN分類方法，并增加了頁面的特征維度，而且對(duì)頁面特征進(jìn)行了標(biāo)準(zhǔn)化

3、，以降低特征度量單位差異化導(dǎo)致的分類偏差問題，最終通過實(shí)驗(yàn)結(jié)果表明該分類方法相比于類樸素文本分類方法在正負(fù)樣本召回率上能夠同時(shí)取得更滿意的效果。
　　應(yīng)用上述分類方法，論文構(gòu)建了一個(gè)新聞?lì)惖拇怪彼阉髯鞅追诸悪z測(cè)原型系統(tǒng)，并針對(duì)系統(tǒng)的各個(gè)模塊，如頁面爬取模塊、頁面特征抽取模塊、二值分類模塊等的設(shè)計(jì)和實(shí)現(xiàn)進(jìn)行了簡略性的敘述。并對(duì)系統(tǒng)在使用分類檢測(cè)前后，spam頁面比例差異性情況，以及不同的頁面元素，如標(biāo)題、關(guān)鍵字等激勵(lì)權(quán)重大小情況下的