基于頁(yè)面結(jié)構(gòu)的作弊站點(diǎn)識(shí)別.pdf

1、隨著互聯(lián)網(wǎng)的不斷發(fā)展，網(wǎng)絡(luò)信息呈現(xiàn)爆炸式的增長(zhǎng)，搜索引擎成為用戶獲取信息的主要途徑。能否在搜索引擎的排名中占有比較靠前的位置，將在一定程度上決定網(wǎng)頁(yè)的訪問量。一些網(wǎng)站為了提高自己在搜索引擎中的排名，并不是通過提高網(wǎng)頁(yè)質(zhì)量，而是根據(jù)搜索引擎自身的特點(diǎn)，采用欺騙手段來(lái)提高排名，這就是網(wǎng)頁(yè)作弊。網(wǎng)頁(yè)作弊技術(shù)具有多樣性、隱蔽性、進(jìn)化性等特點(diǎn)，是搜索引擎面臨的重大挑戰(zhàn)之一。在網(wǎng)頁(yè)作弊中，一種極具代表性的作弊方式是利用相同頁(yè)面模板結(jié)構(gòu)，通過填充不同

2、的作弊內(nèi)容，產(chǎn)生眾多外觀相似的作弊站。由于模板統(tǒng)一，可以統(tǒng)一管理，降低成本，該作弊方式被廣泛使用。這類垃圾的特點(diǎn)是它們的網(wǎng)頁(yè)視覺結(jié)構(gòu)特征完全相同，一般由同一站長(zhǎng)制作，常常伴隨著附件作弊、夾雜、關(guān)鍵詞堆砌等作弊手段。目前，檢測(cè)此類作弊手段的主要方法是基于網(wǎng)頁(yè)內(nèi)容信息，判斷網(wǎng)頁(yè)中是否含有色情詞或者賭博詞，是否含有堆砌關(guān)鍵詞等。這種方式存在以下兩個(gè)問題:1.準(zhǔn)確率低。色情賭博網(wǎng)頁(yè)并不都是垃圾作弊網(wǎng)頁(yè)，僅識(shí)別色情賭博會(huì)將色情賭博好站誤判為垃圾頁(yè)

3、面。2.效率低下。同模板下的作弊頁(yè)面數(shù)以百計(jì)，單純的識(shí)別每條網(wǎng)頁(yè)會(huì)使得工作量較大，重復(fù)性工作較多。為了批量解決此類垃圾，本文首先分析了瀏覽器渲染網(wǎng)頁(yè)的過程和網(wǎng)頁(yè)的HTML結(jié)構(gòu)，提出了兩種模板的定義方式，分別為結(jié)構(gòu)為主的模板(DBT:DomBiasedTemplate)和樣式為主的模板(CBT:CssBasedTemplate)。基于兩種的模板定義方式分別設(shè)計(jì)了模板抽取算法，抽取出站點(diǎn)的模板結(jié)構(gòu)作為站點(diǎn)的指紋特征。并以準(zhǔn)確率和召回率作為評(píng)

4、測(cè)指標(biāo)，驗(yàn)證了兩種模板定義方式的有效性。通過對(duì)兩種模板抽取算法的性能比較發(fā)現(xiàn)，DBT在召回率上比CBT更高，而CBT在準(zhǔn)確率上優(yōu)于DBT。然后，本文采用了DBT算法來(lái)計(jì)算模板的指紋特征。為了識(shí)別出作弊模板站點(diǎn)，首先根據(jù)每個(gè)站點(diǎn)的模板指紋對(duì)不同站點(diǎn)做了同質(zhì)聚類，將含有相同的模板指紋的站點(diǎn)聚為一個(gè)模板簇。為了提高識(shí)別模板站點(diǎn)的準(zhǔn)確率，本文提出了基于用戶行為特征的優(yōu)質(zhì)頁(yè)面挖掘方法，提出了用戶訪問忠誠(chéng)度，訪問深度等用戶行為特征，利用歷史封禁數(shù)據(jù)