互聯(lián)網(wǎng)噪鏈的識別過濾及其在Web Spam研究上的應(yīng)用.pdf

1、目前基于鏈接關(guān)系的排序算法在互聯(lián)網(wǎng)搜索引擎中占據(jù)著至關(guān)重要的作用。這類算法的提出是以“鏈接即投票”的假設(shè)為前提的。但是隨著互聯(lián)網(wǎng)商業(yè)化發(fā)展十幾年來,這種假設(shè)已經(jīng)不是萬能的了。網(wǎng)頁與網(wǎng)頁之間不再是“投票”的關(guān)系,有各種各樣其他角色的鏈接(即噪鏈)充斥其中,噪鏈的存在降低了基于鏈接的排序算法的準(zhǔn)確性,如何識別和處理這些噪鏈?zhǔn)钱?dāng)今國外研究的新熱點。
　　 本文根據(jù)噪鏈本身的分布特性,提出了一種只基于鏈接關(guān)系就能自動識別和過濾噪鏈的方法

2、,并進(jìn)行了詳細(xì)的真實數(shù)據(jù)集實驗驗證,結(jié)果表明該方法對噪鏈的識別和過濾非常有效,而且提高了基于鏈接關(guān)系的排序算法的準(zhǔn)確性,我們將P@20(排序前20個結(jié)果中的相關(guān)結(jié)果個數(shù))從平均11.8提高到了16.4。
　　 而后,我們進(jìn)一步把這種方法應(yīng)用在Web spam的研究上。通過國外公開的公用數(shù)據(jù)集驗證,我們過濾了大多數(shù)spam站點,相比一些比較著名的算法來看,我們的方法也非常有競爭力。從而驗證了識別和過濾噪鏈的方法在Web spam研