垃圾網(wǎng)頁檢測的關(guān)鍵技術(shù)研究.pdf

1、網(wǎng)頁作弊是指作弊者運(yùn)用各種手段欺騙搜索引擎，使網(wǎng)頁在搜索結(jié)果中獲得高于其本身應(yīng)得排名的行為。垃圾網(wǎng)頁的泛濫嚴(yán)重危害了搜索引擎公司、合法網(wǎng)站和各類用戶的利益，因此研究垃圾網(wǎng)頁檢測技術(shù)已成為一項(xiàng)艱巨而重要的任務(wù)。
　　針對鏈接作弊，排序算法是一種有效手段。但由于Web中存在由正常網(wǎng)頁指向垃圾網(wǎng)頁的鏈接，導(dǎo)致排序算法（Anti-TrustRank等）檢測性能降低，且多數(shù)排序算法沒有考慮網(wǎng)頁內(nèi)容特性，因此本文改進(jìn)Anti-TrustRan

2、k和加權(quán)非信任值排序(WeightedAnti-TrustRank，WATR)算法，提出了一種主題相似度和鏈接權(quán)重相結(jié)合，共同調(diào)節(jié)網(wǎng)頁非信任值傳播的排序算法，即結(jié)合主題與鏈接的非信任排序(Distrust Rank based onTopic and Link integration，TLDR)。其中，主題相似度權(quán)重運(yùn)用隱含狄利克雷分配(LatentDirichlet Allocation，LDA)模型計(jì)算，鏈接權(quán)重根據(jù)鏈接結(jié)構(gòu)計(jì)算。實(shí)

3、驗(yàn)結(jié)果表明，與Anti-TrustRank和WATR相比，TLDR算法能使網(wǎng)頁得到更合理的非信任值，檢測性能有明顯的提高。
　　針對內(nèi)容和鏈接作弊，本文從Web信息源質(zhì)量、Web內(nèi)容質(zhì)量和Web應(yīng)用質(zhì)量三個(gè)子維度量化了網(wǎng)頁質(zhì)量，從危害度特性和主題特性兩方面量化了語義特征，并與內(nèi)容和鏈接特征共同構(gòu)建了區(qū)分度高的特征集。此外，分類算法常用來解決垃圾網(wǎng)頁檢測問題，但分類算法性能易受數(shù)據(jù)分布不均衡的影響，而離群點(diǎn)挖掘算法正適用于不均衡的情