集成網(wǎng)頁質(zhì)量特征的垃圾網(wǎng)頁檢測特征模型及模型驗(yàn)證.pdf

1、垃圾網(wǎng)頁檢測特征模型一直比較關(guān)注網(wǎng)頁的內(nèi)容和鏈接特征，很少關(guān)注網(wǎng)頁本身的質(zhì)量問題?；ヂ?lián)網(wǎng)的開放性決定了網(wǎng)頁的質(zhì)量參差不齊，有的網(wǎng)頁并不包含傳統(tǒng)垃圾網(wǎng)頁的特征或信息，但這類“劣質(zhì)”網(wǎng)頁向我們提供少之又少的有用信息，卻無法從傳統(tǒng)的垃圾網(wǎng)頁檢測方法中得到有效的檢測。本文綜合了以往垃圾網(wǎng)頁檢測特征模型，提出網(wǎng)頁質(zhì)量特征，建立一個(gè)可結(jié)合網(wǎng)頁質(zhì)量的綜合垃圾網(wǎng)頁檢測特征模型。
　　文中涉及對模型的驗(yàn)證，需要從實(shí)際的網(wǎng)頁中構(gòu)建出符合模型的實(shí)驗(yàn)數(shù)據(jù)

2、集。文中從互聯(lián)網(wǎng)上爬取網(wǎng)頁，經(jīng)過提取內(nèi)容、特征提取以及人工標(biāo)注，得到帶標(biāo)注的網(wǎng)頁特征數(shù)據(jù)集;同時(shí)，文中需要用有效的排序驗(yàn)證方法對模型的有效性進(jìn)行驗(yàn)證。從眾多的文檔排序以及分類算法中，選取RankBoost算法對網(wǎng)頁的質(zhì)量進(jìn)行排序，通過對排名的分析，檢測出垃圾網(wǎng)頁。根據(jù)RankBoost算法的思想，綜合多個(gè)弱排序算法的結(jié)果，得出準(zhǔn)確率較高的排序結(jié)果。文中將網(wǎng)頁之間的排序轉(zhuǎn)換為樣本對(pairwise)之間的排序，通過基本的分類算法，便可以