基于代價(jià)敏感方法的垃圾網(wǎng)頁(yè)欺詐檢測(cè).pdf

1、隨著近20年互聯(lián)網(wǎng)技術(shù)的急速發(fā)展，各式各樣的網(wǎng)站和Web應(yīng)用層出不窮，這些網(wǎng)站的出現(xiàn)給人們的生活帶來(lái)了便利。與此同時(shí)，作為互聯(lián)網(wǎng)發(fā)展的副產(chǎn)品，網(wǎng)上也存在大量含有詐騙或有害信息的垃圾網(wǎng)頁(yè)，這些被作弊者散布的垃圾網(wǎng)頁(yè)嚴(yán)重地危害著上網(wǎng)者的利益。如何準(zhǔn)確地識(shí)別和檢測(cè)這些垃圾網(wǎng)頁(yè)是當(dāng)前研究者所關(guān)注的熱點(diǎn)之一。
　　本文首先從垃圾網(wǎng)頁(yè)二元分類檢測(cè)入手，研究當(dāng)垃圾網(wǎng)頁(yè)和正常網(wǎng)頁(yè)被錯(cuò)分后產(chǎn)生的不同代價(jià)，采用了基于代價(jià)敏感支持向量機(jī)的檢測(cè)方法。在引

2、入代價(jià)敏感方法后，針對(duì)很多方案中需要人為指定代價(jià)的問(wèn)題，基于粒子群優(yōu)化算法構(gòu)建了融合代價(jià)計(jì)算的垃圾網(wǎng)頁(yè)檢測(cè)框架。具體做法是把代價(jià)敏感支持向量機(jī)包裝為粒子群算法的適應(yīng)函數(shù)，其中代價(jià)敏感分類的代價(jià)參數(shù)作為粒子群算法的尋優(yōu)問(wèn)題，分類算法的AUC值作為適應(yīng)函數(shù)的輸出。以此既保證了分類檢測(cè)的性能又降低了人為因素對(duì)算法的影響。
　　其次，本文研究了多級(jí)垃圾網(wǎng)頁(yè)檢測(cè)問(wèn)題，多級(jí)檢測(cè)相比二分檢測(cè)更加細(xì)粒度，要求垃圾網(wǎng)頁(yè)按不同危害度被檢出。本文基于代

3、價(jià)敏感支持向量機(jī)的“一對(duì)一”組合多元分類方法實(shí)現(xiàn)了多級(jí)垃圾網(wǎng)頁(yè)檢測(cè)，“一對(duì)一”組合多分類方法既保證了檢測(cè)性能，又避免了代價(jià)矩陣中代價(jià)融合的問(wèn)題。之后同樣結(jié)合粒子群優(yōu)化算法，對(duì)多個(gè)誤分類代價(jià)進(jìn)行計(jì)算。
　　本文基于UK2007垃圾網(wǎng)頁(yè)數(shù)據(jù)集的原始類標(biāo)數(shù)據(jù)，構(gòu)建了MC-UK2007三類別的新數(shù)據(jù)集。之后分別使用UK2007和MC-UK2007進(jìn)行融合代價(jià)計(jì)算的二分類和多分類檢測(cè)實(shí)驗(yàn)，并應(yīng)用其他算法設(shè)置了多組實(shí)驗(yàn)進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果顯示本