基于主題與語義的作弊網(wǎng)頁檢測方法研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，網(wǎng)絡(luò)中的信息量呈爆炸式增長，互聯(lián)網(wǎng)已經(jīng)成為人們獲取信息的最主要渠道之一。作為信息檢索過程中不可缺少的重要工具，搜索引擎在給人們帶來便利的同時，也給用戶帶來了潛在的安全隱患。網(wǎng)頁作弊(Web Spam)是一種通過不正當方式來誤導(dǎo)搜索引擎，從而向用戶提供不良信息的行為，其嚴重影響用戶的上網(wǎng)體驗，給用戶帶來了安全隱患，同時也影響著搜索引擎的性能。如何對作弊網(wǎng)頁進行識別與過濾，提供高質(zhì)量的搜索結(jié)果，已成為現(xiàn)代搜索引擎的巨大

2、挑戰(zhàn)之一。
　　本文的主要研究內(nèi)容以及研究成果包括:
　　(1)研究網(wǎng)頁作弊的相關(guān)原理及技術(shù)。對搜索引擎相關(guān)原理進行分析，并研究了搜索結(jié)果排序原理，如TFIDF模型與PageRank等算法;結(jié)合搜索引擎結(jié)果排序原理，分析作弊網(wǎng)頁的特點，研究作弊原理以及相關(guān)技術(shù);根據(jù)常見的網(wǎng)頁作弊手段，研究對應(yīng)的反作弊方法。
　　(2)提出了一種基于主題與語義的作弊網(wǎng)頁檢測方法。對主題模型與語義分析原理進行分析;研究作弊網(wǎng)頁在主題與語義

3、方面的特點，提出基于主題與語義的檢測特征;對網(wǎng)頁內(nèi)容進行主題建模與語義分析，提取相關(guān)特征;構(gòu)建分類器對作弊網(wǎng)頁進行分類識別。
　　(3)設(shè)計并實現(xiàn)了一個基于主題與語義的作弊網(wǎng)頁檢測系統(tǒng)。構(gòu)建網(wǎng)絡(luò)爬蟲程序，實現(xiàn)對互聯(lián)網(wǎng)網(wǎng)頁的抓取;對網(wǎng)頁進行分析與處理，進行主題建模，提取相關(guān)特征，構(gòu)建檢測樣本;構(gòu)建機器學(xué)習(xí)分類器，對網(wǎng)頁進行分類檢測，并展示結(jié)果。
　　(4)設(shè)計實驗對本文提出的基于主題與語義的作弊網(wǎng)頁檢測方法的可行性進行驗證。實