支持Splog過(guò)濾的博客搜集系統(tǒng)研究與設(shè)計(jì).pdf

1、作為Web2.0的新興網(wǎng)絡(luò)應(yīng)用，博客近年來(lái)正處于蓬勃發(fā)展和快速演變之中。博客范圍內(nèi)的海量博客信息極大地方便了人們的生活，使得人們以往的工作方式、學(xué)習(xí)方式甚至是生活方式都發(fā)生了改變。然而，博客空間的興起也連帶產(chǎn)生了一個(gè)副產(chǎn)品：垃圾博客(Splog)。垃圾博客的存在不僅是對(duì)網(wǎng)絡(luò)帶寬資源及存儲(chǔ)資源極大的浪費(fèi)和消耗，更重要的是它增加了網(wǎng)民獲取高質(zhì)量信息的難度，降低了用戶進(jìn)行網(wǎng)絡(luò)搜索體驗(yàn)的滿意度。 本文的研究是建立在對(duì)其他網(wǎng)絡(luò)垃圾(Web

2、 Spam)作弊技術(shù)進(jìn)行分析的基礎(chǔ)之上，運(yùn)用了文本分類的技術(shù)思想，結(jié)合垃圾博客本身“鏈接工廠”和“廣告博客”的本質(zhì)屬性，提出了兩種特征提取算法模型：本地特征提取模型和全局特征提取模型，用以完成對(duì)垃圾博客的特征提取工作。隨后，本文采用支持向量機(jī)作為實(shí)驗(yàn)中的自動(dòng)分類算法，運(yùn)用本文提出的算法模型對(duì)博客網(wǎng)頁(yè)進(jìn)行分析和特征提取，并以正確率、查準(zhǔn)率、查全率對(duì)分類效果進(jìn)行評(píng)價(jià)。最后，本文在開(kāi)源搜索引擎Nutch基礎(chǔ)上，實(shí)現(xiàn)了帶有過(guò)濾垃圾博客功能的博客