博客數(shù)據(jù)特征提取與基于分類的垃圾博客過濾.pdf

1、隨著Internet的迅速發(fā)展，博客成了繼Email、BBS、QQ/ICQ之后的新一代網(wǎng)絡(luò)交流方式，并以極快的速度融入到人們的日常生活中，成為基于互聯(lián)網(wǎng)的基礎(chǔ)服務(wù)。隨著博客空間的急速增長，垃圾博客也迅猛蔓延到博客空間的各個(gè)角落；而大量垃圾博客的存在，嚴(yán)重影響了信息檢索的準(zhǔn)確性，從而使得用戶體驗(yàn)變得越來越差，如何精確地判斷垃圾博客成為信息檢索領(lǐng)域亟待解決的難題之一。在信息安全領(lǐng)域，博客內(nèi)容傾向性分析成為新的研究熱點(diǎn)之一，但大量垃圾博客的存

2、在將嚴(yán)重影響傾向性分析的結(jié)果，大大降低其正確性和可信性。因此，必須對博客進(jìn)行垃圾過濾，以便進(jìn)行進(jìn)一步的分析和檢索。 本文在已有的垃圾博客特征提取基礎(chǔ)上，提出了采用詞性分析手段對博客特征進(jìn)行進(jìn)一步提取的方法。首先考慮到在中文的語法結(jié)構(gòu)中，一個(gè)句子由主謂賓構(gòu)成，尤其在口語話的語句中，還會有很多省略句，這些句子通常只有主語和謂語或僅僅只有謂語。而且博客作者大都在博客文章中記錄一些關(guān)于自己感興趣的事情，或者記錄自己的心情和近況，會在博客

3、正文中使用豐富的形容詞和語氣詞來表達(dá)自己。而垃圾博客通常只是為了提高用戶的點(diǎn)擊率，或者希望通過增加鏈接和關(guān)鍵詞的方式來提升某個(gè)網(wǎng)頁在搜索引擎中的重要程度，因此在文章中會出現(xiàn)大量的名詞，尤其是跟行業(yè)相關(guān)的專有名詞。所以，對博客文章進(jìn)行詞性分析，提取出跟詞性相關(guān)的一些特征會大大增加特征之間的互補(bǔ)性，提高垃圾博客分類與過濾的效果。 進(jìn)一步，本文設(shè)計(jì)了一種針對垃圾博客過濾的動態(tài)組合分類算法。該算法首先構(gòu)造出一種樹狀組合分類器結(jié)構(gòu)來支持分