基于語義體與文本聚類的中文垃圾郵件過濾方法研究.pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，電子郵件已逐漸成為人們?nèi)粘Ｉ钪胁豢扇鄙俚耐ㄐ欧绞街?。與此同時(shí)，垃圾郵件作為電子郵件的錯(cuò)誤衍生品，也發(fā)展迅速。尤其是近幾年電子商務(wù)和移動(dòng)互聯(lián)的迅猛發(fā)展，促使基于文本形式的企業(yè)郵件和手機(jī)郵件的增多。另外，中文的語言復(fù)雜度遠(yuǎn)大于英文，導(dǎo)致對(duì)中文垃圾郵件的處理不能照搬外國(guó)的方法。
　　 目前，文本垃圾郵件過濾的主流方法仍然是基于內(nèi)容的垃圾郵件過濾技術(shù)，但大多數(shù)方法都是一些基于關(guān)鍵字的與語義無關(guān)的垃圾郵件過濾方法

2、，如：貝葉斯方法、基于案例的方法和文本分類方法等，此類方法對(duì)垃圾郵件內(nèi)容所表達(dá)的思想缺乏精準(zhǔn)的描述?，F(xiàn)在新型的文本垃圾郵件利用同義詞、近義詞等手段，偽裝成正常郵件，使傳統(tǒng)的方法難以把垃圾郵件和正常郵件進(jìn)行區(qū)分。因此，論文在語義相似度的基礎(chǔ)上，利用《知網(wǎng)》在語義分析方面的優(yōu)勢(shì)，提出一種基于語義體和文本聚類算法相結(jié)合的新型中文文本垃圾郵件過濾方法。本文的研究主要有以下兩方面：
　　 1.從具有同義詞或近義詞的新型中文文本垃圾郵件中提

3、取特征。本文對(duì)郵件文本進(jìn)行分詞、去除停用詞后，對(duì)余下的詞語集合進(jìn)行詞義消歧，得到每個(gè)詞語在郵件中的唯一詞義，便于郵件特征的提取；將詞語集合中的每個(gè)詞語作為一條詞匯鏈，并將詞義相同或相似的詞匯鏈合并為一條詞匯鏈，利用TFIDF方法從每條詞匯鏈中選取唯一的詞語作為該詞匯鏈代表；最后，提取規(guī)定個(gè)數(shù)的詞語作為該郵件的特征，即語義體。經(jīng)仿真實(shí)驗(yàn)表明：該方法提取的郵件特征更加準(zhǔn)確。
　　 2.針對(duì)得到的垃圾郵件的語義體，本文采用基于語義距離

4、的文本聚類算法進(jìn)行垃圾郵件過濾。該方法利用基于《知網(wǎng)》的文本相似度對(duì)郵件集合進(jìn)行第一次文本聚類，為了避免郵件輸入順序?qū)垲惤Y(jié)果的影響，對(duì)經(jīng)過整理的第一次聚類結(jié)果進(jìn)行第二次文本聚類，使得最終得到的聚類結(jié)果更加準(zhǔn)確，利用得到的聚類結(jié)果完成對(duì)垃圾郵件的過濾。
　　 通過實(shí)驗(yàn)驗(yàn)證，本文方法對(duì)具有同義詞或近義詞的新型垃圾郵件有很好的過濾效果：論文所提方法與傳統(tǒng)的郵件過濾方法相比，在對(duì)郵件內(nèi)容的判斷中更具客觀性，對(duì)內(nèi)容表意不明的垃圾郵件，其