基于語義的垃圾郵件過濾技術(shù)的研究.pdf

1、電子郵件的興起伴隨著垃圾郵件的產(chǎn)生，隨著互聯(lián)網(wǎng)的普及和發(fā)展，電子郵件成為人們?nèi)粘９ぷ骱蜕钪斜夭豢缮俚慕涣鞣绞剑踔烈呀?jīng)成為文件和文檔進(jìn)行快速傳輸?shù)闹髁鬏d體。而垃圾郵件問題卻日益嚴(yán)重并越來越深切的影響著人們的工作和生活，垃圾郵件不僅嚴(yán)重占用和浪費(fèi)了網(wǎng)絡(luò)帶寬和計(jì)算資源，而且還帶來各種各樣的安全隱患，威脅著人們的信息安全。雖然人們已經(jīng)提出了很多相應(yīng)的解決對策和方法，但是垃圾郵件仍呈現(xiàn)出持續(xù)性的爆炸式增長的趨勢。垃圾郵件的過濾攔截可以通過影響

2、和控制電子郵件傳遞過程中的各個(gè)環(huán)節(jié)來實(shí)現(xiàn)。本文主要研究通過對電子郵件的正文內(nèi)容進(jìn)行語義識別來實(shí)現(xiàn)垃圾郵件過濾的方法和技術(shù)。垃圾郵件的內(nèi)容和形式不管如何變化，必定會(huì)傳達(dá)出某種語義信息，以這些語義信息作為垃圾郵件過濾和攔截的基礎(chǔ)，會(huì)有效提高垃圾郵件攔截的效率和效果。
　　傳統(tǒng)的特征選擇方法大多是基于統(tǒng)計(jì)學(xué)的，并且總是將文本中的字、詞、短語拆分開來做為單獨(dú)的特征項(xiàng)來處理，將文本單純的看作一堆字詞的堆砌，拋棄了不同語法結(jié)構(gòu)、語言環(huán)境、詞匯

3、搭配所表現(xiàn)出的語義信息。
　　本文提出了一種針對中文郵件的基于內(nèi)容的垃圾郵件過濾技術(shù)，并在公共語料集TREC06c上進(jìn)行了實(shí)驗(yàn)，獲得了良好的結(jié)果。本文首先采用了逐層在文本上添加注釋來提取語義信息的方法，然后將提取出的語義信息進(jìn)行篩選后作為表示文本的特征項(xiàng)來構(gòu)建決策樹并最終生成分類器，實(shí)現(xiàn)了文本的識別和分類。這種方法的優(yōu)勢在于既能夠準(zhǔn)確表達(dá)文本的內(nèi)容含義，又能夠達(dá)到科學(xué)有效的降維效果。因此，直接選取詞匯作為特征來表示文本，而提取文本

4、的語義信息作為特征項(xiàng)來表示文本，是一種更加科學(xué)有效的特征選擇方法。
　　采用語義作為特征項(xiàng)有兩個(gè)明顯的優(yōu)勢。一是，對文本內(nèi)容的反映更準(zhǔn)確，更有利于實(shí)現(xiàn)準(zhǔn)確的文本分類；二是，與傳統(tǒng)方法相比，特征項(xiàng)的數(shù)量顯著減少了，運(yùn)算壓力更小。本文主要研究的第二個(gè)問題是在科學(xué)有效的篩選出特征項(xiàng)的基礎(chǔ)上，運(yùn)用決策樹方法來完成垃圾郵件的多分類任務(wù)，因?yàn)閷?shí)現(xiàn)垃圾郵件的多分類更加有助于實(shí)現(xiàn)郵件過濾和攔截的個(gè)性化，注重了用戶隱私。從自然語言處理的方面來看，本