基于改進(jìn)向量空間模型的郵件分類.pdf

1、電子郵件在當(dāng)今已經(jīng)成為人們聯(lián)系交流不可缺少的通信工具，但用戶每天都需要花費大量的工作時間對眾多郵件進(jìn)行整理。因此，研究郵件的自動歸類具有重要意義，目前郵件自動歸類有基于統(tǒng)計和基于規(guī)則兩類。本文主要研究的是基于統(tǒng)計的分類。 本文對電子郵件分類系統(tǒng)中所有必要的構(gòu)成階段進(jìn)行了研究，包括訓(xùn)練階段和分類階段，并給出了在兩個階段中經(jīng)常采用的技術(shù)。這些技術(shù)主要有郵件表示、特征選擇與提取、分類技術(shù)等。在這些技術(shù)中本文主要討論了郵件的表示方法，著

2、重分析了基于向量空間模型的表示形式。 基于統(tǒng)計的郵件分類一般采用向量空間模型來表示郵件，該模型將郵件表示成為向量形式，將對郵件內(nèi)容的處理簡化成了對向量空間中的向量進(jìn)行運算，從而使模式識別和其他領(lǐng)域的計算方法能夠在自然語言文本處理中運用，得以實現(xiàn)對郵件的可操作性和可計算性。但是該模型并未考慮到詞所在郵件的結(jié)構(gòu)特征，影響了分類的精度。 針對向量空間模型存在的缺點，本文的系統(tǒng)借助粘合性衡量方法提取n-gram的思想，對向量空間

3、模型進(jìn)行改進(jìn)，提出了計算詞權(quán)重的一種新方法。這種方法以段落為郵件的最小分塊，將郵件內(nèi)容視為一個n-gram，段落視為n-gram中的單詞，并結(jié)合段落間的邏輯關(guān)系計算詞的權(quán)重。它不僅沒有打亂郵件內(nèi)容的順序性，而且也較好地體現(xiàn)了郵件的結(jié)構(gòu)特征，這使得系統(tǒng)在發(fā)揮向量空間模型優(yōu)勢的同時，也能夠提高分類的精確度。 本論文的實驗證明，采用改進(jìn)向量空間模型的郵件分類系統(tǒng)與采用傳統(tǒng)的向量空間模型算法相比，在分類的精度上有了明顯提高，從而有效地改