小文本聚類(lèi)技術(shù)及其在電子郵件中的應(yīng)用研究.pdf

1、信息數(shù)據(jù)量的日益膨脹給數(shù)據(jù)處理帶來(lái)了一定的挑戰(zhàn)，據(jù)統(tǒng)計(jì)約70％的網(wǎng)絡(luò)信息是以文本形式顯現(xiàn)的。然而，此類(lèi)信息數(shù)量很多而且雜亂，聚類(lèi)技術(shù)能夠在一定程度上對(duì)這些信息進(jìn)行重新分類(lèi)和組織。文本聚類(lèi)是數(shù)據(jù)挖掘領(lǐng)域的一項(xiàng)重要技術(shù)，主要的依據(jù)假設(shè)是:相同類(lèi)文檔的相似度較大，而不同類(lèi)文檔的相似度較小。同時(shí)，很多郵件和微博等內(nèi)容大多以小文本的形式存在，其信息量大且更新速度較快。如何高效準(zhǔn)確地處理小文本聚類(lèi)變得至關(guān)重要。
　　由于小文本相對(duì)于通常的文本

2、所包含的信息量較少，大多數(shù)詞并非能夠完全表征小文本的特點(diǎn)，因而導(dǎo)致直接采用傳統(tǒng)文本的自然語(yǔ)言處理技術(shù)來(lái)處理小文本效果欠佳。如何獲取小文本的特征，并基于此進(jìn)行聚類(lèi)成為越來(lái)越受關(guān)注的課題。
　　本文研究了小文本聚類(lèi)問(wèn)題，介紹了針對(duì)郵件小文本的聚類(lèi)方法。首先介紹了小文本標(biāo)準(zhǔn)化思想構(gòu)造特征詞集來(lái)降低小文本的高維度;其次提出了EJaccard衡量小文本的內(nèi)部聚合度;再次對(duì)k-means聚類(lèi)算法進(jìn)行了改進(jìn)，先采用簡(jiǎn)單直觀的層次聚類(lèi)算法，解決了

3、對(duì)原始信息依賴(lài)性問(wèn)題，又對(duì)層次聚類(lèi)進(jìn)行了改進(jìn)，通過(guò)控制給定閾值進(jìn)而自動(dòng)控制簇的數(shù)值;最后針對(duì)Email小文本數(shù)據(jù)，提出了局部聚類(lèi)算法，有效的解決了小文本中不同內(nèi)容的劃分問(wèn)題，同時(shí)提出了全局聚類(lèi)算法，主要解決的關(guān)鍵問(wèn)題是使得一個(gè)講述兩個(gè)以上內(nèi)容的Email小文本能夠被聚類(lèi)到不同的簇中。
　　針對(duì)Email小文本數(shù)據(jù)集，本文對(duì)局部聚類(lèi)和全局聚類(lèi)方法的實(shí)驗(yàn)結(jié)果加以分析，提出的方法可以有效地增大聚類(lèi)結(jié)果局部和全局的差異性，從而改善了小文本