基于劃分與層次的文本聚類研究.pdf

1、目前以文本形式存在的有用信息越來(lái)越多,因此怎樣快速并高效的聚類與分類這些大規(guī)模的文本信息變得越發(fā)重要.針對(duì)這一問(wèn)題,文本的自動(dòng)聚類和自動(dòng)分類技術(shù)應(yīng)運(yùn)而生.文本聚類技術(shù)是將文本劃分到不同的類別中去,是在結(jié)合了機(jī)器學(xué)習(xí)和統(tǒng)計(jì)方法的理論基礎(chǔ)上的,已經(jīng)得到了較為廣泛的實(shí)際應(yīng)用,并且已經(jīng)能夠較好的解決海量文本信息歸類的問(wèn)題.目前在文本聚類研究領(lǐng)域中,主要有文本的表示以及聚類器算法兩個(gè)研究熱點(diǎn).針對(duì)于文本表示方面,文本數(shù)據(jù)經(jīng)過(guò)預(yù)處理通常會(huì)獲得具有較

2、大稀疏性以及高維性的文本表示空間,并會(huì)導(dǎo)致文本聚類質(zhì)量的下降和效率的降低.在聚類器的算法中,文本聚類器主要有K-Means算法、K-Medoids算法、CURE算法、BIRCH算法、DBSCAN算法等,如何將這些算法進(jìn)行改良,使得它們更適合于提高文本聚類的質(zhì)量和效率,也是現(xiàn)在研究的熱點(diǎn)問(wèn)題.本文首先在緒論部分對(duì)文本聚類的產(chǎn)生背景、基礎(chǔ)理論和研究進(jìn)展情況進(jìn)行了簡(jiǎn)要介紹,隨后詳細(xì)介紹了在文本聚類技術(shù)中常用聚類算法的基本信息,主要包括有算法思

3、想、種類以及它們的理論依據(jù)等,以及文本聚類算法的常用公認(rèn)數(shù)據(jù)集以及文本聚類算法的結(jié)果評(píng)價(jià)標(biāo)準(zhǔn),并詳細(xì)介紹了文本聚類流程中所使用到的關(guān)鍵技術(shù).其中本文在深入研究和分析文本聚類的研究現(xiàn)狀以及目前針對(duì)文本聚類的研究中所彰顯的問(wèn)題的基礎(chǔ)上,將研究重點(diǎn)放在了兩個(gè)問(wèn)題上:一是如何設(shè)法對(duì)文本聚類的算法進(jìn)行優(yōu)化,從而使文本聚類中的聚類器性能得到提升;二是通過(guò)充分的對(duì)比實(shí)驗(yàn)來(lái)對(duì)本文提出改進(jìn)方法是否具有預(yù)期的有效性進(jìn)行驗(yàn)證.
　　本文開(kāi)展完成了以下工

4、作:
　　(1) K-Means算法作為最為常用的文本聚類算法之一,具有算法復(fù)雜度相對(duì)比較低,并且算法實(shí)現(xiàn)簡(jiǎn)單等優(yōu)點(diǎn),但它也有較明顯的缺點(diǎn):算法在聚類初始中心的選擇上過(guò)于敏感,原始算法中所使用的隨機(jī)選擇初始聚類中心點(diǎn)的方法,會(huì)導(dǎo)致聚類器性能不穩(wěn)定,針對(duì)于K-Means算法的這個(gè)缺點(diǎn),本文提出了基于可變閾值的K-Means聚類初始中心選擇方法,在選擇初始聚類中心點(diǎn)時(shí),會(huì)依次選擇距離已有初始中心點(diǎn)的距離大于一個(gè)不定閾值的樣例作為下一個(gè)

5、新的初始聚類中心點(diǎn),并根據(jù)滿足條件的初始聚類中心點(diǎn)的個(gè)數(shù)對(duì)該不定閾值進(jìn)行適當(dāng)調(diào)整,直至獲得滿足條件的閾值以及初始聚類中心點(diǎn),再進(jìn)行聚類操作.在10個(gè)UCI數(shù)據(jù)集和4個(gè)文本數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果顯示,該算法性能明顯優(yōu)于原K-Means算法.
　　(2)層次聚類分析作為數(shù)據(jù)挖掘和模式識(shí)別領(lǐng)域中非常重要的研究課題之一,同樣具有非常廣闊的應(yīng)用前景.受啟發(fā)于決策樹(shù)學(xué)習(xí)中對(duì)最佳分類屬性的選擇,本文提出了一種新的引入信息增益的層次聚類算法,該算法通