基于K-means算法的文本聚類的研究與實(shí)現(xiàn).pdf

1、網(wǎng)絡(luò)的快速發(fā)展和廣泛普及,使得人們要接收的信息量呈指數(shù)級(jí)增加。文本作為信息的重要載體,蘊(yùn)含著大量有價(jià)值的資源,等待著人們進(jìn)行發(fā)掘和研究。但是,文本信息內(nèi)容和格式的多樣化、復(fù)雜化,決定了人們難以發(fā)現(xiàn)感興趣的相關(guān)信息。隨著文本挖掘技術(shù)的誕生和發(fā)展,人們可以快速有效地從大量的文本資源中發(fā)現(xiàn)簡潔、精練、可理解的知識(shí)。而文本聚類作為文本挖掘的重要分支,其研究也越來越多地引起了人們廣泛的重視。
　　K-means算法以其簡單性和快速性在文本聚

2、類中得到廣泛應(yīng)用,但是傳統(tǒng)的K-means算法對(duì)初值的依賴性很強(qiáng),需要事先給出要生成的簇的數(shù)目k,而這個(gè)參數(shù)k的確定一般是根據(jù)用戶的經(jīng)驗(yàn)知識(shí)給出的;另外,其初始聚類中心是隨機(jī)選取的,這種隨機(jī)性往往導(dǎo)致聚類結(jié)果的不穩(wěn)定。可以說,不同的k值和不同的初始聚類中心對(duì)聚類質(zhì)量和時(shí)間效率造成的影響是很大的。
　　本文對(duì)文本挖掘和聚類分析做了較為全面的研究,開展的工作主要包括以下幾個(gè)方面:
　　首先,本文深入研究了文本挖掘的相關(guān)理論和關(guān)鍵

3、技術(shù),包括中文分詞、降維操作、文本表示、權(quán)重評(píng)價(jià)及相似度計(jì)算等方面。
　　其次,本文對(duì)傳統(tǒng)K-means算法進(jìn)行了深入研究,針對(duì)其存在的不足,從兩方面改進(jìn)了傳統(tǒng)K-means算法:
　　(1)提出扇形切分法確定初始聚類數(shù)目k。根據(jù)文本特征項(xiàng)對(duì)文本描述的重要性程度劃分重要特征項(xiàng),選取只包含重要特征項(xiàng)的文本集做為樣本,運(yùn)用扇形切分法對(duì)其進(jìn)行初步聚類,得到的初步聚類數(shù)作為K-means算法的k的取值。
　　(2)從文本挖掘的

4、自身特點(diǎn)出發(fā),通過聚類的分布特點(diǎn)來反向確定初始中心,即根據(jù)中心對(duì)象之間的相似度小而中心對(duì)象與本簇中其它對(duì)象間的相似度大的原理,尋找最有效的k個(gè)文本對(duì)象來作為初始聚類中心:它們兩兩之間的相似度較低,且每個(gè)中心周圍都有與之相似度較高且數(shù)目大于某一閾值的對(duì)象。
　　最后,本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)簡單的基于K-means算法的文本聚類系統(tǒng),并在其基礎(chǔ)上通過實(shí)驗(yàn)對(duì)改進(jìn)K-means算法的有效性進(jìn)行了驗(yàn)證,結(jié)果證明,改進(jìn)K-means算法能有效地