基于向量空間的文本聚類方法與實(shí)現(xiàn).pdf

1、文本聚類是數(shù)據(jù)挖掘領(lǐng)域中的一個(gè)十分重要的分支。文本聚類技術(shù)能夠有效的將網(wǎng)頁上的文本信息進(jìn)行歸類，方便人們?cè)诤Ａ康木W(wǎng)絡(luò)信息中查找有用的信息，提高網(wǎng)絡(luò)的服務(wù)質(zhì)量。
　　本文的研究?jī)?nèi)容是基于網(wǎng)頁中的中文文本的聚類，通過聚類將網(wǎng)頁上的文本具有一定相似度的文本歸為一類。由于漢語文本通常是由漢語單字或者單詞作為單位所組成的連續(xù)語句，它不像英文文本以空格作為分界標(biāo)志，因此在對(duì)中文文本聚類之前，需要將整句話切割成為小的詞匯單元。另外，還需要將文本

2、中不是關(guān)鍵的詞語進(jìn)行去除，保留能夠代表該文本內(nèi)容的重要詞語。
　　然而文本聚類算法不能夠直接在原始中文文本的形式上進(jìn)行處理，因?yàn)檫@些文本內(nèi)容是人類所使用的自然語言，屬于非結(jié)構(gòu)化文本，計(jì)算機(jī)很難對(duì)其語義進(jìn)行處理。文本結(jié)構(gòu)化處理就是將非結(jié)構(gòu)化文本轉(zhuǎn)化為計(jì)算機(jī)能夠處理的結(jié)構(gòu)化文本表示模式，根據(jù)文本的特點(diǎn)和文本處理的要求來選擇合適的文本表示模型，而在本文中將選用向量空間模型(VSM)，因?yàn)橄蛄靠臻g模型是將上下文表示為特征項(xiàng)和權(quán)值集合的向量

3、，從而將聚類操作變換為向量空間中的向量運(yùn)算。目前有很多種方法將文本信息轉(zhuǎn)化為向量，在這里將選取經(jīng)典的基于向量空間的特征權(quán)重計(jì)算方法詞頻-逆向文檔頻率算法(TF-IDF)對(duì)中文文本進(jìn)行結(jié)構(gòu)化處理，因?yàn)門F-IDF刻畫了特征項(xiàng)在整個(gè)文本集的分布重要程度。
　　雖然通過向量轉(zhuǎn)換的文本能夠被計(jì)算機(jī)處理，但是由于文本集合中的每個(gè)文本都是由大量的特征組成，它們的維數(shù)往往很高，這將會(huì)影響到文本聚類的效果。并且各自的文本向量可能存在于不同的向量空

4、間，給計(jì)算相似度帶來困難。所以在文本聚類中需要建立從原始特征空間到另一維數(shù)較低的特征空間的映射。這時(shí)就要對(duì)特征進(jìn)行優(yōu)化。而潛在語義分析(LSA)中的奇異值分解(SVD)不但能夠?qū)⑾蛄靠臻g模型中的非正交的多維特征映射到維數(shù)較少的一個(gè)潛在語義空間中，而且能基本保持原空間的語義特性，從而實(shí)現(xiàn)對(duì)特征空間的降維和降噪處理。
　　文本經(jīng)過降維處理后就可以通過聚類算法進(jìn)行聚類。目前聚類算法中基本分為基于劃分方法、基于層次方法、基于密度方法和基于