基于NMF算法的文本聚類研究.pdf

1、聚類分析是數(shù)據(jù)挖掘、模式識別等方向的重要研究內(nèi)容之一,已被廣泛用于數(shù)據(jù)壓縮、文本聚類、信息檢索、圖像分割等領(lǐng)域。近年來,網(wǎng)上電子文檔的數(shù)量以指數(shù)級的速度增長,這使得文本聚類在信息檢索和信息管理等方面變得越來越重要。文本數(shù)據(jù)具有高維、稀疏等特點,這使得許多聚類算法不能直接用于文本聚類;另外,文本集規(guī)模的海量性對聚類算法的運行效率也提出了很高的要求。
　　向量空間模型是常用的文本表示方法之一,由于文本的高維、稀疏等特點,本文將非負矩陣

2、分解算法(Non-negative Matrix Factorization,簡稱NMF)應(yīng)用到文本聚類中去。非負矩陣分解算法是一種比較新的特征抽取方法,由于對分解結(jié)果加上了非負的限制,基于非負矩陣分解抽取的特征向量更能反映樣本的局部特征,并且它的分解結(jié)果具有很高的可解釋性。
　　本文首先介紹了非負矩陣分解的基本思想和基本算法,由于非負矩陣分解算法收斂速度較慢、容易收斂到較差的局部最優(yōu)解,因此本文對NMF算法進行了改進,使用模糊C

3、-均值(Fuzzy C-Means,簡稱FCM)算法對其進行初始化。其次,由于文本集的規(guī)模很大,對聚類算法的要求就更為嚴格,標準的k-means算法需要在每一次迭代中計算每一個樣本點到所有聚類中心的距離,這樣浪費了很多計算時間,尤其是數(shù)據(jù)量特別大時,針對此問題本文提出了改進的k-means算法。由于很多聚類算法在聚類之前都需要人為的輸入聚類數(shù)目,而具體的聚類數(shù)目事先并不知道,針對該問題本文提出了FGClus聚類算法。通過實驗驗證了改進的