基于RI方法的文本聚類研究.pdf

1、隨著互聯(lián)網技術高速發(fā)展，網絡上存在的各種文本數(shù)據與日俱增。大量冗余、不規(guī)范且內容豐富的文本為我們進行信息過濾、瀏覽和查詢等操作帶來了極大的困難。文本聚類在數(shù)據挖掘中具有極為重要的作用，技術的核心是在無監(jiān)督的情況下尋找出能夠挖掘出文本間潛在的語義信息并實現(xiàn)快速降維的文本表示方法，結合高效的文本聚類算法進行聚類。然而目前文本聚類技術仍然不夠完善，實際應用十分受限，因此研究文本聚類具有非常重要的意義。
　　本文首先介紹了與文本聚類相關的

2、一些技術，主要包括文本分詞、特征詞提取、文本表示以及文本聚類算法。針對其中主要的兩個模塊文本表示模型和文本聚類算法進行研究分析，提出一種基于RI（Random Index，RI）方法的文本聚類算法。所做的主要研究工作如下：
　　1.在文本表示方面，針對現(xiàn)有基于語義聚類的LSA、PLSA等模型存在潛在語義聚類特性不能夠很好體現(xiàn)，特征詞匯文本向量維數(shù)很高造成文本聚類精確度不理想等的情況，研究了采用基于RI方法并結合特征詞權值來生成特征

3、詞匯的隨機索引向量進行文本表示。RI方法一方面能夠很好表現(xiàn)出特征詞匯之間的語義特性，另一方面具有降維效果。但采用RI方法進行文本表示時對構建特征詞匯的上下文向量生成可能由于向量之間相加造成特征詞匯之間存在語義出現(xiàn)相加消解的現(xiàn)象。為此，本文對基于RI方法構建特征詞匯隨機索引向量的向量元素的隨機位置及相關特征詞匯權值的計算進行改進，從而使RI方法更能體現(xiàn)特征詞匯之間潛在語義聚類和滿足文本聚類效果的需求。
　　2.在基于RI文本表示的基

4、礎上，針對基于AGNES文本聚類算法存在初始合并點選擇困難問題，研究一種基于改進K-Means+AGNES的文本聚類算法，旨在得到更好的聚類效果。改進的K-Means+AGNES的文本聚類算法主要分成兩個步驟。首先，為AGNES文本聚類算法生成最佳初始聚類中心點和相應的聚類。為此，本文對K-Means算法進行改進，在設定一個合適的初始聚類范圍的基礎，通過采用基于FCM的算法不斷調整初始聚類個數(shù)，以便最終自動獲取最佳聚類個數(shù)，從而生成初始

5、聚類中心點及相應的聚類。其次，將所獲得的最佳初始聚類作為層次聚類算法AGNES的初始合并點，按照AGNES算法進行聚類，直到產生給定最終聚類個數(shù)。
　　3.為了驗證所提出的基于RI文本表示和基于改進的K-Means+AGNES的文本聚類算法的有效性，本文進行相應的算法測試與結果對比分析。測試與對比分析表明RI方法具有較好的文本表示能力，基于RI的K-Means+AGNES聚類算法具有較好的文本聚類效果。
　　本文最后對全文的