WEB中文文本聚類分類系統(tǒng)的設計與實現(xiàn).pdf

1、文本分類和聚類是文本信息處理領域的一個重要分支，其目標就是研究如何更有效地組織和管理文本信息，并快速、準確、全面地從中找到、分流、定位和形成用戶所需要的信息。文本分類和聚類作為獲取和組織大量文本數據的關鍵技術，可以在很大程度上解決信息雜亂和信息爆炸的問題。而且作為信息過濾、信息檢索、搜索引擎、文本數據庫、數字化圖書館等領域的技術基礎，文本分類和聚類有著廣闊的應用前景。 本文首先從理論上介紹了Web挖掘，分析了Web挖掘的不同，并

2、對Web挖掘中的兩個重要分支聚類和分類以及涉及到的相關理論做了闡述。其次Web文檔中的特征表示、特征加權進行了系統(tǒng)的研究，并開發(fā)了一套從解析HTML文檔、提取特征、計算權值、聚類、分類、可視化的軟件。軟件采用了多線程技術。 介紹和實現(xiàn)了常用聚類算法對文本聚類的應用，其中采用了最常用的四種聚類算法，K-means算法、模糊C均值算法(FCM)、層次聚類法(HAC)以及粒子群優(yōu)化算法(PSO)。并對主成分分析(PCA)做了相應介紹，

3、通過對高維數據進行主成分變換達到降維的效果，最后選取PCA變換后的前兩維作為二維顯示的可視化結果。 分析了傳統(tǒng)粒子群優(yōu)化算法存在的不足，提出了一種基于密度的粒子群優(yōu)化算法，和對粒子群的初始化方法，該算法具有傳統(tǒng)粒子群算法尋找最優(yōu)解的特點，同時從密度的角度考慮了數據總體的分布，增強了尋找局部最優(yōu)解的能力，并通過對粒子群的初始化加快了粒子群的收斂速度，得到了更好的聚類效果。對仿真數據和IRIS真實數據的實驗結果證明，該算法聚類效果優(yōu)