文本聚類算法的研究及應(yīng)用.pdf

1、文本聚類是文本挖掘的一項重要技術(shù)，可廣泛應(yīng)用于文本挖掘與信息檢索等方面。在大規(guī)模文本集的組織與瀏覽、文本自動分類等方面都具有重要的應(yīng)用價值。隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，網(wǎng)絡(luò)上文本信息的增長率急劇增大，如何對這些網(wǎng)頁中的文本內(nèi)容進行有效的聚類分析已至關(guān)重要。因此，對互聯(lián)網(wǎng)文本信息進行聚類及相關(guān)分析處理具有重要的意義。
　　傳統(tǒng)k-means算法具有算法簡單、可伸縮、高效性等優(yōu)點，但初始中心點的選取會對聚類結(jié)果產(chǎn)生較大的影響。提出了一種

2、k-means算法的改進算法KMDE，利用差分進化算法尋找最優(yōu)的初始中心點，可有效地改善k-means聚類效果。并將KMDE聚類算法應(yīng)用到互聯(lián)網(wǎng)文本信息處理系統(tǒng)--IPS中。
　　IPS系統(tǒng)主要實現(xiàn)了四個獨立模塊，每個模塊及其功能介紹如下：
　　(1)數(shù)據(jù)預(yù)處理模塊：主要實現(xiàn)文本過濾、中文分詞、特征選擇等功能，最終將文檔集中的中文文本生成固定格式的文件。
　　(2)數(shù)據(jù)分析模塊：對已處理成特定格式的數(shù)據(jù)，選擇不同的聚類

3、算法實現(xiàn)對中文文本內(nèi)容聚類，并將聚類結(jié)果以不同的形式輸出顯示并存儲。還可利用BayesNet分類算法對中文文本進行自動分類。
　　(3)信息展示模塊：根據(jù)關(guān)鍵詞搜索數(shù)據(jù)庫的數(shù)據(jù)記錄，并將搜索結(jié)果返回到
　　客戶端瀏覽器顯示。此外，還實現(xiàn)最新消息展示功能，可將采集到的最新消息呈現(xiàn)給用戶。
　　(4)信息采集模塊：獲取Internet網(wǎng)頁數(shù)據(jù)信息；對網(wǎng)頁正文內(nèi)容及其他相關(guān)
　　信息進行提取、存儲。對各模塊的功能進行測