web中文文本的數(shù)據(jù)挖掘技術(shù)研究.pdf

1、隨著Web信息的急劇增長,人們迫切需要一種技術(shù)來對信息進行組織和管理,幫助用戶快速、準(zhǔn)確地找到需要的信息,數(shù)據(jù)挖掘和web技術(shù)相結(jié)合的web挖掘應(yīng)運而生。文本作為web上信息的主要形式,文本挖掘近年來成為研究的熱點。中文文本挖掘起步較晚,在理論研究和應(yīng)用方面都落后于英文文本挖掘,因此本文以web中文文本挖掘作為研究重點。
　　 本文主要研究的是文本挖掘中web中文文本的聚類和分類問題。文本分類和聚類是文本挖掘中的關(guān)鍵技術(shù),通過對

2、文本進行歸檔整理,可以在很大程度上解決信息爆炸和信息雜亂的問題。同時作為信息檢索、信息過濾、搜索引擎、電子圖書館、文本數(shù)據(jù)庫等領(lǐng)域的技術(shù)基礎(chǔ),文本分類和聚類應(yīng)用領(lǐng)域非常廣泛。
　　 文章首先對相關(guān)的理論知識進行了介紹,概念從大到小包括數(shù)據(jù)挖掘、web挖掘、文本挖掘以及文本分類和聚類;對文本進行分類和聚類首先要把文本轉(zhuǎn)化為計算機可以處理的形式,所以接下來我們對web文檔矩陣化形式轉(zhuǎn)化的預(yù)處理過程進行了研究;最后將我們提出的聚類和分

3、類算法應(yīng)用到中文文本的聚類和分類中。
　　 文章介紹和實現(xiàn)了常用的聚類算法:K-means算法和模糊c均值(FCM)算法。
　　 將web文檔矩陣化首先要從網(wǎng)頁中去掉HTML標(biāo)記,濾掉無關(guān)信息,解析出純文本;中文文本和英文文本不同,詞與詞之間沒有間隔,所以要進行分詞處理;然后采用權(quán)重計算公式計算出特征詞項的權(quán)重,基本思想是若某特征詞在本篇文檔中出現(xiàn)的次數(shù)多,而在其他文檔中出現(xiàn)的次數(shù)少,該詞被賦予更高的權(quán)重來代表本文檔,并

4、與其他文檔進行區(qū)分。這樣web文檔就轉(zhuǎn)化為詞項-文檔的向量空間,以便后面的聚類和分類算法的執(zhí)行。
　　 文章分析了文本挖掘過程中文本矩陣的高維性和稀疏性的特點,并針對此特點提出將基于子空間的聚類算法和基于語義的奇異值分解的聚類算法兩種方法應(yīng)用于中文文本的聚類。某個主題的文本會有特定的主題詞子集,存在著特征子空間的結(jié)構(gòu)。采用子空間聚類可以忽略掉對分類不重要的維,給重要的維賦予更高的權(quán)重,凸顯主題詞子集對分類的作用,解決高維性和稀疏

5、性問題,所以基于子空間的聚類可以提高聚類的準(zhǔn)確率和效率,對文檔數(shù)據(jù)的實驗結(jié)果證明,該算法聚類效果令人滿意。奇異值分解對數(shù)據(jù)集的特征值按重要性排序,一方面把不重要的維看做“噪聲”忽略掉,凸顯詞項和文章之間的語義關(guān)系,另一方面使得文檔矩陣維數(shù)大大縮減,從而提高文檔聚類的準(zhǔn)確性。我們先用奇異值分解對文檔矩陣降維,后用人工魚群優(yōu)化算法對文本聚類,對文檔數(shù)據(jù)的實驗結(jié)果證明這種方法在保證準(zhǔn)確率的情況下提高了效率。
　　 本文還實現(xiàn)了改進的支