基于粗糙集的Web文本分類技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)產(chǎn)業(yè)的飛速發(fā)展，網(wǎng)絡(luò)上聚集了海量的數(shù)字信息資源，越來越多的研究人員把如何有效處理這些海量數(shù)據(jù)作為自己的研究課題，同時，企業(yè)界也在這一領(lǐng)域做了大量的工作。目前處理Web信息的主要手段是使用一些由廠商開發(fā)的互聯(lián)網(wǎng)搜索引擎，這在一定程度上解決了人們面對海量數(shù)據(jù)時無可奈何的情況。從海量數(shù)據(jù)中檢索自己需要的信息只是對Web數(shù)據(jù)進行處理的一個方面，如果能夠只在使用者所需要的類別中進行檢索，則可以去除那么明顯不必要的信息從而進一步提高搜索引

2、擎的檢索效率和準(zhǔn)確度。這就要涉及到Web數(shù)據(jù)資源的分類技術(shù)，在Web數(shù)據(jù)的分類技術(shù)當(dāng)中，使用最普遍的則是Web文本的分類。Web文本分類技術(shù)可以根據(jù)網(wǎng)頁的文本內(nèi)容自動對網(wǎng)頁進行分類，這一技術(shù)主要依靠人工分類所得的訓(xùn)練文本來學(xué)習(xí)獲得分類依據(jù)，通過這些訓(xùn)練文本再結(jié)合相應(yīng)算法就可以構(gòu)造一個Web文本分類系統(tǒng)。當(dāng)然，對網(wǎng)頁分類不同于普通的文本分類，在對網(wǎng)頁進行分類之前還要進行相應(yīng)的預(yù)處理程序。
　　目前已經(jīng)有很多方法應(yīng)用到文本分類當(dāng)中，其

3、中使用最普遍的主要有SVM方法，K-近鄰方法，決策樹方法，以及樸素貝葉斯方法等等。粗糙集理論作為處理不確定性數(shù)據(jù)的數(shù)學(xué)工具，在文本分類中也有其獨到之處。利用粗糙集進行文本特征的屬性約簡可以極大的降低特征向量的維數(shù)，從而更有效的進行后期的文本分類操作。
　　本文主要研究通過粗糙集對Web文本進行分類的理論和方法，首先，我們對Web文本進行預(yù)處理，包括除噪、分詞、詞頻統(tǒng)計、去停用詞等；然后通過特征提取方法進行特征項的提取，并使用改進的