基于粗糙集與支持向量機的Web文本分類.pdf

1、隨著Internet及其相關(guān)技術(shù)的迅速發(fā)展，網(wǎng)絡(luò)上匯集了大量的信息資源，如何有效地利用這些資源，一直備受學(xué)者的關(guān)注。目前廣泛使用的處理Web信息的方法是搜索引擎，但這種基 于關(guān)鍵詞的搜索方法存在著搜索效率、差全率和差準(zhǔn)率低的問題。將數(shù)據(jù)挖掘的思想和方法應(yīng)用于Web環(huán)境下，從Web文檔和Web活動中發(fā)現(xiàn)感興趣的、潛在的、有用的模式和隱藏的信息，可以很好地解決搜索引擎所存在的問題。 Web文本分類是Web挖掘的一個重要研究

2、方向，它是在通過經(jīng)驗數(shù)據(jù)訓(xùn)練得到的分類體系下，根據(jù)網(wǎng)頁的文本內(nèi)容自動判別網(wǎng)頁類別的過程，它可以用來縮小用戶搜索信息的范圍，使用戶可以快速準(zhǔn)確地獲取所需的信息。 支持向量機是一種高效的分類識別方法，它是建立在結(jié)構(gòu)風(fēng)險最小化原則以及VC理論基礎(chǔ)上的一種小樣本統(tǒng)計學(xué)習(xí)理論，具有較強的學(xué)習(xí)泛化能力和良好的分類性能。但當(dāng)它所處理的數(shù)據(jù)量較大時，會導(dǎo)致處理速度慢、訓(xùn)練時間過長等缺點，影響分類性能。為此引入粗糙集的方法，利用其的屬性約簡方法對

3、大數(shù)據(jù)量進(jìn)行處理，同時消除冗余信息，減少支持向量機的訓(xùn)練數(shù)據(jù)維數(shù)，提高效率。 本文主要研究了基于粗糙集與支持向量機相結(jié)合的Web文本分類技術(shù)，主要的研究成果如下：在深入研究文本分類技術(shù)、支持向量機理論及粗糙集理論的基礎(chǔ)上，將粗糙集與支持向量機相結(jié)合應(yīng)用于Web文本分類，并給出分類系統(tǒng)的框架，該系統(tǒng)根據(jù)詞條在文檔中的位置對TF—IDF權(quán)重函數(shù)進(jìn)行改進(jìn)；利用粗糙集進(jìn)行屬性約簡，約簡方法采用一種改進(jìn)的廣義信息表求近似最小屬性約簡方法，