Web文本分類系統(tǒng)中文本預處理技術的研究與實現(xiàn).pdf

1、網(wǎng)絡信息量的迅速增長對信息檢索提出了更高的要求。在使用搜索引擎時，為了方便用戶快速、準確地從網(wǎng)上獲取所需的信息，有必要對搜索引擎檢索到的大量Web頁面按內(nèi)容進行分類。Web文本挖掘技術是解決上述問題的一種有效的方法。它借鑒數(shù)據(jù)挖掘的基本思想和理論方法，從大量半結構化、異構的Web文檔集中發(fā)現(xiàn)潛在的、有價值的知識。 Web文本分類技術是Web文本挖掘中的一項重要技術。目前，針對中文網(wǎng)頁的分類技術逐漸成為Web數(shù)據(jù)挖掘研究的熱點。

2、它的關鍵技術包括網(wǎng)頁清洗、中文分詞、特征選擇、文本表示以及分類算法。其中網(wǎng)頁清洗、中文分詞、特征選擇和文本表示稱為對網(wǎng)頁文本的預處理，預處理結果的好壞是決定分類效果的重要因素。本文詳細研究了預處理的各個過程并實現(xiàn)了預處理系統(tǒng)。 預處理過程中，特征集的選取對文本分類的訓練時間、分類的準確率都有顯著的影響。傳統(tǒng)的特征選擇方法將每一個特征項都單獨對待，分別進行特征評估，忽略了特征項之間的相關性、相似性等語義特征。本文在傳統(tǒng)特征選擇的基