交叉覆蓋算法下文本分類的研究.pdf

1、文本自動分類，是將非結(jié)構(gòu)化的文本依據(jù)其內(nèi)容指派到一個或多個預先定義的類別中去的一項技術(shù)，近10年來受到了人們越來越多的關(guān)注。這主要因為大量機器可讀的電子文本的出現(xiàn)，迫切需要對文本進行有效地分類，以提高查找、閱讀速度的結(jié)果。目前盡管己有許多技術(shù)和算法用于文本的自動分類，但是，對這些技術(shù)和算法本身效力的挖掘還遠遠不夠，仍留有很大的改進空間。另外，還有新的分類方法尚待深入研究，特別是對于中文文本的自動分類，之前相關(guān)的研究工作相對較少，有名氣的

2、中文文本分類器更少。 文本分類器對于學習算法和分類的結(jié)果都是至關(guān)重要的一步。在學習算法和分類系統(tǒng)能夠處理文本之前，文本必須轉(zhuǎn)換成一種適當?shù)谋硎拘问?。這種表示形式要在一定程度上能夠捕獲文本本身的語義內(nèi)容。依據(jù)前面的要求，可以把中文文本分類技術(shù)過程描述為：文本數(shù)據(jù)集的搜集，中文文本的分詞，高維的原始特征空間的降維計算，分類器的選擇，分類結(jié)果的評價等。 本文所做工作如下： 1、介紹了文本分類相關(guān)概念，對現(xiàn)有文本分類方法

3、進行了介紹； 2、為了從分詞結(jié)果中獲取對分類有用的信息，本文中使用不同的特征降維方法：互信息方法、相關(guān)系數(shù)法、文檔頻率法，及期望交叉熵法對分詞結(jié)果進行降維處理，實驗顯示相關(guān)系數(shù)法對分類最為有效，期望交叉熵與互信息方法稍差，文檔頻率法效果最差； 3、本文還通過實驗，對使用交叉覆蓋算法作為分類器與使用SVM方法作為分類器進行比較，通過比較可以看出，交叉覆蓋算法作為分類器對中文文本進行分類，在適當?shù)木S數(shù)和特征降維法下，具有較好

4、的分類效果； 本文對中文文本分類進行了一些工作，但在本論文的基礎(chǔ)上，還有需要改進和提高之處。因此，對中文文本分類的進一步研究工作可從如下三個方面展開： 1、本文文本表示模型采用的是向量空間模型，在向量空間模型方面，結(jié)合計算語言學，使用概念空間代替詞空間；沒有考慮到漢語詞義之間的影響：中文分詞采用的是中國計算所的ICTCLAS的分詞結(jié)果，以后可以進一步研究如何提高分詞的精確度； 2、對交叉覆蓋算法進行改進，提高其分