交叉覆蓋算法下文本分類的研究.pdf

1、文本自動(dòng)分類，是將非結(jié)構(gòu)化的文本依據(jù)其內(nèi)容指派到一個(gè)或多個(gè)預(yù)先定義的類別中去的一項(xiàng)技術(shù)，近10年來(lái)受到了人們?cè)絹?lái)越多的關(guān)注。這主要因?yàn)榇罅繖C(jī)器可讀的電子文本的出現(xiàn)，迫切需要對(duì)文本進(jìn)行有效地分類，以提高查找、閱讀速度的結(jié)果。目前盡管己有許多技術(shù)和算法用于文本的自動(dòng)分類，但是，對(duì)這些技術(shù)和算法本身效力的挖掘還遠(yuǎn)遠(yuǎn)不夠，仍留有很大的改進(jìn)空間。另外，還有新的分類方法尚待深入研究，特別是對(duì)于中文文本的自動(dòng)分類，之前相關(guān)的研究工作相對(duì)較少，有名氣的

2、中文文本分類器更少。 文本分類器對(duì)于學(xué)習(xí)算法和分類的結(jié)果都是至關(guān)重要的一步。在學(xué)習(xí)算法和分類系統(tǒng)能夠處理文本之前，文本必須轉(zhuǎn)換成一種適當(dāng)?shù)谋硎拘问健＿@種表示形式要在一定程度上能夠捕獲文本本身的語(yǔ)義內(nèi)容。依據(jù)前面的要求，可以把中文文本分類技術(shù)過(guò)程描述為：文本數(shù)據(jù)集的搜集，中文文本的分詞，高維的原始特征空間的降維計(jì)算，分類器的選擇，分類結(jié)果的評(píng)價(jià)等。 本文所做工作如下： 1、介紹了文本分類相關(guān)概念，對(duì)現(xiàn)有文本分類方法

3、進(jìn)行了介紹； 2、為了從分詞結(jié)果中獲取對(duì)分類有用的信息，本文中使用不同的特征降維方法：互信息方法、相關(guān)系數(shù)法、文檔頻率法，及期望交叉熵法對(duì)分詞結(jié)果進(jìn)行降維處理，實(shí)驗(yàn)顯示相關(guān)系數(shù)法對(duì)分類最為有效，期望交叉熵與互信息方法稍差，文檔頻率法效果最差； 3、本文還通過(guò)實(shí)驗(yàn)，對(duì)使用交叉覆蓋算法作為分類器與使用SVM方法作為分類器進(jìn)行比較，通過(guò)比較可以看出，交叉覆蓋算法作為分類器對(duì)中文文本進(jìn)行分類，在適當(dāng)?shù)木S數(shù)和特征降維法下，具有較好

4、的分類效果； 本文對(duì)中文文本分類進(jìn)行了一些工作，但在本論文的基礎(chǔ)上，還有需要改進(jìn)和提高之處。因此，對(duì)中文文本分類的進(jìn)一步研究工作可從如下三個(gè)方面展開(kāi)： 1、本文文本表示模型采用的是向量空間模型，在向量空間模型方面，結(jié)合計(jì)算語(yǔ)言學(xué)，使用概念空間代替詞空間；沒(méi)有考慮到漢語(yǔ)詞義之間的影響：中文分詞采用的是中國(guó)計(jì)算所的ICTCLAS的分詞結(jié)果，以后可以進(jìn)一步研究如何提高分詞的精確度； 2、對(duì)交叉覆蓋算法進(jìn)行改進(jìn)，提高其分