基于兩步策略的英文文本分類研究.pdf

1、進入九十年代以來，互聯(lián)網(wǎng)得到了極大的發(fā)展，產(chǎn)生了海量的非結(jié)構(gòu)化和半結(jié)構(gòu)化文本信息。如何對之進行有效的組織和管理，使用戶能方便、準確地查找到所需要的信息，是信息處理的一大目標?；谌斯ぶ悄芗夹g(shù)的自動文本分類已成為信息處理的關(guān)鍵技術(shù)，它能根據(jù)文本的語義將大量的文本自動分類，有效地解決有關(guān)文本信息的組織、管理等關(guān)鍵問題。 文本分類的方法很多，典型的有樸素貝葉斯分類器、基于向量空間模型的分類器、基于實例的分類器和用支持向量機建立的分類器

2、等，以及由幾位學者提出的基于兩步策略的高性能文本分類方法，主要是對中文兩類文本、多類單標簽文本分類。這就提出了兩個問題：①能不能將兩步分類策略從單標簽分類問題推廣到多標簽 (兼類) 分類問題? 如果能，如何將它推廣到多標簽文本分類? ②能不能把兩步策略應(yīng)用到英文文本分類中去? 本文闡述了文本分類的關(guān)鍵技術(shù)，包括分類的一般過程、特征抽取、特征選擇和分類方法等；重點描述、分析和對比了常用的特征選擇算法和分類方法。提出了基于兩步策略的

3、三種多類多標簽英文文本分類方法，1) 以貝葉斯為分類器，以抽取詞根的單詞和未抽詞根的單詞分別作為第一、第二步使用特征的兩步方法：2) 以貝葉斯和決策樹分別為第一、第二步使用分類器的兩步方法：3) 以ID3、C4.5和貝葉斯的組合分類器對部分特定類別進行分類，然后對余下類別采用方法2進行二次分類的混合兩步方法。在此基礎(chǔ)上，還提出了一種優(yōu)化算法，在Reuters-21578 語料上的實驗表明，本文提出的方法具有較高的性能，三種方法中，方法3