中文文本分類中文本表示及分類算法研究.pdf

1、隨著信息技術的迅速發(fā)展，特別是Internet的普及，網(wǎng)頁數(shù)量呈海量增長。由于網(wǎng)頁中的內容大部分是文本信息，因此如何根據(jù)網(wǎng)頁中的文本信息自動分類成為目前研究的重要課題。通過文本自動分類技術的使用，可以使網(wǎng)頁自動的按照類別的方式進行組織和管理，滿足人們方便快捷的信息處理需求，準確定位所需信息資源。同時，文本分類技術作為信息過濾、信息檢索、搜索引擎、數(shù)字化圖書館等領域的技術基礎，有著廣泛的應用前景，可產(chǎn)生巨大的社會效益和經(jīng)濟效益。

2、文本分類問題是一個復雜的過程，包括文本預處理、文本表示、分類算法、性能評估等主要步驟，其中文本表示是系統(tǒng)的基石，分類算法的設計是系統(tǒng)的核心和實現(xiàn)手段。 本文主要從文本表示及分類算法兩個角度展開了深入的研究，首先對文本分類的基本概念和知識進行了歸納，分析了目前最為流行的向量空間模型的表示效力以及它對于分類效果的影響因素。在此基礎上，提出利用自然語言技術改進原有的向量空間表示模型，并提出與之相適應的文本分類算法，主要內容概括如下：

3、 (1).針對詞作為文本特征存在著表達能力有限的問題，本文圍繞句子級別特征之間的順序和共現(xiàn)關系，引入特征關聯(lián)圖，提出了句子級關聯(lián)特征的構造方法，并用于改進樸素貝葉斯分類器。實驗表明此方法具有更高的分類性能。 (2).特征降維是文本表示中的一個重要的研究方向，也是本文研究的一個主要內容。本文依據(jù)特征的分類能力，采用AdaBoost算法同時進行特征選擇和分類器增強。在實驗研究和分析的基礎上，提出兩步式特征選擇的文本分類方法。實